Jika sebelumnya senjata nuklir menjadi penentu kekuatan militer, AGI dipandang sebagai senjata lunak yang mampu mengubah peta kekuasaan. Ia bisa menciptakan otomatisasi skala luas, mengoptimalkan kebijakan negara, mengendalikan opini publik, hingga memimpin operasi militer secara presisi.
Karena itulah, AGI kini menjadi area strategis yang sangat sensitif. Diskusi tentang regulasi, etika, dan pengawasan tak bisa dilepaskan dari konteks geopolitik.
Sebagian mungkin membayangkan AGI seperti film Terminator atau Ex Machina, robot cerdas yang memberontak. Tapi risiko AGI tidak selalu berbentuk pemberontakan mesin. Justru, bahaya terbesar bisa terjadi ketika sistem ini digunakan sesuai rancangannya, tapi oleh pihak yang salah atau dengan tujuan salah.
Misalnya, AGI yang dikembangkan untuk keperluan militer bisa mempercepat keputusan serangan tanpa keterlibatan manusia. Atau AGI yang mampu menciptakan konten masif bisa dipakai untuk memanipulasi jutaan pikiran manusia melalui propaganda yang sulit dideteksi.
Lebih parah lagi, AGI yang keliru dalam memahami nilai kemanusiaan bisa mengambil keputusan yang efisien secara logika, tetapi menghancurkan secara moral.
Menuju AGI yang Etis dan Berkeadilan
Pertanyaan mendasar tentang AGI bukan hanya soal teknologi, tapi juga nilai. Siapa yang mengontrol AGI? Untuk tujuan apa ia digunakan? Dan bagaimana kita memastikan bahwa sistem ini mematuhi prinsip-prinsip kemanusiaan universal?
Sejumlah lembaga internasional telah menyerukan perlunya AI alignment, yakni memastikan bahwa sistem AGI bertindak sesuai nilai dan tujuan manusia. Namun ini bukan pekerjaan mudah. Bagaimana kita bisa menyampaikan nilai yang abstrak seperti keadilan, kasih sayang, atau keberagaman budaya kepada sistem yang tidak pernah menjadi manusia?