Baru-baru ini, sebuah buku baru karya Sebastian Mallaby berjudul "The Infinity Machine" tentang Demis Hassabis dan DeepMind dirilis. Hari ini, beberapa media menerbitkan kutipan eksklusif dari buku tersebut, dan terungkaplah kisah yang sangat menarik dari hampir sepuluh tahun lalu.

Pada tahun 2014, setelah Google mengakuisisi DeepMind, Demis Hassabis dan tim mulai mengerjakan Proyek Mario. Tujuannya adalah untuk memahami cara mengendalikan AGI dengan benar, dan bagaimana mencegah satu perusahaan saja mengambil alih kekuasaan absolut atas teknologi semacam itu.

Mereka menjajaki struktur tata kelola, opsi untuk membatasi kekuasaan perusahaan melalui metode keuangan, bentuk badan independen, dan sebagainya. Selama proyek tersebut, mereka menyadari bahwa tidak ada satu pun dari ini yang berhasil, dan jika AGI muncul di DeepMind, mustahil untuk mengekang kekuasaan Google atasnya, dan semua ini bisa berubah menjadi ancaman besar bagi umat manusia.

Dan kemudian… di DeepMind muncullah tim rahasia dana lindung nilai yang mencoba mengalahkan Renaissance Technologies, yaitu menciptakan sistem yang lebih baik dari yang terbaik dalam memprediksi pasar. Mereka ingin melatih model seperti AlphaGo untuk tujuan ini.

Dengan cara itu, mereka berharap dapat mengumpulkan modal sendiri, sehingga jika terjadi sesuatu, mereka dapat mempertahankan kendali atas AGI dan memisahkan diri dari Google.

Ironisnya, mereka semua begitu percaya pada AGI berdasarkan model AlphaGo dan AlphaZero mereka, dan begitu asyik dengan Proyek Mario dan dana lindung nilai, sehingga mereka benar-benar melewatkan pentingnya transformer yang ditemukan oleh rekan-rekan mereka pada tahun 2017.

Dan Proyek Mario, omong-omong, berakhir dengan hanya satu ide yang tersisa di DeepMind: kendali melalui manusia, bukan melalui sistem. Artinya, melalui kepercayaan pada pendiri tertentu yang membuat keputusan berdasarkan nilai-nilai kemanusiaan universal.

colossus.com/article/project-ma…is-deepmind-mallaby/