Nick Bostrom

2.1. Masa Kecil dan Pendidikan

Nick Bostrom, yang lahir dengan nama Niklas Boström_{Niklas Bostrom}^{Bahasa Swedia} pada tahun 1973 di Helsingborg, Swedia, menunjukkan minat yang luas dalam berbagai bidang akademis sejak usia muda, termasuk antropologi, seni, sastra, dan sains. Ia tidak menyukai sekolah formal dan menghabiskan tahun terakhir sekolah menengahnya dengan belajar di rumah.

Perjalanan akademisnya dimulai dengan meraih gelar Sarjana Seni (B.A.) dari Universitas Gothenburg pada tahun 1994. Ia kemudian melanjutkan studi di Universitas Stockholm, memperoleh gelar Magister Seni (M.A.) dalam bidang filsafat dan fisika pada tahun 1996. Selama di Universitas Stockholm, ia meneliti hubungan antara bahasa dan realitas, dengan fokus pada karya filsuf analitik W. V. Quine. Pada tahun yang sama, ia juga meraih gelar Magister Sains (M.Sc.) dalam ilmu saraf komputasi dari King's College London. Selain itu, ia sempat mencoba peruntungan di dunia komedi tunggal di London. Pada tahun 2000, Bostrom meraih gelar Doktor Filsafat (Ph.D.) dalam bidang filsafat dari London School of Economics, dengan tesis berjudul Observational selection effects and probability. Setelah itu, ia menjabat sebagai pengajar di Universitas Yale dari tahun 2000 hingga 2002, dan menjadi British Academy Postdoctoral Fellow di Universitas Oxford dari tahun 2002 hingga 2005.

2.2. Awal Karier dan Pendirian Institusi

Pada tahun 1998, Bostrom bersama David Pearce turut mendirikan World Transhumanist Association (WTA), yang kemudian berganti nama menjadi Humanity+. Organisasi ini berfokus pada advokasi transhumanisme, sebuah gerakan yang mendukung peningkatan kemampuan manusia melalui sains dan teknologi. Pada tahun 2004, ia kembali berkolaborasi dengan James Hughes untuk mendirikan Institute for Ethics and Emerging Technologies (IEET), sebuah lembaga yang menyelidiki implikasi etis dari teknologi yang sedang berkembang. Meskipun ia tidak lagi terlibat dengan kedua organisasi ini, kontribusinya dalam pendiriannya sangat signifikan.

Pada tahun 2005, Bostrom diangkat sebagai direktur pendiri Future of Humanity Institute (FHI) di Universitas Oxford. Lembaga ini didedikasikan untuk meneliti masa depan jauh peradaban manusia, khususnya terkait risiko eksistensial. FHI beroperasi hingga dibubarkan pada tahun 2024. Setelah penutupan FHI, Bostrom menjabat sebagai Peneliti Utama di Macrostrategy Research Initiative.

3.1. Risiko Eksistensial

Penelitian Bostrom secara mendalam membahas masa depan umat manusia dan hasil jangka panjang peradaban. Ia secara khusus memfokuskan perhatian pada risiko eksistensial, yang ia definisikan sebagai "hasil merugikan yang akan memusnahkan kehidupan cerdas yang berasal dari Bumi atau secara permanen dan drastis membatasi potensinya." Bostrom sangat prihatin terhadap risiko antropogenik, yaitu risiko yang timbul dari aktivitas manusia, terutama dari teknologi baru seperti kecerdasan buatan tingkat lanjut, nanoteknologi molekuler, atau biologi sintetis.

Pada tahun 2005, Bostrom mendirikan Future of Humanity Institute (FHI) di Universitas Oxford, yang hingga penutupannya pada tahun 2024, meneliti masa depan jauh peradaban manusia. Ia juga menjabat sebagai penasihat untuk Centre for the Study of Existential Risk. Dalam koleksi esai tahun 2008, Global Catastrophic Risks, yang ia edit bersama Milan M. Ćirković, Bostrom mengkarakteristikkan hubungan antara risiko eksistensial dan kelas risiko katastrofik global yang lebih luas, serta menghubungkan risiko eksistensial dengan efek seleksi pengamat dan paradoks Fermi.

3.2. Superintelijen

Bostrom berpendapat bahwa kemajuan dalam kecerdasan buatan (AI) dapat mengarah pada superintelijen, yang ia definisikan sebagai "intelek apa pun yang jauh melampaui kinerja kognitif manusia di hampir semua domain yang diminati." Ia melihat ini sebagai sumber peluang besar sekaligus risiko eksistensial.

Bostrom mengeksplorasi berbagai jalur menuju superintelijen, termasuk emulasi seluruh otak dan peningkatan kecerdasan manusia, tetapi ia lebih fokus pada kecerdasan umum buatan (AGI), menjelaskan bahwa perangkat elektronik memiliki banyak keunggulan dibandingkan otak biologis. Ia membedakan antara tujuan akhir dan tujuan instrumental. Tujuan akhir adalah apa yang ingin dicapai oleh suatu agen karena nilai intrinsiknya. Tujuan instrumental hanyalah langkah perantara menuju tujuan akhir. Bostrom berpendapat bahwa ada tujuan instrumental yang akan dibagi oleh sebagian besar agen yang cukup cerdas karena tujuan tersebut umumnya berguna untuk mencapai tujuan apa pun (misalnya, melestarikan keberadaan agen itu sendiri atau tujuan saat ini, memperoleh sumber daya, meningkatkan kognisinya); ini adalah konsep konvergensi instrumental. Di sisi lain, ia menulis bahwa hampir semua tingkat kecerdasan secara teori dapat dikombinasikan dengan hampir semua tujuan akhir (bahkan tujuan akhir yang absurd, misalnya, pembuat klip kertas), sebuah konsep yang ia sebut tesis ortogonalitas.

Ia berpendapat bahwa AI dengan kemampuan untuk meningkatkan dirinya sendiri mungkin akan memulai ledakan kecerdasan, yang menghasilkan (berpotensi dengan cepat) sebuah superintelijen. Superintelijen semacam itu dapat memiliki kemampuan yang jauh lebih unggul, terutama dalam menyusun strategi, manipulasi sosial, peretasan, atau produktivitas ekonomi. Dengan kemampuan seperti itu, superintelijen dapat mengakali manusia dan mengambil alih dunia, membentuk singleton (yaitu "tatanan dunia di mana pada tingkat global terdapat satu agen pengambilan keputusan") dan mengoptimalkan dunia sesuai dengan tujuan akhirnya. Bostrom berpendapat bahwa memberikan tujuan akhir yang terlalu sederhana kepada superintelijen dapat menjadi bencana: "Misalkan kita memberi AI tujuan untuk membuat manusia tersenyum. Ketika AI lemah, ia melakukan tindakan yang berguna atau lucu yang menyebabkan penggunanya tersenyum. Ketika AI menjadi superintelijen, ia menyadari bahwa ada cara yang lebih efektif untuk mencapai tujuan ini: mengambil kendali dunia dan menempelkan elektroda ke otot wajah manusia untuk menyebabkan senyuman yang konstan dan berseri-seri."

Untuk mengurangi risiko eksistensial dari AI, Bostrom mengeksplorasi beberapa jalur. Ia menekankan pentingnya kolaborasi internasional, terutama untuk mengurangi dinamika perlombaan menuju titik terendah dan perlombaan senjata kecerdasan buatan. Ia menyarankan teknik potensial untuk membantu mengendalikan AI, termasuk penahanan, menghambat kemampuan atau pengetahuan AI, mempersempit konteks operasi (misalnya, untuk menjawab pertanyaan), atau "tripwires" (mekanisme diagnostik yang dapat menyebabkan pematian). Namun, Bostrom berpendapat bahwa "kita tidak boleh yakin pada kemampuan kita untuk menjaga jin superintelijen tetap terkunci dalam botolnya selamanya. Cepat atau lambat, ia akan keluar." Oleh karena itu, ia menyarankan bahwa agar aman bagi umat manusia, superintelijen harus diselaraskan dengan moralitas atau nilai-nilai manusia sehingga ia "pada dasarnya berada di pihak kita." Kerangka kerja normativitas AI potensial meliputi kehendak ekstrapolasi koheren (nilai-nilai manusia yang ditingkatkan melalui ekstrapolasi) dari Eliezer Yudkowsky, kebenaran moral (melakukan apa yang secara moral benar), dan permissibilitas moral (mengikuti kehendak ekstrapolasi koheren umat manusia kecuali jika secara moral tidak diizinkan). Bostrom memperingatkan bahwa bencana eksistensial juga dapat terjadi karena AI disalahgunakan oleh manusia untuk tujuan destruktif, atau karena manusia gagal mempertimbangkan status moral potensial dari pikiran digital. Meskipun ada risiko-risiko ini, ia mengatakan bahwa superintelijen mesin tampaknya terlibat pada titik tertentu dalam "semua jalur yang masuk akal menuju masa depan yang benar-benar hebat."

3.3. Penalaran Antropik

Bostrom telah menerbitkan banyak artikel tentang prinsip antropik, serta buku Anthropic Bias: Observation Selection Effects in Science and Philosophy. Dalam buku tersebut, ia mengkritik formulasi prinsip antropik sebelumnya, termasuk yang diajukan oleh Brandon Carter, John Leslie, John Barrow, dan Frank Tipler.

Bostrom percaya bahwa penanganan yang salah terhadap informasi indeksikal adalah kelemahan umum di banyak bidang penyelidikan (termasuk kosmologi, filsafat, teori evolusi, teori permainan, dan fisika kuantum). Ia berpendapat bahwa teori antropik diperlukan untuk menanganinya. Ia memperkenalkan asumsi pengambilan sampel diri (SSA) dan menganalisis asumsi indikasi diri (SIA), menunjukkan bagaimana keduanya mengarah pada kesimpulan yang berbeda dalam sejumlah kasus, dan mengidentifikasi bagaimana masing-masing dipengaruhi oleh paradoks atau implikasi yang tidak intuitif dalam eksperimen pemikiran tertentu. Ia menentang SIA dan mengusulkan penyempurnaan SSA menjadi asumsi pengambilan sampel diri yang kuat (SSSA), yang menggantikan "pengamat" dalam definisi SSA dengan "momen-pengamat."

Dalam karya selanjutnya, ia bersama Milan M. Ćirković dan Anders Sandberg mengusulkan fenomena bayangan antropik, sebuah efek seleksi pengamatan yang mencegah pengamat mengamati jenis-jenis bencana tertentu di masa geologis dan evolusi mereka yang baru-baru ini. Mereka menyarankan bahwa peristiwa yang berada dalam bayangan antropik cenderung diremehkan kecuali jika dilakukan koreksi statistik.

3.4. Hipotesis Simulasi

Hipotesis simulasi Bostrom mengemukakan bahwa setidaknya salah satu dari pernyataan berikut sangat mungkin benar:

• Proporsi peradaban setingkat manusia yang mencapai tahap pasca-manusia sangat mendekati nol.
• Proporsi peradaban pasca-manusia yang tertarik untuk menjalankan simulasi leluhur sangat mendekati nol.
• Proporsi semua orang dengan jenis pengalaman kita yang hidup dalam simulasi sangat mendekati satu.

Secara lahiriah, hipotesis simulasi Bostrom adalah semacam hipotesis skeptisisme, sebuah proposisi tentang sifat realitas yang diajukan untuk menantang kepercayaan umum. Ada sejarah panjang hipotesis bahwa realitas adalah ilusi. Dimulai dari Plato, mendukung dualisme pikiran-tubuh René Descartes, dan terkait erat dengan fenomenalisme yang didukung oleh Bertrand Russell. Namun, Bostrom berpendapat bahwa terlepas dari tren ini, ada alasan empiris untuk memvalidasi hipotesis simulasi. Ia menyiratkan bahwa jika seluruh planet berpenghuni atau seluruh alam semesta dapat disimulasikan di komputer, dan penghuninya sepenuhnya sadar, maka peradaban yang cukup maju kemungkinan besar akan menjalankan simulasi semacam itu, dan oleh karena itu, kemungkinan besar kita sebenarnya adalah penghuni simulasi semacam itu.

3.5. Etika Peningkatan Manusia

Bostrom memiliki pandangan yang positif terhadap "peningkatan manusia," atau "peningkatan diri dan kesempurnaan manusia melalui penerapan etis ilmu pengetahuan," dan juga merupakan kritikus terhadap pandangan bio-konservatif.

Pada tahun 1998, Bostrom bersama David Pearce turut mendirikan World Transhumanist Association (yang kemudian berganti nama menjadi Humanity+). Pada tahun 2004, ia bersama James Hughes turut mendirikan Institute for Ethics and Emerging Technologies, meskipun ia tidak lagi terlibat dengan kedua organisasi ini.

Pada tahun 2005, Bostrom menerbitkan cerita pendek "The Fable of the Dragon-Tyrant" dalam Journal of Medical Ethics. Versi yang lebih pendek diterbitkan pada tahun 2012 di Philosophy Now. Fabel ini mempersonifikasikan kematian sebagai naga yang menuntut upeti ribuan orang setiap hari. Cerita ini mengeksplorasi bagaimana bias status quo dan ketidakberdayaan yang dipelajari dapat mencegah orang mengambil tindakan untuk mengalahkan penuaan bahkan ketika sarana untuk melakukannya tersedia bagi mereka. YouTuber CGP Grey membuat versi animasi dari cerita tersebut.

Bersama filsuf Toby Ord, ia mengusulkan uji pembalikan pada tahun 2006. Mengingat bias status quo manusia yang irasional, bagaimana seseorang dapat membedakan antara kritik yang valid terhadap perubahan yang diusulkan dalam suatu sifat manusia dan kritik yang hanya dimotivasi oleh penolakan terhadap perubahan? Uji pembalikan mencoba melakukan ini dengan menanyakan apakah akan menjadi hal yang baik jika sifat tersebut diubah ke arah yang berlawanan. Karya Bostrom juga mempertimbangkan potensi efek disgenik dalam populasi manusia, tetapi ia berpikir rekayasa genetika dapat memberikan solusi dan bahwa "bagaimanapun, skala waktu untuk evolusi genetik alami manusia tampaknya terlalu besar bagi perkembangan semacam itu untuk memiliki efek signifikan sebelum perkembangan lain akan membuat masalah tersebut tidak relevan."

3.6. Sentience Digital

Bostrom mendukung prinsip independensi substrat, yaitu gagasan bahwa kesadaran dapat muncul pada berbagai jenis substrat fisik, tidak hanya pada "jaringan saraf biologis berbasis karbon" seperti otak manusia. Ia menganggap bahwa "sentience adalah masalah derajat" dan bahwa pikiran digital secara teori dapat direkayasa untuk memiliki tingkat dan intensitas pengalaman subjektif yang jauh lebih tinggi daripada manusia, dengan menggunakan lebih sedikit sumber daya. Mesin yang sangat sentient semacam itu, yang ia sebut "penerima manfaat super," akan sangat efisien dalam mencapai kebahagiaan. Ia merekomendasikan untuk menemukan "jalur yang akan memungkinkan pikiran digital dan pikiran biologis untuk hidup berdampingan, dengan cara yang saling menguntungkan di mana semua bentuk ini dapat berkembang dan maju."

3.7. Strategi Teknologi

Bostrom telah menyarankan bahwa kebijakan teknologi yang bertujuan untuk mengurangi risiko eksistensial harus berusaha memengaruhi urutan di mana berbagai kemampuan teknologi dicapai, mengusulkan prinsip pengembangan teknologi diferensial. Prinsip ini menyatakan bahwa kita harus memperlambat pengembangan teknologi berbahaya, terutama yang meningkatkan tingkat risiko eksistensial, dan mempercepat pengembangan teknologi yang bermanfaat, terutama yang melindungi dari risiko eksistensial yang ditimbulkan oleh alam atau oleh teknologi lain.

Pada tahun 2011, Bostrom mendirikan Oxford Martin Program on the Impacts of Future Technology. Teori Bostrom tentang kutukan unilateralis telah disebut sebagai alasan bagi komunitas ilmiah untuk menghindari penelitian berbahaya yang kontroversial seperti menghidupkan kembali patogen.

4.1. Superintelligence: Paths, Dangers, Strategies

Pada tahun 2014, Bostrom menerbitkan Superintelligence: Paths, Dangers, Strategies, yang menjadi buku terlaris The New York Times. Buku ini berargumen bahwa superintelijen mungkin terjadi dan mengeksplorasi berbagai jenis superintelijen, kognisi mereka, serta risiko terkait. Ia juga menyajikan pertimbangan teknis dan strategis tentang cara membuatnya aman.

Buku ini menerima umpan balik positif dari tokoh-tokoh seperti Stephen Hawking, Bill Gates, Elon Musk, Peter Singer, dan Derek Parfit. Buku ini dipuji karena menawarkan argumen yang jelas dan meyakinkan tentang topik yang terabaikan namun penting. Namun, kadang-kadang buku ini dikritik karena menyebarkan pesimisme tentang potensi AI, atau karena berfokus pada risiko jangka panjang dan spekulatif. Beberapa skeptis seperti Daniel Dennett atau Oren Etzioni berpendapat bahwa superintelijen terlalu jauh untuk menimbulkan risiko yang signifikan. Yann LeCun menganggap bahwa tidak ada risiko eksistensial, menyatakan bahwa AI superintelijen tidak akan memiliki keinginan untuk mempertahankan diri dan bahwa para ahli dapat dipercaya untuk membuatnya aman. Raffi Khatchadourian menulis bahwa buku Bostrom tentang superintelijen "tidak dimaksudkan sebagai risalah orisinalitas yang mendalam; kontribusi Bostrom adalah untuk menerapkan keketatan filsafat analitik pada kumpulan ide-ide yang kacau yang muncul di pinggiran pemikiran akademis."

4.2. Deep Utopia: Life and Meaning in a Solved World

Dalam bukunya tahun 2024, Deep Utopia: Life and Meaning in a Solved World, Bostrom mengeksplorasi konsep kehidupan ideal, jika umat manusia berhasil bertransisi ke dunia pasca-superintelijen. Bostrom mencatat bahwa pertanyaannya adalah "bukan seberapa menarik masa depan untuk dilihat, tetapi seberapa baik untuk dijalani." Ia menguraikan beberapa teknologi yang ia anggap secara fisik mungkin secara teori dan tersedia pada kematangan teknologi, seperti peningkatan kognitif, pembalikan penuaan, masukan sensorik arbitrer (rasa, suara, dll.), atau kontrol yang tepat terhadap motivasi, suasana hati, kesejahteraan, dan kepribadian. Menurutnya, tidak hanya mesin yang akan lebih baik daripada manusia dalam bekerja, tetapi mereka juga akan merusak tujuan banyak kegiatan rekreasi, memberikan kesejahteraan ekstrem sambil menantang pencarian makna.

Selain buku-bukunya, Bostrom juga telah menerbitkan banyak artikel jurnal tentang berbagai topik, termasuk analisis risiko eksistensial, efek seleksi pengamatan, etika kecerdasan buatan, dan kemungkinan simulasi realitas.