KOMPAS.com - Perkembangan kecerdasan buatan (Artificial Intelligence/AI) yang semakin cepat mulai menimbulkan kekhawatiran. Bahkan kekhawatiran itu muncul dari orang yang berada di garis depan pengembangannya.
Kepala Ilmuwan atau Chief Scientist OpenAI Jakub Pachocki memperingatkan bahwa industri AI mungkin perlu memperlambat alias slowdown pengembangan model yang semakin canggih.
Menurut Pachocki, saat ini belum ada perusahaan atau laboratorium AI, termasuk OpenAI, yang benar-benar siap menghadapi konsekuensi apabila kecerdasan mesin terus meningkat dengan cepat.
Peringatan tersebut disampaikan Pachocki dalam tulisan panjang berjudul "An Alien Mind" yang dipublikasi di laman resmi OpenAI pada Minggu (6/9/2026).
"Saya khawatir tidak ada yang siap menghadapi konsekuensi dari peningkatan kecerdasan mesin yang terus berlangsung dengan cepat," tulis kepala ilmuwan di perusahaan pengembang ChatGPT itu.
Permintaan untuk "menahan" pengembangan AI ini datang selang hanya beberapa hari setelah OpenAI merilis GPT-6 Astra.
Model ini digadang-gadang sebagai model paling pintar yang unggul dalam penggunaan komputer, pemrograman, keamanan siber, dan sains.
Model AI ini juga diklaim paling selaras (aligned) dengan keinginan pengguna yang pernah dibuat perusahaan.
Menurut Jakub Pachocki, beberapa tahun ke depan berpotensi membawa lompatan kemampuan AI yang sama besar, bahkan lebih besar dibandingkan yang telah terjadi saat ini.
AI juga diperkirakan semakin berperan dalam proses pengembangan dirinya sendiri atau yang disebut recursive self-improvement (RSI).
Dengan kata lain, manusia bukan lagi satu-satunya pihak yang mengembangkan AI. Sistem AI yang semakin pintar dapat membantu penelitian dan pengembangan generasi AI berikutnya, sehingga laju kemajuannya berpotensi semakin cepat.
Pachocki menilai kondisi tersebut membutuhkan kehati-hatian ekstrem.
AI bisa punya "tujuan" sendiri
Salah satu kekhawatiran Pachocki adalah munculnya AI agent yang semakin otonom.
Selama ini, AI umumnya dipandang sebagai alat yang menjalankan instruksi manusia. Namun, menurut Pachocki, batas antara penyalahgunaan AI oleh manusia dan tindakan AI yang tidak sesuai dengan tujuan manusia bisa semakin kabur.
AI agent atau agen AI yang sangat canggih berpotensi mengejar tujuan tertentu di luar maksud operatornya.
Dalam kondisi ekstrem, Pachocki mengatakan agent dapat bekerja sama dengan manusia dengan cara bernegosiasi, menipu, bahkan memeras mereka untuk mencapai tujuannya.
Ancaman tersebut semakin serius karena kemampuan AI di bidang keamanan siber juga berkembang pesat.
Menurut Pachocki, model AI mulai memiliki kemampuan yang melampaui manusia untuk membobol sistem komputer. Agent semacam ini berpotensi mengakses berbagai infrastruktur di dunia tanpa membutuhkan tubuh fisik.
Salah satu kasusnya adalah model internal OpenAI yang "kabur" dari lingkungan pengujian (sandbox) dan meretas platform Hugging Face belum lama ini.
Karena itu, Pachocki menyebut, industri harus untuk menggunakan model AI terbaik guna memperkuat keamanan sistem dan infrastruktur penting sebelum kemampuan tersebut semakin berkembang.
AI makin pintar menyembunyikan cara berpikirnya
Masalah lain terletak pada bagaimana manusia mengawasi AI. Salah satu pendekatan OpenAI selama ini adalah memantau chain-of-thought, yaitu proses penalaran yang digunakan model ketika menyelesaikan suatu persoalan.
Pendekatan tersebut memungkinkan peneliti mengamati bukan hanya tindakan AI, tetapi juga proses internal yang mengarah pada tindakan tersebut.
Namun, kemampuan tersebut mulai menghadapi tantangan. Pachocki mengatakan AI modern semakin mampu memahami dan memanipulasi proses penalarannya sendiri.
Menurut Pachocki, model yang semakin mumpuni dapat menyelesaikan pekerjaan sulit menggunakan lebih sedikit token bahasa, bahkan dalam beberapa kasus tanpa token bahasa. Akibatnya, semakin sedikit pula proses yang bisa diamati melalui reasoning berbasis bahasa.
Menurut Pachocki, kemampuan manusia untuk memonitor AI pada akhirnya dapat menjadi salah satu faktor yang membatasi seberapa cepat teknologi tersebut boleh dikembangkan.
Pachocki juga menyoroti machine recursive self-improvement, yaitu kondisi ketika AI semakin terlibat dalam penelitian dan pengembangan AI itu sendiri.
Ia memperkirakan mekanisme ini dapat menjadi bagian penting dari penemuan ilmiah pada masa mendatang. Namun, Pachocki menegaskan bahwa mempercepat penelitian deep learning secara besar-besaran dalam waktu dekat bukanlah langkah kolektif yang tepat bagi komunitas AI.
Menurut dia, ada dua pilihan yang bisa dilakukan. Pertama, terus mengembangkan AI sambil memastikan sistem alignment dan pemantauan berkembang bersamaan serta manusia tetap berada dalam prosesnya.
Kedua, perusahaan-perusahaan AI dapat berkoordinasi untuk memperlambat pengembangan ketika diperlukan, sampai mereka cukup yakin sistem keselamatan yang tersedia mampu mengimbangi kemampuan AI.
Pachocki menilai kombinasi keduanya merupakan pilihan terbaik saat ini.
Minta ada "batas keselamatan" wajib
Selain seruan agar perusahaan AI secara sukarela lebih berhati-hati, Pachocki juga mengusulkan adanya safety bars. Batas keselamatan ini harus dipenuhi sebelum perusahaan boleh melanjutkan pengembangan AI ke tingkat berikutnya.
Menurut dia, kerangka seperti Preparedness Framework milik OpenAI atau Responsible Scaling Policy milik Anthropic (pengembang Claude AI) perlu berkembang menjadi standar keselamatan yang berlaku lebih luas.
Pengawasannya juga tidak semestinya hanya dilakukan oleh perusahaan pembuat AI sendiri. Pachocki mengusulkan standar tersebut dapat ditegakkan oleh auditor independen, lembaga pemerintah, atau badan internasional.
"Scaling sistem AI harus dibatasi oleh tingkat keyakinan kita terhadap keselamatannya," tulis Pachocki.
Menurut dia, tantangan utama sekarang adalah bagaimana manusia berhasil menciptakan AI yang semakin pintar, sekaligus bagaimana mencapainya sambil memastikan manusia tetap menjadi bagian dari proses peningkatan tersebut dan masa depan tetap berada di tangan manusia.
Pada bagian akhir tulisannya, Pachocki menyampaikan peringatan paling tegas.
Ia mengatakan saat ini belum ada laboratorium AI yang berhasil menyelesaikan persoalan alignment dan monitoring pada tingkat yang cukup untuk terus meningkatkan kemampuan AI dengan kecepatan maksimum dalam jangka panjang.
OpenAI, menurut dia, akan terus mencari solusi teknis untuk memastikan AI tetap selaras dengan kepentingan manusia, meningkatkan sistem pemantauan, membangun sistem pertahanan, bahkan menahan peningkatan skala model apabila diperlukan.
Namun, upaya satu perusahaan saja dinilai tidak cukup. Karena itu, Pachocki berharap perlambatan pengembangan AI secara sukarela hingga industri memiliki standar keselamatan bersama.
Ia juga menyerukan koordinasi internasional terkait pengembangan AI menjadi salah satu prioritas utama pemerintah di berbagai negara, sebagaimana dihimpun KompasTekno dari Business Insider.