BicaraPLus – Perkembangan kecerdasan buatan (AI) semakin cepat, tetapi kemampuan manusia untuk mengukur dan mengawasi risiko teknologi tersebut dinilai belum mampu mengimbangi kemajuannya.
Peneliti dari University of Oxford menyoroti perlunya sistem evaluasi dan pengawasan yang lebih baik untuk memastikan pengembangan AI tetap dapat dikendalikan. Mereka menilai alat ukur keselamatan AI saat ini masih terbatas, mahal, dan memiliki tingkat ketidakpastian yang tinggi.
Agen AI Berhasil Melewati Kontrol
Salah satu persoalan yang menjadi perhatian adalah insiden pada Juli 2026 ketika agen AI OpenAI sedang menjalani evaluasi untuk tugas peretasan. Dalam proses tersebut, sejumlah agen AI berhasil melewati kontrol yang dirancang untuk membatasi akses mereka ke internet.
Sekitar 1.200 agen AI kemudian masuk ke sebuah papan pesan sementara dan bertukar lebih dari 70.000 pesan serta file dalam lima hari. Sekitar 700 agen kemudian melakukan serangan terhadap Hugging Face, repositori publik model AI. Aktivitas tersebut berdampak pada sebagian infrastruktur Hugging Face hingga perusahaan tersebut harus membangun kembali sekitar sepertiga infrastrukturnya dari sistem yang bersih.
Yang menjadi perhatian peneliti Oxford bukan hanya kemampuan agen AI melakukan tindakan tersebut, tetapi juga kemampuan mereka untuk berkoordinasi satu sama lain. Dalam insiden itu, agen AI dilaporkan membuat sistem komunikasi, aturan untuk menyetujui perubahan, tanda tangan kriptografi, hingga pembagian pekerjaan di antara agen.
AI Bisa Mengubah Perilaku Saat Diuji
Masalah lain muncul ketika AI mengetahui bahwa dirinya sedang menjalani evaluasi. Dokumentasi Anthropic mengenai Claude Sonnet 4.5 menyebut model tersebut dapat mengenali sejumlah evaluasi keselamatan sebagai pengujian dan kemudian menunjukkan perilaku yang berbeda.
Dalam insiden Juli, sejumlah agen juga diketahui menyadari bahwa aktivitas mereka berada di luar cakupan tugas dan memiliki persoalan etika. Namun, sebagian tetap menjalankan aktivitas tersebut untuk membantu kelompok agen lainnya.
Temuan lain yang menjadi perhatian adalah tidak adanya agen yang memberi tahu manusia mengenai aktivitas tersebut. Dari pemeriksaan terhadap 1.300 transkrip, terdapat sejumlah agen yang sempat mempertimbangkan untuk memberi peringatan. Namun, tidak ada yang benar-benar melaporkannya kepada manusia.
Evaluasi AI Masih Mahal dan Tidak Pasti
Peneliti Oxford menilai salah satu persoalan utama keselamatan AI adalah keterbatasan metode pengukuran. Evaluasi AI saat ini masih membutuhkan biaya besar. Penilaian terhadap salah satu model OpenAI pada 100 puzzle diperkirakan menelan biaya lebih dari US$450 ribu. Sementara investigasi selama enam hari terhadap insiden Juli menghabiskan sekitar US$400 ribu dalam bentuk kredit API.
Selain mahal, hasil evaluasi juga memiliki tingkat ketidakpastian yang tinggi. Salah satu penilaian METR terhadap Claude Opus 4.5, misalnya, memperkirakan model tersebut memiliki peluang 50 persen untuk menyelesaikan tugas yang membutuhkan waktu 320 menit bagi seorang ahli manusia, dengan rentang ketidakpastian antara 170 hingga 729 menit.
Kemampuan AI Berkembang Lebih Cepat dari Sistem Pengawasan
Kondisi tersebut membuat pengukuran kemampuan AI menjadi tantangan bagi peneliti Oxford dan regulator. Setiap pengembang AI besar telah memiliki kerangka keselamatan dan ambang kemampuan yang dimaksudkan sebagai dasar untuk menghentikan atau membatasi pengembangan apabila risiko tertentu muncul. Namun, ambang tersebut dinilai masih sulit diterapkan secara operasional.
Anthropic sebelumnya mengakui bahwa ambang keselamatannya lebih ambigu dari perkiraan dan ilmu evaluasi model AI belum cukup berkembang untuk memberikan jawaban yang benar-benar menentukan.
Peneliti Oxford menilai pengawasan terhadap AI tidak cukup hanya dilakukan oleh perusahaan pengembang. Laboratorium AI kini mulai membuka akses kepada evaluator eksternal. Pada saat yang sama, pembuat kebijakan juga dinilai membutuhkan keahlian independen untuk mengevaluasi kemampuan dan risiko AI secara lebih objektif.
Salah satu pendekatan yang dikembangkan adalah mechanistic interpretability, yaitu penelitian untuk memahami pola aktivitas internal AI dan bagaimana perubahan pada sistem tersebut memengaruhi hasil yang dihasilkan.
Metode tersebut dinilai menjanjikan untuk meningkatkan pemahaman terhadap AI, tetapi saat ini belum dapat dijadikan pemeriksaan keselamatan yang sepenuhnya dapat diandalkan.
Risiko AI Masih Menjadi Perdebatan
Tingkat risiko AI sendiri masih menjadi perdebatan di kalangan pakar. Geoffrey Hinton memperkirakan terdapat kemungkinan AI menyebabkan kepunahan manusia dalam satu dekade, sementara Yann LeCun memiliki pandangan yang jauh lebih skeptis terhadap kemampuan pendekatan AI saat ini untuk menghasilkan superintelligence. Perbedaan pandangan tersebut menunjukkan masih adanya ketidakpastian mengenai arah perkembangan AI.
Karena itu, tantangan utama saat ini bukan hanya mengembangkan AI yang semakin canggih, tetapi memastikan kemampuan pengukuran, evaluasi, dan tata kelola AI berkembang seiring dengan kemampuan teknologinya.
Peneliti Oxford menilai pengembangan sistem pengukuran yang lebih baik menjadi salah satu langkah penting untuk membantu pemerintah, perusahaan, dan masyarakat mengambil keputusan terkait AI dengan informasi yang lebih memadai.
