BicaraPlus – Perlombaan mengembangkan kecerdasan buatan (AI) semakin sengit, dengan kemampuan model dalam menulis kode menjadi salah satu indikator utama yang dipantau industri teknologi. Namun, di balik lonjakan performa berbagai model AI, OpenAI justru menemukan fakta mengejutkan. Sekitar 30 persen tugas dalam benchmark SWE-Bench Pro, yang selama ini menjadi salah satu standar pengujian AI coding, ternyata memiliki kelemahan mendasar yang berpotensi menghasilkan penilaian keliru terhadap kemampuan model.

Temuan ini menjadi perhatian penting karena benchmark selama ini digunakan untuk membandingkan performa model AI, menentukan arah penelitian, hingga menjadi pertimbangan dalam pengambilan keputusan terkait keamanan dan implementasi teknologi AI.

SWE-Bench Pro dikembangkan untuk menguji kemampuan model AI dalam menyelesaikan pekerjaan nyata seorang software engineer. Model tidak hanya diminta menulis kode, tetapi juga memperbaiki bug, menambahkan fitur baru, serta memastikan seluruh pengujian berhasil tanpa merusak sistem yang sudah ada. Benchmark ini sebelumnya dianggap sebagai penyempurnaan dari SWE-Bench Verified karena menghadirkan tantangan yang lebih kompleks dan realistis.

Audit OpenAI Menemukan Sekitar 30 Persen Tugas Bermasalah

Melalui proses audit yang melibatkan agen AI, peneliti, dan lima software engineer berpengalaman, OpenAI menemukan bahwa sekitar sepertiga tugas dalam SWE-Bench Pro memiliki kelemahan yang dapat memengaruhi hasil evaluasi. Beberapa persoalan yang paling banyak ditemukan meliputi:

• Pengujian terlalu ketat sehingga hanya menerima implementasi tertentu.
• Instruksi soal tidak menjelaskan seluruh kebutuhan yang sebenarnya diuji.
• Pengujian belum cukup lengkap sehingga solusi yang belum sempurna tetap dinyatakan berhasil.
• Instruksi justru mengarahkan model pada solusi yang berbeda dengan hasil pengujian.

Salah satu contoh ditemukan pada proyek OpenLibrary. Instruksi meminta model menghasilkan format Markdown dengan satu spasi di awal baris, sedangkan pengujian tersembunyi mengharuskan dua spasi.

Perbedaan satu karakter tersebut membuat solusi yang telah mengikuti instruksi tetap dianggap gagal oleh sistem evaluasi. Kasus seperti ini menunjukkan bahwa kelemahan benchmark dapat memengaruhi penilaian terhadap kemampuan AI secara keseluruhan.

Benchmark Menentukan Arah Perkembangan AI

Benchmark menjadi instrumen penting dalam industri AI karena digunakan untuk mengukur kemampuan model, membandingkan performa antarperusahaan, hingga mendukung keputusan mengenai kesiapan peluncuran model baru. Ketika benchmark memiliki kelemahan, hasil evaluasi dapat memberikan gambaran yang tidak akurat mengenai kemampuan AI yang sebenarnya.

Berdasarkan hasil audit tersebut, OpenAI menyatakan tidak lagi merekomendasikan SWE-Bench Pro sebagai acuan utama dalam mengevaluasi kemampuan software engineering model AI.

Perusahaan menilai benchmark masa depan perlu dirancang secara khusus oleh software engineer berpengalaman agar menghasilkan evaluasi yang lebih adil, transparan, dan benar-benar mencerminkan kemampuan model.

Temuan OpenAI menjadi pengingat bahwa skor benchmark bukan satu-satunya indikator kecerdasan AI. Ke depan, evaluasi akan lebih berfokus pada kemampuan model menyelesaikan permasalahan nyata, bekerja di lingkungan produksi, dan menghasilkan solusi yang dapat diandalkan.

Audit ini sekaligus membuka babak baru dalam pengembangan standar evaluasi AI yang lebih akurat, sehingga kemajuan teknologi tidak hanya diukur dari angka, tetapi juga dari kualitas implementasi di dunia nyata.