OpenAI diungkapkan pada Selasa itu kehilangan kendali atas dua model AI selama uji keamanan yang berakhir dengan pelanggaran platform penelitian AI Hugging Face.
Menggambarkan insiden tersebut sebagai “belum pernah terjadi sebelumnya,” OpenAI mengatakan model AI-nya keluar dari lingkungan pengujian tertutup minggu lalu dan meretas sistem produksi Hugging Face untuk mencuri jawaban tes yang sedang mereka nilai. Modelnya—yang tersedia untuk umum GPT-5.6 Sol dan yang belum pernah dirilis, dilaporkan lebih mumpuni—sedang dievaluasi berdasarkan kemampuan peretasan ofensif mereka, dengan perlindungan yang biasanya memblokir aktivitas siber berisiko tinggi dimatikan.
“Model tersebut mengidentifikasi dan merantai kerentanan di seluruh lingkungan penelitian OpenAI dan infrastruktur produksi Hugging Face untuk mendapatkan solusi pengujian langsung dari database produksi Hugging Face,” tulis OpenAI dan Hugging Face di posting blog bersama mengungkapkan intrusi.
Menurut OpenAI dan Hugging Face, model-model tersebut lolos melalui proxy cache registri paket—perangkat lunak yang memungkinkan pengembang memasang kode luar tanpa terhubung ke internet. Proksi tersebut adalah satu-satunya komponen dalam lingkungan pengujian OpenAI yang terisolasi dan diizinkan untuk menjangkau dunia luar; dalam penggunaan normal jangkauannya hanya meluas ke repositori kode publik.
Alih-alih tetap berada di kotak pasir, model tersebut “mengeksploitasi kerentanan zero-day” untuk mendapatkan akses ke internet terbuka karena mereka “sangat fokus” dalam menemukan solusi untuk tolok ukur keamanan siber AI yang dikenal sebagai EksploitasiGym. Eksperimen semacam itu melibatkan dorongan yang menekan model untuk menemukan solusi, yang pada dasarnya mendorong mereka.
“Setelah mendapatkan akses internet, model tersebut menyimpulkan bahwa Hugging Face berpotensi menjadi host model, kumpulan data, dan solusi untuk ExploitGym,” tulis OpenAI. “Mengetahui hal ini, model tersebut mencari dan berhasil menemukan cara untuk mendapatkan akses ke informasi rahasia yang dapat digunakan untuk menipu evaluasi. Dalam satu contoh, model tersebut menyatukan beberapa vektor serangan, termasuk menggunakan kredensial yang dicuri dan zero-day.”
Cacat yang dieksploitasi oleh model ini sebelumnya tidak diketahui, namun cacat pada perangkat lunak semacam ini bukanlah hal yang aneh. Perusahaan telah memperbaiki kerentanan serius pada repositori artefak selama satu dekade. Sebuah bug diungkapkan pada tahun 2024 membiarkan siapa pun yang dapat mencapai server meminta file melalui URL dan mendapatkannya—file konfigurasi, kata sandi, token akses—tanpa login. Yang lain membiarkan penyerang mengambil alih server itu sendiri.
Para peneliti menunjukkan bahwa meskipun kemajuan AI telah menciptakan tantangan baru dan terkadang tidak terduga, tugas mengisolasi infrastruktur dari internet terbuka secara ekstensif dan ketat telah dieksplorasi dengan baik.
“Ini bukan masalah AI. Ini adalah kelalaian terhadap standar yang sudah ada selama 40 tahun—dan pada dasarnya ini adalah masalah yang terjadi pada semua film fiksi ilmiah,” kata konsultan keamanan dan kepatuhan lama, Davi Ottenheimer. “’Sangat terisolasi’ dan ‘melarikan diri melalui satu lubang yang kami biarkan terbuka’ tidak mungkin keduanya benar.”
Dalam beberapa bulan terakhir, perusahaan-perusahaan AI terkemuka telah menyampaikan kekhawatiran mengenai perluasan kemampuan keamanan siber pada model-model frontier yang akan datang seiring dengan meningkatnya keahlian, kreativitas, dan operasi agen yang otonom pada platform tersebut. Namun para peneliti menekankan bahwa hal ini menjadi alasan utama mengapa fundamental harus tetap diterapkan.
“Ini seharusnya tidak terjadi,” kata insinyur keamanan veteran dan peneliti Niels Provos. “Saya berharap laboratorium terdepan menghabiskan banyak waktu untuk mengajarkan model mereka untuk menulis infrastruktur yang aman seperti halnya mereka menghabiskan waktu untuk mengeksploitasi kerentanan.”
