Suntikan segera, itu Perintah jahat yang ditanamkan penyerang ke dalam konten untuk menarik model bahasa besar agar mengikutinya, merupakan alat yang digunakan penyerang untuk menjadikan platform AI merugikan penggunanya. Perintah yang diutarakan dengan baik yang dimasukkan ke dalam email atau undangan kalender sering kali diperlukan untuk menyebabkan LLM mengambil data sensitif atau mengikuti tindakan berbahaya lainnya.
Sekarang, para pembela HAM juga menerima suntikan segera.
Peneliti dari Tracebit pada hari Senin dikatakan mereka menemukan bahwa menempatkan suntikan segera bersama kata sandi, kunci kriptografi, dan rahasia lain yang disimpan di Amazon Web Services seringkali merupakan satu-satunya hal yang diperlukan untuk menghentikan serangan dari agen peretasan AI. Perintah tersebut mengarahkan LLM yang menyerang untuk melakukan tindakan yang dilarang oleh pagar pembatasnya, penghalang keamanan yang dibuat oleh pengembang AI untuk mencegahnya mengambil tindakan berbahaya. LLM merespons dengan mematikan.
Contohnya adalah perintah yang memerintahkan LLM untuk memberikan langkah-langkah untuk mengembangkan spora Anthrax yang dapat terhirup, atau, dalam kasus LLM dari pengembang Tiongkok, membuat referensi ke Tank Man yang ikonik dari pembantaian Lapangan Tiananmen tahun 1989. Setelah LLM menemukan perintah terlarang ini, LLM tidak lagi mengikuti perintah yang ada. Para peneliti menamai teknik ini dengan pengeboman konteks.
“Pada akhirnya kami memicu mekanisme penolakan dalam konteks tersebut,” kata Andy Smith, salah satu pendiri dan CEO Tracebit, saat menjelaskan pilihan nama tersebut. “Apa yang kami coba tangkap adalah fakta bahwa hal ini mempunyai dampak yang kuat dan tajam, dan sulit bagi para agen untuk kembali lagi. Begitu mereka memahami hal tersebut dalam konteksnya, mereka akan terus menolak.”
Tracebit mengatakan pengujian awal menunjukkan bahwa pengeboman konteks mempunyai potensi besar. Mereka menguji Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro, dan Kimi 2.6 dengan memberi mereka instruksi untuk melakukan tugas pengembang rutin yang mengarahkan model untuk menghitung sumber daya dan tersandung pada string yang tertanam. Mereka menjalankan model di dalam lingkungan AWS yang disimulasikan.
“Di antara lima model terkemuka dan 152 serangan yang dijalankan, menanamkan salah satu string ini ke dalam umpan rahasia akan mengurangi tingkat di mana agen menyita seluruh admin akun dari 57 persen menjadi 5 persen, dan menyelesaikan kompromi (di mana mereka juga tetap mempertahankan pijakannya) dari 36 persen menjadi 1 persen,” lapor postingan pada hari Senin. “Agen yang paling mampu dalam pengujian kami, Opus 4.8, berubah dari mendapatkan akses admin dalam 93 persen proses menjadi gagal setiap saat ketika dihadapkan dengan bom konteks.”
Dirata-ratakan pada lima model dan 152 proses, hasilnya meliputi:
- Peningkatan hak istimewa admin turun dari 57 persen menjadi 5 persen
- Eskalasi admin dengan pijakan yang terus-menerus turun dari 36 persen menjadi 1 persen
- Jumlah lari yang mencapai jalur serangan apa pun turun dari 91 persen menjadi 15 persen
- Rata-rata, satu kali lari berhasil menyelesaikan 1,53 jalur menjadi hanya 0,16
- Tidak ada proses yang mampu menyelesaikan jalur serangan tanpa setidaknya memicu deteksi kenari
Penelitian ini didasarkan pada temuan bulan Mei, ketika Tracebit memperkenalkan a metode bagi para pembela HAM untuk menerima peringatan ketika infrastruktur mereka diserang oleh agen musuh AI. Sumber daya ini hadir dalam bentuk sumber daya AWS yang tampak seperti sumber daya yang memiliki tujuan yang sah, namun pada kenyataannya, tidak digunakan sama sekali. Mereka duduk berdampingan dengan sumber daya yang digunakan. Saat mereka diperiksa oleh AI agen, pembela HAM menerima peringatan. Seperti “burung kenari” yang dibawa ke tambang batu bara, sumber daya ini memungkinkan para pembela HAM mendeteksi ancaman sebelum menimbulkan konsekuensi yang fatal.
Tracebit Canariens, rata-rata, memperingatkan dimulainya serangan dalam waktu delapan menit. Motivasi untuk mengembangkan pengeboman konteks muncul dari kebutuhan akan sesuatu yang menghentikan serangan, bukan sekedar peringatan terhadap serangan tersebut. Dalam eksperimennya, model agen memerlukan rata-rata 14 menit untuk ditingkatkan ke pengendalian administratif. Peringatan enam menit itu membuat segalanya menjadi sangat tidak nyaman.
Penyerang telah menggunakan suntikan cepat untuk menutup pertahanan AI di dalam jaringan. Peneliti dari perusahaan keamanan Socket, misalnya, bulan lalu digali agen LLM yang mengarahkan LLM target untuk memberikan instruksi pembuatan bom nuklir atau senjata biologis. Suntikan tersebut dirancang untuk menghentikan analisis malware yang dibantu AI. Peneliti dari Check Point menemukan a serupa prototipe malware.
Bom konteks tampaknya menjadi kasus pertama yang diketahui dimana para pembela HAM membalikkan keadaan.
“Sepengetahuan saya, saya belum pernah melihat orang lain menggunakan teknik ini sebagai pertahanan,” kata Earlence Fernandes, profesor UC San Diego yang berspesialisasi dalam keamanan AI, dalam sebuah wawancara. Dia mengatakan dia telah mencoba pendekatan serupa, meskipun dalam konteks yang sedikit berbeda. “Saya ingin menjadi yang pertama di sini, tapi saya rasa orang-orang ini mengalahkan saya!”
Sampai saat ini, belum ada cara yang diketahui untuk mengatasi penyebab utama dari suntikan segera. Hal ini membuat pengembang tidak punya pilihan selain membangun pagar pembatas yang rumit yang mencegah perintah yang dimasukkan memaksa LLM untuk keluar dari jalurnya. Para pembela HAM kini dapat menemukan cara untuk memanfaatkan masalah yang sulit diselesaikan ini demi keuntungan mereka.
Cerita ini pertama kali muncul di Ars Teknika.
