Menulis laboratorium AI setiap minggu berarti saya sesekali menemukan model AI yang berperilaku dengan buruk Dan dengan aneh. Biasanya, tidak ada yang bisa dilakukan mengenai hal itu, kecuali berbagi cerita tersebut dengan Anda. Namun hal itu bisa segera berubah.
Sekelompok peneliti AI telah menyiapkan crowdsourcing situs webFlaw Reporting for AI (FLARE-AI), untuk melaporkan dan melacak bahaya AI. Jika, misalnya, chatbot menghasilkan malware atau resep pembuatan bom, membocorkan informasi pribadi, atau memicu pemikiran delusi pada pengguna, FLARE-AI dapat digunakan untuk membunyikan alarm. Kode sumber terbuka di balik sistem memungkinkan orang lain memverifikasi suatu masalah dan meneruskan laporan ke pembuat model, serta organisasi seperti MITRE, sebuah organisasi nirlaba yang melacak masalah pada sistem teknis. Ini seperti Downdetector, yang mengumpulkan laporan pengguna real-time untuk pemadaman layanan global yang memengaruhi hal-hal seperti aplikasi dan situs web.
Situs web ini merupakan langkah lain dalam pekerjaan berkelanjutan kelompok ini dengan pelaporan AI, yang pertama kali saya tulis tahun lalu. Anggota kelompok juga berkonsultasi tentang a RUU Kongres diumumkan pada bulan Juniyang akan membuat pemerintah AS mengambil peran penting dalam melacak perilaku buruk AI semacam ini.
“Saat ini, tidak ada cara yang terpusat dan akuntabel untuk melaporkan kelemahan dalam sistem AI,” kata Avijit Ghosh, seorang kecerdasan buatan peneliti kebijakan di HuggingFace yang ikut memimpin pengembangan FLARE-AI dengan ilmuwan komputer Elaine Zhu Dan Shayne Longpre.
Sistem alarm ini dikembangkan bekerja sama dengan 49 pakar AI dari 32 organisasi berbeda. Di dalam sebuah kertas Saat menguraikan pekerjaan tersebut, para peneliti berpendapat bahwa inisiatif mereka terbukti penting karena AI diadopsi secara lebih luas dan ketika sistem agen mendapatkan kekuatan yang lebih besar. Kurangnya cara yang konsisten untuk melaporkan kelemahan AI merupakan masalah yang signifikan, mereka yakin.
“Saya pikir ini adalah inisiatif yang sangat bagus,” kata Jessica Ji, peneliti di lembaga think tank Center for Security and Emerging Technology. Ji mengatakan para peneliti benar bahwa mekanisme pelaporan yang ada saat ini terfragmentasi dan model AI hanyalah kotak hitam. “Saya mendukung segala hal yang membuat AI lebih transparan,” katanya.
Meskipun bug dan masalah keamanan siber mendapat banyak perhatian—terutama akhir-akhir ini—Ghosh memberi tahu saya bahwa masalah dengan sistem AI mencakup topik seperti kerugian psikologis, diskriminasi atau bias, dan misinformasi. Ia menambahkan bahwa setiap perusahaan mempunyai standar yang berbeda mengenai permasalahan tersebut, sehingga ada beberapa permasalahan yang tidak diketahui. “Dengan tidak adanya sistem pengungkapan yang terkoordinasi, tidak ada mekanisme eksternal untuk menegakkan transparansi,” kata Ghosh.
Serangkaian insiden baru-baru ini yang melibatkan alat AI yang populer menunjukkan betapa mudahnya teknologi tersebut menjadi buruk.
Minggu ini, sebuah perusahaan bernama LayerX mengungkapkan suatu cara untuk menipu browser web yang dilengkapi AI, termasuk Atlas OpenAI dan Comet Perplexity, agar melompati pagar pembatas mereka. Meyakinkan model AI di belakang browser bahwa ia sedang bermain game, misalnya, dapat menyebabkan browser menjadi nakal dan mencoba meretas situs web. (Perusahaan yang bertanggung jawab atas browser yang terpengaruh telah memperbaiki masalah ini, kata LayerX.) Dan pada bulan April ini, Johann Rehberger, seorang peneliti keamanan, menemukan a cara untuk menipu Claude membocorkan data pribadi menggunakan gambar yang dihasilkan oleh ChatGTP.
AI juga menimbulkan masalah baru yang aneh. Tahun lalu, OpenAI terpaksa melakukannya memperbarui modelnya setelah diketahui bahwa mereka terlalu penjilat, yang terkadang tampaknya mendorong pemikiran delusi.
Rumman Chowdhury, CEO dan pendiri Humane Intelligence PBC, mengatakan FLARE-AI dapat menjadi cara yang berguna bagi banyak pengembang AI untuk menerapkan cara melaporkan masalah pada alat mereka. Namun dia menambahkan bahwa inisiatif semacam itu seringkali mempunyai tantangan yang serius.
