Saat ini, laboratorium AI terdepan sedang berlomba untuk membangunnya model perbaikan diri. Beberapa orang percaya ini adalah jalan paling pasti untuk mencapainya kecerdasan super—Saat AI berkembang dalam lingkaran yang mencairkan pikiran, menurut pemikiran tersebut, AI pada akhirnya akan melampaui pemahaman manusia (dan mungkin bahkan kendali).
Itu semua baik dan bagus, tapi saya punya sebuah buletin untuk menghasilkan. Saya bertanya-tanya apakah perbaikan diri secara rekursif juga berguna bagi saya. Bisakah saya menggunakan AI untuk melatih dan terus meningkatkan model yang mengotomatiskan beberapa kesibukan buletin ini?
Setelah sekitar satu minggu bereksperimen, jawabannya nampaknya sangat mengejutkan—dan mengejutkan—ya. Terlebih lagi, mencoba-coba model pengembangan diri menunjukkan visi yang berbeda tentang bagaimana AI dapat berkembang—sebuah visi yang tidak berpusat pada segelintir perusahaan yang mengendalikan keseluruhan industri.
Saya mulai dengan mencoba lingkaran pengembangan diri yang sederhana
Untuk membuat kaki saya basah, saya bereksperimen dengan melatih model bahasa kecil dari awal—maksud saya, saya membuang semua kerja keras pada milik Claude piring.
saya menginstal Riset Otomatisyang membantu model AI siap pakai untuk membangun dan menyempurnakan model yang lebih kecil. AutoResearch adalah gagasan dari Andrej Karpatiseorang peneliti AI superstar yang membantu mendirikan OpenAI, memimpin pekerjaan AI di Tesla, dan baru-baru ini bergabung Antropis.
Saya menyalakan Claude dan memberikan instruksi yang direkomendasikan: “Hai, lihat program.md dan mari kita mulai eksperimen baru!” Sementara Claude melakukan hal-hal sulit, saya menyediakan silikon (an Nvidia DGX, “komputer super” desktop yang dirancang untuk eksperimen AI), listrik (panas selama beberapa hari berturut-turut), dan kesediaan yang mungkin keliru untuk membiarkan model tersebut melewati semua pemeriksaan izin biasa untuk melakukan tugasnya (biarkan dia memasak!)
Saya memeriksa proyek AutoResearch setiap beberapa jam dan kagum saat Claude menyesuaikan parameter dan cara pelatihan, melihat bagaimana hal ini mengubah keluaran model yang lebih kecil, dan terus menyempurnakannya.
Inilah yang dihasilkan oleh versi awal model bahasa yang lebih kecil ketika saya memintanya untuk melengkapi frasa “Pada awalnya…”
“Di awal, awal, akhir, akhir, akhir, akhir, akhir, akhir, akhir, akhir, awal, akhir, akhir, akhir…”
Tidak terlalu cemerlang. Namun model selanjutnya, yang diperbaiki secara mandiri oleh Claude, menjadi lebih koheren dan tidak terlalu rentan terhadap pengulangan yang gila dan tiada akhir. Ini bukan GPT-5, namun menunjukkan jalur yang menjanjikan menuju perbaikan berkelanjutan.
Perjalanan saya dilanjutkan dengan sesuatu yang lebih kompleks—dan bermanfaat
Saya sudah menggunakan agen yang mengandalkan Claude untuk membantu saya menemukan makalah penelitian penting, jadi saya memutuskan untuk melihat apakah mungkin untuk membangun sesuatu yang lebih dari itu.
Saya beralih ke alat dari startup bernama Akal Utamayang menggunakan AI untuk melatih model khusus untuk tugas tertentu. Saya mengumpulkan 100 atau lebih entri “Di Tempat Lain di Perbatasan AI” sebelumnya—potongan-potongan penelitian yang mengikuti esai utama di buletin saya. Kemudian, saya menciptakan lingkungan pelatihan Prime Intellect dan meminta Claude membantu saya membangun model saya sendiri, yang dijuluki Frontier_Paper_Curator, untuk menemukan dan meringkas makalah yang menarik.
Claude menemukan lebih banyak makalah dan menghasilkan banyak data sintetis untuk membantu pelatihan. Kemudian mereka memanfaatkan model lain untuk menilai keluaran Frontier_Paper_Curator, sementara lingkungan pelatihan juga meningkatkan model tersebut dengan pembelajaran penguatan.
Vincent Weisser, CEO Prime Intellect, yang baru-baru ini diterima Pendanaan sebesar $15 juta, memberi tahu saya bahwa perusahaannya bertujuan untuk membuat pengembangan diri rekursif dapat diakses oleh semua orang—bukan hanya laboratorium terdepan. Model yang dibuat oleh laboratorium perbatasan mungkin brilian, namun demokratisasi pelatihan AI semacam ini dapat menghasilkan model khusus yang sama mumpuninya, katanya.
“Beri setiap perusahaan akses ke infrastruktur pelatihan terdepan, dan kreativitas kolektif pasar akan membuka lebih banyak hal dibandingkan yang bisa dilakukan oleh segelintir laboratorium mana pun,” kata Weisser. “Kami tidak menginginkan satu kecerdasan yang tersentralisasi dan hampir seperti dewa, kami menginginkan satu miliar kecerdasan yang masuk ke semua bidang yang menciptakan hal-hal indah.”
Prime Intellect bukan satu-satunya perusahaan yang melihat masa depan dengan cara ini. Adaptasi, startup lain, menawarkan alat yang disebut Ilmuwan Otomotifyang mengotomatiskan pelatihan model AI. CEO Sara Hooker mengatakan Adaptasi bekerja sama dengan beberapa perusahaan besar yang menggunakan token dan tidak memiliki pakar AI internal.
Ketika Antropis memutuskan untuk memblokir permintaan tertentu pada model terbarunya Fable 5, hal ini menimbulkan risiko terlalu bergantung pada satu model terdepan. Dan beberapa eksekutif, seperti Alex Karp dari Palantir, telah memperingatkan bahwa menggunakan laboratorium perbatasan juga berarti menyerahkan data Anda sendiri dan kendali atas teknologi Anda.
Tujuan utama perbaikan diri secara rekursif adalah agar AI dapat menerapkan ide-ide baru pada suatu model dan menghasilkan wawasannya sendiri. Alat yang tersedia bagi kita semua lebih terbatas, namun tetap mengesankan. Setelah kurang dari sehari memasak dengan Prime Intellect, saya mampu membuat model yang sangat bagus untuk menemukan dan meringkas penelitian. Inilah salah satu contoh entri yang dibuat untuk saya:
Para peneliti di iFLYTEK punya dikembangkan iFLYTEK-Embodied-Omni, model AI multimodal terpadu yang mengintegrasikan visi, bahasa, dan pembuatan tindakan ke dalam kerangka tunggal. Tidak seperti agen yang diwujudkan sebelumnya yang menangani pemahaman visual, prediksi keadaan masa depan, dan pembuatan tindakan secara terpisah, model mereka menggunakan perhatian diri multimodal bersama untuk memungkinkan koordinasi yang erat—analog dengan kolaborasi otak-otak kecil—antara “otak tingkat tinggi” bahasa penglihatan dan “otak tingkat rendah” yang menghasilkan tindakan. Pendekatan ini mengurangi kesalahan penggabungan dan hambatan antarmuka yang umum terjadi pada saluran pipa berjenjang. Dengan melatih kumpulan data besar yang beragam termasuk video yang diwujudkan dengan anotasi manusia dan robot serta data gambar-teks, dan menggunakan strategi pelatihan bertahap, mereka mendemonstrasikan agen yang diwujudkan dengan tujuan umum yang mampu melakukan penalaran, prediksi, dan kontrol bersama. Hal ini menyumbangkan paradigma arsitektur dan pelatihan baru menuju sistem AI robotik yang lebih terintegrasi dan serbaguna.
Lumayan untuk percobaan pertama. Model baru ini masih terlalu bersemangat, memilih terlalu banyak makalah yang akan saya lewati, dan ringkasannya agak umum. Tapi ini adalah awal yang menjanjikan. Saya berharap suatu hari nanti saya dapat menggunakannya untuk membebaskan saya dari belenggu kesibukan.
Ini adalah edisi Will Knight Buletin Lab AI. Baca buletin sebelumnya Di Sini.
