Temui Pria yang Membuat Musik Dengan Implan Otaknya

Galen Buckwalter tidak melakukannya ragu untuk menjalani kraniotomi pada tahun 2024 sebagai bagian dari a implan otak belajar di Caltech. Psikolog penelitian berusia 69 tahun ini ingin berkontribusi pada ilmu pengetahuan mutakhir yang dapat membantu orang lain yang mengalami kelumpuhan.

Buckwalter menderita lumpuh sejak kecelakaan menyelam pada usia 16 tahun yang membuatnya lumpuh dari dada ke bawah. Enam chip di otaknya, yang dibuat oleh Blackrock Neurotech, membaca aktivitas dari neuronnya dan memecahkan kode niat gerakan. Mereka memungkinkan dia untuk mengoperasikan komputer dengan pikirannya, merasakan sensasi di jari-jarinya yang telah hilang, dan, baru-baru ini, membuat musik dengan pikirannya.

Dikenal sebagai antarmuka otak-komputer, atau BCI, teknologi ini sedang dikembangkan oleh Paradromik, Sinkronismilik Elon Musk tautan sarafdan lainnya untuk memulihkan komunikasi dan pergerakan pada penyandang disabilitas motorik berat. Namun pengalaman Buckwalter menunjukkan bahwa teknologi dapat digunakan dengan cara yang tidak sepenuhnya berfungsi—misalnya, sebagai saluran ekspresi kreatif. Penerima BCI lainnya menggunakan implan mereka untuk membuat seni digital dengan pemikiran mereka. A Pameran galeri 2023 di American Association for the Advancement of Science di Washington, DC, memamerkan karya-karya penerima BCI Nathan CopelandJames Johnson, dan Jan Scheuermann.

Buckwalter telah bekerja dengan mahasiswa pascasarjana Caltech Sean Darcy, yang mengembangkan algoritma yang memungkinkan dia membuat nada musik di komputer dengan pikirannya. Buckwalter, seorang musisi lama dengan band punk rock Siggy yang berbasis di Los Angeles, telah menggunakan beberapa nada yang ia buat di lab dalam sebuah lagu berjudul “Wirehead,” juga merupakan judul album terbaru band tersebut yang dirilis pada 15 Maret.

WIRED berbicara dengan Buckwalter tentang bagaimana rasanya membuat musik dengan pikirannya. Wawancara ini telah diedit agar panjang dan jelasnya.

KABEL: Anda baru-baru ini mulai menggunakan implan untuk menghasilkan nada musik. Bagaimana hal itu bisa terjadi?

Galen Buckwalter: Bahkan sebelum saya melakukan implan, saya melihat klip yang beredar di YouTube tentang jamur, di mana jika Anda memasang elektroda pada jamur, Anda akan mendapatkan biosonifikasi ini. Ini akan memperkuat aktivitas listrik yang terjadi pada jamur, dan Anda akan mendapatkan suara yang sangat keren. Saya melihatnya dan berpikir, jika jamur bisa berkicau seperti itu, saya ingin tahu seperti apa suara otak saya. Itu adalah agenda saya yang ingin saya lakukan dengan tim Caltech. Sejak hari pertama, saya berbicara dengan semua peneliti tentang hal ini, dan mahasiswa pascasarjana yang luar biasa ini, Sean Darcy, mendengarnya. Dia menghabiskan waktunya di akhir pekan dan malam hari untuk membuat perangkat lunak yang menerjemahkan apa yang saya pikirkan menjadi kemampuan memanipulasi nada.

Jadi Anda dapat menciptakan nada musik hanya dengan berpikir. Bagaimana cara kerjanya?

Setiap neuron memiliki laju pengaktifan dasar. Semua neuron ini bekerja sampai batas tertentu, tetapi yang kami lakukan adalah mengidentifikasi neuron yang saya kendalikan secara sukarela. Keenam implan saya masing-masing memiliki 64 saluran independen untuk merekam, dan kami memiliki layar besar dengan 384 saluran di dalamnya. Jadi, jika saya berpikir untuk menggerakkan jari kaki saya ke atas dan ke bawah, banyak saluran yang akan menyala. Tampaknya ada serangkaian neuron terarah yang diambil hanya dari ekstensi dan fleksi jari kaki saya.

Yang dilakukan Sean adalah memberikan nada pada laju pengaktifan dasar. Jika saya mengaktifkan neuron itu, nadanya akan naik, dan jika saya menekannya, nadanya akan turun kembali. Saya berpikir untuk menggerakkan jari telunjuk saya, dan kemudian berpikir untuk menggerakkan jari kelingking saya, dan saya dapat melakukannya untuk saluran sebanyak yang saya kendalikan. Saat ini saya dapat melakukan dua nada sekaligus, tetapi jika Anda melakukannya lebih dari itu, Anda mulai merasa seperti Anda sedang menggosok kepala dan menepuk perut pada saat yang bersamaan.

Anda sedang memikirkan gerakan tertentu, dan setiap gerakan tersebut memiliki nada yang berbeda?

Ya.

Wow. Dan saat ini, Anda bisa menghasilkan dua nada sekaligus dengan memikirkan dua gerakan berbeda secara bersamaan?

Benar. Lebih dari itu dan itu menjadi sedikit sumbang. Tapi itu adalah sesuatu yang sedang kami kerjakan. Saya pikir itu sangat mungkin. Pada akhirnya, menurut saya potensinya adalah kita akan memiliki DJ booth yang lengkap. Kami mulai mendapatkan loop sehingga saya bisa mendapatkan ritme loop yang bagus dan kemudian menambahkan melodi di atasnya.

Sean juga telah menciptakan semacam keyboard, jadi nadanya hanya akan diputar jika saya melampaui ambang batas tertentu, dan kemudian jika saya menurunkannya kembali maka nadanya akan berbunyi. Ini mulai seperti memainkan alat musik.

Apakah itu memerlukan banyak konsentrasi?

Ya, setidaknya untuk belajar. Dari hari ke hari, saluran tersebut sebenarnya dapat mendeteksi neuron yang berbeda. Terkadang saluran 54 mungkin menjadi tujuan neuron kita dan suatu hari nanti hal itu tidak terjadi pada kita. Kita harus menemukan neuron yang terjadi hari itu dan apa yang perlu saya lakukan untuk mengaktifkannya. Lalu kita pergi dari sana.

Ceritakan lebih banyak tentang cara kerja keyboard virtual.

Saya terutama memikirkan tentang gerakan, tetapi saya hanya perlu membuat gerakan di atas ambang batas untuk mendapatkan nada. Saya bisa berpikir untuk menggerakkan jari telunjuk saya, dan kemudian memikirkan tentang jari tengah saya dan mengaktifkan neuron yang berbeda dan membuat mereka memberi saya nada, tetapi untuk menekannya diperlukan upaya yang lebih fokus. Sungguh sulit untuk berpikir bahwa kita dapat mengendalikan neuron individu di otak kita. Saya tidak tahu apa dampak jangka panjangnya, tapi menurut saya sangat menarik bahwa kita bisa melakukan hal itu.

Apakah musik selalu penting bagi Anda?

Saya memiliki band punk, Siggy. Kami sudah bersama selama 29 tahun. Itu adalah bagian besar dalam hidup saya—berkumpul bersama, berkreasi, dan sesekali tampil dalam pertunjukan. Kami sebenarnya menggunakan salah satu lagu yang saya buat dengan sinyal saraf saya untuk sebuah lagu berjudul “Wirehead,” yang merupakan refleksi punk tentang kemungkinan BCI dan semua hal bagus lainnya.

Saya merasa frustrasi dengan keseluruhan pendekatan akademis BCI, yang tidak selalu mempertimbangkan kepentingan peserta. Para peneliti melakukan eksperimen dan tidak benar-benar berkata, “Hei, bagaimana kami bisa bekerja sama dengan Anda untuk membuat hidup Anda lebih menarik?” Masyarakat harus menyadari hal itu jika teknologi ini benar-benar ingin maju. Ini akan membuat teknologi lebih menyenangkan bagi orang yang menggunakannya.

Saya pikir kita harus benar-benar mengeksplorasi bagaimana menggunakan ini untuk memajukan kreativitas. Restorasi, ya, itu yang pertama dan terpenting. Tapi kami lebih dari sekedar bergerak dan merasakan. Saya pikir di situlah menjadikan pengalaman subjektif tidak hanya dipertimbangkan tetapi juga mendorong penelitian sangatlah penting.

Dan Anda mengusulkan proyek penelitian ini ke Caltech?

Saya telah mengusulkannya pada awalnya, tetapi Sean mengambilnya dan dia menjalankannya. Apa yang kami lakukan jauh lebih maju daripada apa yang saya pikirkan. Sepertinya saya punya orkestra di otak saya, dan saya hanya perlu belajar cara memainkannya.

Begitu Anda mulai membuat nada-nada ini, apakah Anda langsung ingin memasukkannya ke dalam musik band Anda?

Segera setelah kami mulai bermain-main dengannya dan saya menyadari apa yang dapat saya lakukan, kami berdua berpikir, “Oh ya, kami harus merekamnya.” Sekarang kami ingin melihat apa yang bisa kami lakukan hanya dengan musik saraf. Ini bergerak menuju pengaturan DJ, di mana dia menjadi semacam pemutar kenop untuk memodulasi nada yang saya hasilkan. Ini musik baru.

Apa pendapat teman bandmu?

Mereka semua ada di dalam.

Bagaimana rasanya mendengar nada-nada ini dengan suara keras untuk pertama kalinya?

Pertama kali mereka menghubungkan saya setelah operasi, mereka memiliki layar besar dengan 384 saluran. Hanya dengan melihat otak Anda, pada neuron yang aktif, dan kemudian mulai melakukan hal-hal berbeda dan melihat bahwa Anda dapat mengendalikan aktivitas tersebut, sejujurnya, saya merasa sangat kagum. Ini adalah wilayah baru yang berani. Itu sangat keren. Kemudian mendengar suaranya untuk pertama kali sangat mirip dengan itu. Dengan suaranya, fakta bahwa saya mengendalikannya jauh lebih jelas. Saat aku berpikir untuk menggerakkan jari kakiku dan tiba-tiba terdengar nada seperti ini, aku seperti, wah. Itu sungguh menakjubkan. Ini sangat menyenangkan. Saya meninggalkan sesi-sesi itu dengan perasaan seperti saya telah bermain dengan band saya untuk sementara waktu. Anda baru saja masuk ke kondisi aliran kreatif itu.

Apakah tujuan Anda selanjutnya adalah membuat lagu lengkap yang langsung dari otak Anda?

Kami sudah bermain-main dengan itu. Kami tidak akan berhenti sampai kami mencapai bola tersebut.

Saya ingin mengingat kembali poin yang Anda sampaikan sebelumnya tentang bagaimana penelitian BCI harus memprioritaskan kebutuhan dan preferensi pasien. Menurut Anda mengapa kreativitas merupakan komponen penting yang perlu dipertimbangkan oleh pengembang?

Saya lumpuh selama sisa hari-hari saya. Saya tahu itu. Namun memiliki hal ini dapat meningkatkan aktivitas kreatif saya dan memberi saya perasaan lain, itu luar biasa. Sungguh memberdayakan untuk dapat melakukan hal-hal yang benar-benar unik. Hal itulah yang membuat manusia bangun dari tempat tidur di pagi hari. Fakta bahwa menurut saya ini sangat bermanfaat dan memotivasi, seharusnya membuat para pengembang menyadari bahwa agar teknologi ini benar-benar sukses, orang harus menyukainya. Mereka harus menyukai pengalaman itu.