Belajar dari kesalahan alexa

Perangkat Amazon Echo baru-baru ini merekam percakapan pribadi pengguna dan mengirimkannya ke salah satu kontak mereka tanpa sepengetahuan dan persetujuan mereka. Ini (sekali lagi) menimbulkan kekhawatiran tentang keamanan dan privasi speaker cerdas. Namun, seperti yang kemudian menjadi jelas, perilaku aneh Alexa bukanlah bagian dari plot spionase yang menyeramkan - melainkan disebabkan oleh serangkaian kegagalan terkait yang dikaitkan dengan cara kerja pembicara cerdas.

Menurut akun yang disediakan oleh Amazon: "Echo terbangun karena sebuah kata dalam percakapan latar belakang terdengar seperti 'Alexa.' Kemudian, percakapan selanjutnya terdengar sebagai permintaan 'kirim pesan'. Pada titik mana, Alexa berkata dengan keras, 'Untuk siapa?' Pada titik mana, percakapan latar belakang ditafsirkan sebagai nama dalam daftar kontak pelanggan. Alexa kemudian bertanya dengan lantang, 'kan?' Alexa kemudian menafsirkan percakapan latar belakang sebagai 'benar.' Karena kejadian ini tidak mungkin, kami sedang mengevaluasi opsi untuk membuat kasus ini semakin kecil kemungkinannya."

Skenario adalah kasus tepi, jenis insiden yang terjadi sangat jarang. Tetapi ini juga merupakan studi yang menarik dalam batas-batas teknologi kecerdasan buatan yang mendukung Echo dan perangkat lain yang disebut "pintar".

Terlalu Banyak mengandalkan Cloud

Untuk memahami perintah suara, speaker pintar seperti Echo dan Google Home mengandalkan algoritma pembelajaran mendalam, yang membutuhkan daya komputasi yang luas. Karena mereka tidak memiliki sumber daya komputasi untuk melakukan tugas secara lokal, mereka harus mengirim data ke server cloud pabrikan, di mana algoritma AI mengubah data ucapan menjadi teks dan memproses perintah.

Tetapi speaker pintar tidak dapat mengirim semua yang mereka dengar ke server cloud mereka, karena itu akan mengharuskan pabrikan untuk menyimpan data dalam jumlah berlebih di server mereka - sebagian besar akan sia-sia. Secara tidak sengaja merekam dan menyimpan percakapan pribadi yang terjadi di rumah pengguna juga akan menghadirkan tantangan privasi dan dapat membuat produsen bermasalah, terutama dengan peraturan privasi data baru yang memberikan batasan ketat tentang bagaimana perusahaan teknologi menyimpan dan menggunakan data.

Itu sebabnya speaker pintar dirancang untuk dipicu setelah pengguna mengucapkan kata bangun seperti "Alexa" atau "Hei Google." Hanya setelah mendengar kata bangun, mereka mulai mengirim input audio mikrofon mereka ke cloud untuk dianalisis dan diproses.

Sementara fitur ini meningkatkan privasi, ia menghadirkan tantangannya sendiri, seperti insiden Alexa baru-baru ini disorot.

"Jika sebuah kata - atau sesuatu yang terdengar sangat mirip - dikirim di tengah-tengah percakapan, Alexa tidak akan memiliki konteks sebelumnya, " kata Joshua March, CEO Conversocial. "Pada saat itu, sangat sulit mendengarkan perintah apa pun yang terkait dengan keterampilan yang telah Anda atur (seperti aplikasi perpesanan mereka). Untuk sebagian besar, privasi sangat ditingkatkan dengan membatasi konteks yang menjadi perhatian Alexa (seperti itu tidak merekam atau mendengarkan salah satu percakapan normal Anda), meskipun itu bumerang dalam kasus ini."

Kemajuan dalam komputasi tepi mungkin membantu meringankan masalah ini. Ketika AI dan pembelajaran mendalam menemukan jalannya ke semakin banyak perangkat dan aplikasi, beberapa produsen perangkat keras telah menciptakan prosesor yang khusus untuk melakukan tugas-tugas AI tanpa terlalu bergantung pada sumber daya cloud. Prosesor Edge AI dapat membantu perangkat seperti Echo lebih memahami dan memproses percakapan tanpa melanggar privasi pengguna dengan mengirim semua data ke cloud.

Konteks dan Tujuan

Selain menerima potongan audio yang terpisah dan terfragmentasi, AI Amazon berjuang dengan memahami nuansa percakapan manusia.

"Meskipun ada kemajuan besar dalam pembelajaran mendalam selama beberapa tahun terakhir, memungkinkan perangkat lunak untuk memahami pembicaraan dan gambar lebih baik dari sebelumnya, masih ada banyak batasan, " kata March. "Sementara asisten suara dapat mengenali kata-kata yang Anda ucapkan, mereka tidak harus memiliki pemahaman yang nyata tentang makna atau maksud di baliknya. Dunia adalah tempat yang kompleks, tetapi sistem AI mana pun saat ini hanya mampu menangani dengan sangat kasus penggunaan spesifik dan sempit."

Misalnya, kita manusia memiliki banyak cara untuk menentukan apakah suatu kalimat diarahkan kepada kita, seperti nada suara, atau mengikuti isyarat visual - katakanlah, arah yang dituju pembicara.

Sebaliknya, Alexa menganggap bahwa itu adalah penerima dari setiap kalimat yang mengandung kata "A". Inilah sebabnya mengapa pengguna sering memicunya secara tidak sengaja.

Sebagian dari masalahnya adalah bahwa kita membesar-besarkan kemampuan aplikasi AI saat ini, sering menempatkan mereka setara dengan atau di atas pikiran manusia dan menempatkan terlalu banyak kepercayaan pada mereka. Itu sebabnya kami terkejut ketika mereka gagal secara spektakuler.

"Bagian dari masalah di sini adalah bahwa istilah 'AI' telah dipasarkan secara agresif sehingga konsumen telah menempatkan jumlah kepercayaan yang tidak pantas dalam produk dengan istilah ini terkait dengan mereka, " kata Pascal Kaufmann, ahli ilmu saraf dan pendiri Starmind. "Kisah ini menggambarkan bahwa Alexa memiliki banyak kemampuan dan pemahaman yang relatif terbatas tentang bagaimana dan kapan mereka harus diterapkan dengan tepat."

Algoritma deep-learning cenderung gagal ketika mereka menghadapi pengaturan yang menyimpang dari data dan skenario mereka dilatih untuk. "Salah satu fitur penentu AI tingkat manusia adalah kompetensi mandiri dan pemahaman konten yang benar, " kata Kaufmann. "Ini adalah bagian penting dari benar-benar menganggap AI 'cerdas, ' dan vital bagi pengembangannya. Menciptakan asisten digital yang sadar diri, yang membawa pemahaman penuh tentang sifat manusia, akan menandai transformasi mereka dari kebaruan yang menyenangkan menjadi benar-benar alat yang berguna."

Tetapi menciptakan AI tingkat manusia, juga disebut AI umum, lebih mudah dikatakan daripada dilakukan. Selama beberapa dekade, kami telah berpikir itu hanya sekitar sudut, hanya untuk menjadi kecewa karena kemajuan teknologi telah menunjukkan betapa rumitnya pikiran manusia. Banyak ahli percaya mengejar AI umum itu sia-sia.

Sementara itu, AI sempit (seperti teknologi kecerdasan buatan saat ini dijelaskan) masih menghadirkan banyak peluang dan dapat diperbaiki untuk menghindari kesalahan berulang. Untuk menjadi jelas, pembelajaran yang dalam dan pembelajaran mesin masih baru, dan perusahaan seperti Amazon terus memperbarui algoritma AI mereka untuk mengatasi kasus tepi setiap kali mereka terjadi.

Yang Perlu Kita Lakukan

"Ini adalah bidang muda yang muncul. Pemahaman Bahasa Alami terutama dalam masa pertumbuhan, jadi ada banyak yang bisa kita lakukan di sini, " kata Eric Moller, CTO dari Atomic X.

Moller percaya algoritma AI analisis suara dapat disesuaikan untuk lebih memahami intonasi dan infleksi. "Menggunakan kata 'Alexa' dalam kalimat yang lebih luas terdengar berbeda dari doa atau perintah. Alexa seharusnya tidak bangun karena Anda mengatakan nama itu secara sepintas, " kata Moller. Dengan pelatihan yang cukup, AI harus dapat membedakan nada spesifik mana yang diarahkan pada speaker pintar.

Perusahaan teknologi juga dapat melatih AI mereka untuk dapat membedakan ketika menerima suara latar belakang yang bertentangan dengan yang diucapkan secara langsung. "Latar belakang obrolan memiliki 'tanda' pendengaran unik yang manusia sangat pandai mengambil dan menyeleksi secara selektif. Tidak ada alasan kita tidak bisa melatih model AI untuk melakukan hal yang sama, " kata Moller.

Sebagai tindakan pencegahan, asisten AI harus menilai dampak keputusan yang mereka buat dan melibatkan keputusan manusia dalam kasus di mana mereka ingin melakukan sesuatu yang berpotensi sensitif. Produsen harus membuat lebih banyak perlindungan dalam teknologi mereka untuk mencegah pengiriman informasi sensitif tanpa persetujuan yang jelas dan jelas dari pengguna.

"Meskipun Amazon melaporkan bahwa Alexa berusaha mengkonfirmasi tindakan yang ditafsirkannya, beberapa tindakan perlu dikelola dengan lebih hati-hati dan dipegang dengan standar konfirmasi niat pengguna yang lebih tinggi, " kata Sagi Eliyahi, CEO Tonkean. "Manusia memiliki masalah pengenalan ucapan yang sama, terkadang permintaan yang salah dengar. Tidak seperti Alexa, manusia lebih cenderung mengkonfirmasi secara absolut bahwa mereka memahami permintaan yang tidak jelas dan, yang lebih penting, mengukur kemungkinan permintaan dibandingkan dengan permintaan di masa lalu."

Sementara itu…

Sementara perusahaan teknologi melakukan finetune pada aplikasi AI mereka untuk mengurangi kesalahan, pengguna harus membuat keputusan akhir tentang seberapa besar mereka ingin terpapar pada kesalahan potensial yang mungkin terjadi pada perangkat bertenaga AI mereka.

"Kisah-kisah ini menunjukkan konflik dengan jumlah data yang orang mau bagikan melawan janji teknologi AI baru, " kata Doug Rose, pakar ilmu data dan penulis beberapa buku tentang AI dan perangkat lunak. "Kamu mungkin menggoda Siri karena lamban. Tapi cara terbaik baginya untuk mencapai kecerdasan yang lebih besar adalah dengan menginvasi percakapan pribadi kita. Jadi pertanyaan kunci selama kurang lebih sepuluh tahun ke depan adalah seberapa besar kita membiarkan agen-agen AI ini mengintip ke dalam perilaku kita. ?"

"Keluarga mana yang akan menempatkan asisten manusia di ruang tamu dan membiarkan orang itu mendengarkan percakapan apa pun sepanjang waktu?" kata Kaufmann, ahli saraf dari Starmind. "Kita setidaknya harus menerapkan standar yang sama dengan apa yang disebut perangkat 'AI' (jika tidak lebih tinggi) sehingga kita juga berlaku untuk makhluk cerdas manusia dalam hal privasi, kerahasiaan, atau keandalan."