Mengapa ai harus mengungkapkan bahwa itu ai

Google baru-baru ini menarik Duplex untuk secara eksplisit mengungkapkan kepada pemilik restoran dan staf salon bahwa mereka berbicara dengan Asisten Google dan sedang direkam.

Google menghilangkan detail kecil namun penting ini ketika pertama kali memperkenalkan Duplex pada konferensi pengembang I / O pada bulan Mei. Reaksi media terjadi, dan para kritikus memperbaharui ketakutan lama tentang implikasi melepaskan agen AI yang dapat menyamar sebagai perilaku manusia dengan cara yang tidak bisa dibedakan.

Dengan mengutak-atik Duplex, Google mengistirahatkan sebagian dari kritik itu. Tetapi mengapa sangat penting bagi perusahaan untuk transparan tentang identitas agen AI mereka?

Bisakah AI Assistants Melayani Tujuan Jahat?

"Ada harapan yang berkembang bahwa ketika Anda mengirim pesan bisnis, Anda bisa berinteraksi dengan chatbot yang diberdayakan oleh AI. Tetapi ketika Anda benar-benar mendengar manusia berbicara, Anda biasanya mengharapkannya menjadi orang yang nyata, " kata Joshua March, CEO dari Coversocial.

March mengatakan bahwa kita pada awalnya adalah orang-orang yang berinteraksi secara berarti dengan AI secara teratur, dan kemajuan di lapangan telah menciptakan ketakutan bahwa peretas dapat mengeksploitasi agen AI untuk tujuan jahat.

"Dalam skenario terbaik, AI bot dengan niat jahat dapat menyinggung orang, " kata Marcio Avillez, SVP Jaringan di Cujo AI. Namun Marcio menambahkan bahwa kita mungkin menghadapi ancaman yang lebih mengerikan. Sebagai contoh, AI dapat mempelajari pola linguistik tertentu, membuatnya lebih mudah untuk mengadaptasi teknologi untuk memanipulasi orang, berkedok sebagai korban, dan serangan stage phishing (pengisi suara) dan kegiatan serupa.

Banyak ahli setuju ancaman itu nyata. Dalam sebuah kolom untuk CIO, Steven Brykman menguraikan berbagai cara yang berbeda seperti teknologi seperti Duplex dapat dieksploitasi: "Setidaknya dengan manusia memanggil manusia, masih ada faktor pembatas - manusia hanya dapat membuat begitu banyak panggilan per jam, per hari. Manusia harus dibayar, beristirahat, dan sebagainya. Tetapi obrolan AI benar-benar dapat membuat panggilan tak terbatas ke jumlah orang tak terbatas dalam berbagai cara yang tak terbatas!"

Pada tahap ini, sebagian besar yang kita dengar adalah spekulasi; kita masih tidak tahu sejauh mana dan seriusnya ancaman yang dapat muncul dengan munculnya asisten suara. Tetapi banyak dari serangan potensial yang melibatkan asisten berbasis suara dapat dijinakkan jika perusahaan yang menyediakan teknologi secara eksplisit berkomunikasi dengan pengguna ketika mereka berinteraksi dengan agen AI.

Kekhawatiran Privasi

Masalah lain seputar penggunaan teknologi seperti Duplex adalah risiko potensial terhadap privasi. Sistem bertenaga AI memerlukan data pengguna untuk melatih dan meningkatkan algoritme mereka, dan Duplex tidak terkecuali. Cara menyimpan, mengamankan, dan menggunakan data itu sangat penting.

Peraturan baru muncul yang mengharuskan perusahaan untuk mendapatkan persetujuan eksplisit dari pengguna ketika mereka ingin mengumpulkan informasi mereka, tetapi mereka sebagian besar dirancang untuk mencakup teknologi di mana pengguna dengan sengaja memulai interaksi. Ini masuk akal untuk asisten AI seperti Siri dan Alexa, yang diaktifkan pengguna. Tetapi tidak jelas bagaimana aturan baru akan berlaku untuk asisten AI yang menjangkau pengguna tanpa dipicu.

Dalam artikelnya, Brykman menekankan perlunya menetapkan pengamanan peraturan, seperti undang-undang yang mengharuskan perusahaan untuk menyatakan keberadaan agen AI - atau undang-undang yang ketika Anda bertanya kepada chatbot apakah itu chatbot, diharuskan mengatakan, "Ya, Saya seorang chatbot. " Langkah-langkah seperti itu akan memberi kesempatan bagi teman bicara manusia untuk melepaskan diri atau setidaknya memutuskan apakah mereka ingin berinteraksi dengan sistem AI yang merekam suara mereka.

Bahkan dengan undang-undang semacam itu, masalah privasi tidak akan hilang. "Risiko terbesar yang saya perkirakan dalam inkarnasi teknologi saat ini adalah bahwa hal itu akan memberi Google lebih banyak data tentang kehidupan pribadi kita yang belum dimilikinya. Hingga saat ini, mereka hanya mengetahui komunikasi online kami; mereka sekarang akan mendapatkan wawasan nyata tentang percakapan dunia nyata kita, "kata Vian Chinner, pendiri dan CEO Xineoh.

Skandal privasi baru-baru ini yang melibatkan perusahaan teknologi besar, di mana mereka telah menggunakan data pengguna dengan cara yang dipertanyakan untuk keuntungan mereka sendiri, telah menciptakan rasa tidak percaya tentang memberi mereka lebih banyak jendela ke dalam kehidupan kita. "Orang-orang pada umumnya merasa bahwa perusahaan-perusahaan besar Lembah Silikon memandang mereka sebagai inventaris alih-alih pelanggan dan memiliki tingkat ketidakpercayaan yang besar terhadap hampir semua hal yang mereka lakukan, tidak peduli seberapa besar terobosan dan perubahan hidup pada akhirnya, " kata Chinner.

Kegagalan Fungsional

Meskipun memiliki suara dan nada alami dan menggunakan suara seperti manusia seperti "mmhm" dan "ummm, " Duplex tidak berbeda dari teknologi AI kontemporer lainnya dan memiliki keterbatasan yang sama.

Apakah suara atau teks digunakan sebagai antarmuka, agen AI pandai memecahkan masalah tertentu. Itulah sebabnya kami menyebutnya "AI sempit" (sebagai lawan dari "AI umum" -jenis kecerdasan buatan yang dapat terlibat dalam pemecahan masalah secara umum, seperti yang dilakukan oleh pikiran manusia). Sementara AI yang sempit bisa sangat baik dalam melakukan tugas-tugas yang diprogramkan, ia dapat gagal secara spektakuler ketika diberi skenario yang menyimpang dari domain masalahnya.

"Jika konsumen berpikir mereka sedang berbicara dengan manusia, mereka kemungkinan akan menanyakan sesuatu yang berada di luar skrip AI normal, dan kemudian akan mendapatkan respons yang membuat frustasi ketika bot tidak mengerti, " kata Conversocial's March.

Sebaliknya, ketika seseorang tahu mereka berbicara dengan AI yang telah dilatih untuk memesan meja di restoran, mereka akan mencoba untuk menghindari menggunakan bahasa yang akan membingungkan AI dan menyebabkannya berperilaku dengan cara yang tidak terduga, terutama jika itu membawa mereka pelanggan.

"Anggota staf yang menerima panggilan dari Duplex juga harus menerima pengantar langsung bahwa ini bukan orang yang nyata. Ini akan membantu komunikasi antara staf dan AI menjadi lebih konservatif dan jelas, " kata Avillez.

Untuk alasan ini, sampai (dan jika) kami mengembangkan AI yang dapat bekerja setara dengan kecerdasan manusia, adalah kepentingan perusahaan sendiri untuk transparan tentang penggunaan AI mereka.

Pada akhirnya, sebagian dari ketakutan akan asisten suara seperti Duplex disebabkan oleh fakta bahwa mereka masih baru, dan kami masih terbiasa menjumpai mereka dalam pengaturan baru dan menggunakan kasing. "Setidaknya beberapa orang tampaknya sangat tidak nyaman dengan gagasan untuk berbicara dengan robot tanpa menyadarinya, jadi untuk saat ini mungkin harus diungkapkan kepada pihak lawan dalam percakapan, " kata Chinner.

• AI Is (Also) Force for Good AI juga (Force) Good for Good
• Ketika AI Mengaburkan Garis Antara Realitas dan Fiksi Ketika AI Mengaburkan Garis Antara Realitas dan Fiksi
• Kecerdasan Buatan Memiliki Masalah Bias, dan Ini Kesalahan Kita Kecerdasan Buatan Memiliki Masalah Bias, dan Ini Kesalahan Kita

Namun dalam jangka panjang, kita akan terbiasa berinteraksi dengan agen AI yang lebih pintar dan lebih mampu melakukan tugas-tugas yang sebelumnya dianggap sebagai domain eksklusif dari operator manusia.

"Generasi berikutnya tidak akan peduli jika mereka berbicara dengan AI atau manusia ketika mereka menghubungi sebuah bisnis. Mereka hanya ingin mendapatkan jawaban mereka dengan cepat dan mudah, dan mereka akan tumbuh dewasa berbicara dengan Alexa. Menunggu berpegang pada berbicara dengan manusia akan jauh lebih membuat frustrasi daripada hanya berinteraksi dengan bot, "kata Conversocial's March.