Kecerdasan buatan memiliki masalah bias, dan itu adalah kesalahan kita

Pada tahun 2016, peneliti dari Boston University dan Microsoft sedang mengerjakan algoritma kecerdasan buatan ketika mereka menemukan kecenderungan rasis dan seksis dalam teknologi yang mendasari beberapa layanan paling populer dan kritis yang kami gunakan setiap hari. Pengungkapan itu bertentangan dengan kebijaksanaan konvensional bahwa kecerdasan buatan tidak menderita karena prasangka gender, ras, dan budaya yang kita manusia lakukan.

Para peneliti membuat penemuan ini sambil mempelajari algoritma penyisipan kata, sejenis AI yang menemukan korelasi dan asosiasi di antara kata-kata yang berbeda dengan menganalisis teks dalam jumlah besar. Misalnya, algoritma penyisipan kata yang terlatih dapat memahami bahwa kata-kata untuk bunga berkaitan erat dengan perasaan yang menyenangkan. Pada tingkat yang lebih praktis, penyisipan kata memahami bahwa istilah "pemrograman komputer" terkait erat dengan "C ++, " "JavaScript" dan "analisis dan desain berorientasi objek." Ketika terintegrasi dalam aplikasi pemindaian resume, fungsi ini memungkinkan pengusaha menemukan kandidat yang memenuhi syarat dengan sedikit usaha. Di mesin pencari, ini dapat memberikan hasil yang lebih baik dengan memunculkan konten yang secara semantik terkait dengan istilah pencarian.

Para peneliti BU dan Microsoft menemukan bahwa algoritma penyisipan kata memiliki bias yang bermasalah, meskipun - seperti mengasosiasikan "programmer komputer" dengan kata ganti pria dan "ibu rumah tangga" dengan yang wanita. Temuan mereka, yang mereka terbitkan dalam sebuah makalah penelitian tepat berjudul "Pria adalah untuk Programmer Komputer seperti Wanita adalah untuk Homemaker?" adalah salah satu dari beberapa laporan yang menyanggah mitos netralitas AI dan menjelaskan bias algoritmik, sebuah fenomena yang mencapai dimensi kritis karena algoritma semakin terlibat dalam keputusan sehari-hari kami.

Asal Usul Bias Algoritma

Algoritma pembelajaran mesin dan pembelajaran mendalam mendasari sebagian besar perangkat lunak bertenaga AI kontemporer. Berbeda dengan perangkat lunak tradisional, yang bekerja berdasarkan aturan yang telah ditentukan dan dapat diverifikasi, pembelajaran yang mendalam menciptakan aturan sendiri dan belajar dengan contoh.

Misalnya, untuk membuat aplikasi pengenalan gambar berdasarkan pembelajaran yang mendalam, programmer "melatih" algoritme dengan mengumpankannya ke data berlabel: dalam hal ini, foto ditandai dengan nama objek yang dikandungnya. Setelah algoritma mencerna cukup banyak contoh, ia dapat memperoleh pola umum di antara data berlabel serupa dan menggunakan informasi tersebut untuk mengklasifikasikan sampel yang tidak berlabel.

Mekanisme ini memungkinkan pembelajaran mendalam untuk melakukan banyak tugas yang hampir tidak mungkin dilakukan dengan perangkat lunak berbasis aturan. Tetapi itu juga berarti perangkat lunak pembelajaran dalam dapat mewarisi bias terselubung atau terbuka.

"Algoritma AI tidak bias secara inheren, " kata Profesor Venkatesh Saligrama, yang mengajar di Departemen Teknik Listrik dan Komputer Universitas Boston dan bekerja pada algoritma penyemat kata. "Mereka memiliki fungsionalitas deterministik dan akan mengambil kecenderungan apa pun yang sudah ada dalam data yang mereka latih."

Algoritma penyisipan kata yang diuji oleh para peneliti Universitas Boston dilatih pada ratusan ribu artikel dari Google News, Wikipedia, dan sumber daring lainnya di mana bias sosial tertanam dalam. Sebagai contoh, karena budaya bro mendominasi industri teknologi, nama laki-laki lebih sering muncul dengan pekerjaan yang berhubungan dengan teknologi - dan itu mendorong algoritma untuk mengasosiasikan pria dengan pekerjaan seperti pemrograman dan rekayasa perangkat lunak.

"Algoritma tidak memiliki kekuatan pikiran manusia dalam membedakan yang benar dari yang salah, " tambah Tolga Bolukbasi, seorang mahasiswa PhD tahun terakhir di BU. Manusia dapat menilai moralitas tindakan kita, bahkan ketika kita memutuskan untuk bertindak melawan norma etika. Tetapi untuk algoritma, data adalah faktor penentu utama.

Saligrama dan Bolukbasi bukan yang pertama yang membunyikan alarm tentang bias ini. Para peneliti di IBM, Microsoft, dan University of Toronto menggarisbawahi kebutuhan untuk mencegah diskriminasi algoritmik dalam sebuah makalah yang diterbitkan pada tahun 2011. Saat itu, bias algoritmik adalah masalah esoterik, dan pembelajaran mendalam masih belum menemukan jalan ke arus utama. Namun hari ini, bias algoritmik telah meninggalkan jejak pada banyak hal yang kami lakukan, seperti membaca berita, mencari teman, berbelanja online, dan menonton video di Netflix dan YouTube.

Dampak Bias Algoritma

Pada 2015, Google harus meminta maaf setelah algoritma yang memberi daya pada aplikasi Photos-nya menandai dua orang kulit hitam sebagai gorila - mungkin karena set data pelatihannya tidak memiliki cukup gambar orang kulit hitam. Pada tahun 2016, dari 44 pemenang kontes kecantikan yang dinilai oleh AI, hampir semuanya berkulit putih, beberapa orang Asia, dan hanya satu yang berkulit gelap. Sekali lagi, alasannya adalah karena kebanyakan algoritma dilatih dengan foto orang kulit putih.

Foto Google, kalian semua kacau. Teman saya bukan gorila. pic.twitter.com/SMkMCsNVX4

- jackyalciné tidak banyak menanggapi di sini. DM (@jackyalcine) 29 Juni 2015

Baru-baru ini, sebuah tes IBM dan layanan analisis wajah Microsoft menemukan algoritma perusahaan hampir tanpa cacat dalam mendeteksi jenis kelamin laki-laki dengan kulit terang tetapi sering keliru ketika disajikan dengan gambar-gambar perempuan dengan kulit gelap.

Sementara insiden ini kemungkinan menyebabkan kerusakan yang dapat diabaikan, hal yang sama tidak dapat dikatakan tentang algoritma AI di domain yang lebih kritis, seperti perawatan kesehatan, penegakan hukum, dan rekrutmen. Pada 2016, sebuah penyelidikan oleh ProPublica menemukan bahwa COMPAS - perangkat lunak yang digerakkan oleh AI yang menilai risiko residivisme pada pelanggar - bias terhadap orang-orang kulit berwarna. Penemuan ini terutama memprihatinkan karena hakim di beberapa negara menggunakan COMPAS untuk menentukan siapa yang bebas dan siapa yang tetap di penjara.

Dalam kasus lain, sebuah studi tentang platform periklanan Google, yang didukung oleh algoritma pembelajaran mendalam, menemukan bahwa pria lebih sering ditampilkan iklan untuk pekerjaan bergaji tinggi daripada wanita. Sebuah studi terpisah menemukan masalah serupa dengan iklan pekerjaan LinkedIn. Namun yang lain menunjukkan bahwa algoritma mempekerjakan bias 50 persen lebih mungkin untuk mengirim undangan wawancara kepada orang yang namanya Eropa-Amerika daripada seseorang dengan nama Afrika-Amerika.

Area seperti persetujuan pinjaman, peringkat kredit, dan beasiswa menghadapi ancaman serupa.

Bias algoritmik semakin mengkhawatirkan karena bagaimana hal itu dapat memperkuat bias sosial. Di bawah ilusi bahwa AI itu dingin, perhitungan matematis tanpa prasangka atau bias, manusia mungkin cenderung mempercayai penilaian algoritmik tanpa mempertanyakannya.

Dalam sebuah wawancara dengan Wired UK, dosen kriminologi Universitas Edinburgh Napier Andrew Wooff mengamati bahwa dunia kepolisian yang "tertekan waktu dan sumber daya yang intensif" dapat menyebabkan petugas penegak hukum terlalu bergantung pada keputusan algoritmik. "Saya bisa membayangkan situasi di mana seorang perwira polisi mungkin lebih mengandalkan sistem daripada proses pengambilan keputusan mereka sendiri, " katanya. "Sebagian itu mungkin agar kamu bisa membenarkan keputusan ketika ada yang salah."

Mengandalkan algoritma yang bias menciptakan loop umpan balik: Kami membuat keputusan yang membuat lebih banyak data yang bias yang kemudian akan dianalisis dan dilatih oleh algoritma di masa depan.

Hal semacam ini sudah terjadi di jejaring media sosial seperti Facebook dan Twitter. Algoritma yang menjalankan umpan berita membuat "gelembung filter", yang menampilkan konten yang sesuai dengan preferensi dan bias pengguna. Ini dapat membuat mereka kurang toleran terhadap pandangan yang berlawanan dan juga dapat lebih mempolarisasi masyarakat dengan mendorong irisan melalui kesenjangan politik dan sosial.

"Bias algoritma berpotensi berdampak pada kelompok mana pun, " kata Jenn Wortman Vaughan, peneliti senior di Microsoft. "Grup yang kurang terwakili dalam data mungkin sangat beresiko."

Dalam domain yang sudah dikenal bias, seperti diskriminasi endemik industri teknologi terhadap perempuan, algoritma AI mungkin menonjolkan bias tersebut dan mengakibatkan marginalisasi lebih lanjut dari kelompok-kelompok yang tidak terwakili dengan baik.

Kesehatan adalah domain penting lainnya, Wortman menunjukkan. "Ini bisa menyebabkan masalah serius jika algoritma pembelajaran mesin yang digunakan untuk diagnosis medis dilatih pada data dari satu populasi dan, sebagai akibatnya, gagal berkinerja baik pada orang lain, " katanya.

Bias juga bisa berbahaya dengan cara yang lebih halus. "Tahun lalu saya berencana untuk mengambil putriku untuk potong rambut dan mencari secara online untuk gambar 'potongan rambut balita' untuk inspirasi, " kata Wortman. Tetapi gambar-gambar yang dikembalikan hampir semuanya anak-anak kulit putih, terutama dengan rambut lurus, dan yang lebih mengejutkan, terutama anak laki-laki, dia perhatikan.

Para ahli menyebut fenomena ini "bahaya representasional": ketika teknologi memperkuat stereotip atau menghilangkan kelompok tertentu. "Sulit untuk mengukur atau mengukur dampak pasti dari bias semacam ini, tetapi itu tidak berarti itu tidak penting, " kata Wortman.

Menghapus Bias Dari Algoritma AI

Implikasi yang semakin kritis dari bias AI telah menarik perhatian beberapa organisasi dan badan pemerintah, dan beberapa langkah positif sedang diambil untuk mengatasi masalah etika dan sosial seputar penggunaan AI di berbagai bidang.

Microsoft, yang produknya sangat bergantung pada algoritma AI, meluncurkan proyek penelitian tiga tahun lalu yang disebut Keadilan, Akuntabilitas, Transparansi, dan Etika dalam AI (FATE) yang bertujuan memungkinkan pengguna untuk menikmati wawasan dan efisiensi yang ditingkatkan dari layanan yang diberdayakan AI tanpa diskriminasi dan bias.

Dalam beberapa kasus, seperti kontes kecantikan yang disesuaikan dengan AI, menemukan dan memperbaiki sumber perilaku bias algoritma AI mungkin semudah memeriksa dan mengubah foto dalam dataset pelatihan. Tetapi dalam kasus lain, seperti algoritma penyisipan kata yang peneliti Boston University periksa, bias tertanam dalam data pelatihan dengan cara yang lebih halus.

Tim BU, yang bergabung dengan peneliti Microsoft Adam Kalai, mengembangkan metode untuk mengklasifikasikan embeddings kata berdasarkan kategorisasi gender mereka dan mengidentifikasi analogi yang berpotensi bias. Tetapi mereka tidak membuat keputusan akhir dan akan menjalankan masing-masing asosiasi tersangka oleh 10 orang di Mechanical Turk, pasar online Amazon untuk tugas-tugas terkait data, yang akan memutuskan apakah asosiasi tersebut harus dihapus atau tidak.

"Kami tidak ingin memasukkan bias kami sendiri ke dalam proses, " kata Saligrama, profesor dan peneliti BU. "Kami baru saja menyediakan alat untuk menemukan asosiasi yang bermasalah. Manusia membuat keputusan akhir."

Dalam makalah yang lebih baru, Kalai dan peneliti lain mengusulkan penggunaan algoritma terpisah untuk mengklasifikasikan berbagai kelompok orang daripada menggunakan langkah-langkah yang sama untuk semua orang. Metode ini dapat terbukti efektif dalam domain di mana data yang ada sudah bias dalam mendukung kelompok tertentu. Misalnya, algoritma yang akan mengevaluasi pelamar perempuan untuk pekerjaan pemrograman akan menggunakan kriteria yang paling cocok untuk kelompok itu daripada menggunakan set data yang lebih luas yang sangat dipengaruhi oleh bias yang ada.

Microsoft Wortman melihat inklusivitas dalam industri AI sebagai langkah yang diperlukan untuk melawan bias dalam algoritma. "Jika kita ingin sistem AI kita bermanfaat bagi semua orang dan bukan hanya demografi tertentu, maka perusahaan perlu merekrut beragam tim untuk mengerjakan AI, " katanya.

Pada tahun 2006, Wortman membantu mendirikan Women in Machine Learning (WiML), yang mengadakan lokakarya tahunan di mana perempuan yang belajar dan bekerja di industri AI dapat bertemu, berjejaring, bertukar gagasan, dan menghadiri diskusi panel dengan wanita senior di industri dan akademisi. Upaya serupa adalah Black in AI Workshop yang baru, yang didirikan oleh Timnit Gebru, peneliti Microsoft lainnya, yang bertujuan untuk membangun talenta yang lebih beragam di AI.

Bolukbasi dari Boston University juga mengusulkan untuk mengubah cara algoritma AI memecahkan masalah. "Algoritma akan memilih set aturan yang memaksimalkan tujuannya. Mungkin ada banyak cara untuk mencapai set kesimpulan yang sama untuk pasangan input input yang diberikan, " katanya. "Ambil contoh tes pilihan ganda untuk manusia. Seseorang mungkin mencapai jawaban yang benar dengan proses berpikir yang salah, tetapi tetap mendapatkan skor yang sama. Tes berkualitas tinggi harus dirancang untuk meminimalkan efek ini, hanya memungkinkan orang yang benar-benar mengetahui subjek untuk mendapatkan skor yang benar.Membuat algoritma sadar akan kendala sosial dapat dilihat sebagai analog dengan contoh ini (meskipun bukan yang tepat), di mana mempelajari aturan yang salah dihukum dalam tujuan.Ini adalah penelitian yang sedang berlangsung dan menantang tema."

Opacity AI Menyulitkan Keadilan

Tantangan lain yang menghalangi algoritma AI lebih adil adalah fenomena "kotak hitam". Dalam banyak kasus, perusahaan dengan iri menjaga algoritme mereka: Misalnya, Northpointe Inc., produsen COMPAS, perangkat lunak yang memprediksi kejahatan, telah menolak untuk mengungkapkan algoritme kepemilikannya. Satu-satunya orang yang mengetahui tentang pekerjaan dalam COMPAS adalah para programernya, bukan para hakim yang menggunakannya untuk memberikan penilaian.

Selain kerahasiaan perusahaan, algoritma AI kadang-kadang menjadi begitu berbelit-belit sehingga alasan dan mekanisme di balik keputusan mereka bahkan menghindari pencipta mereka. Di Inggris, polisi Durham menggunakan sistem AI HART untuk menentukan apakah tersangka memiliki risiko rendah, sedang, atau tinggi untuk melakukan kejahatan lebih lanjut dalam periode dua tahun. Tetapi tinjauan akademik HART tahun 2017 mengamati bahwa "opacity tampaknya sulit untuk dihindari." Ini sebagian karena jumlah dan variasi data yang digunakan sistem, yang membuatnya sulit untuk menganalisis alasan di balik keputusannya. "Rincian ini dapat dibuat tersedia secara bebas untuk umum, tetapi akan membutuhkan banyak waktu dan upaya untuk sepenuhnya memahami, " kata surat kabar itu.

Beberapa perusahaan dan organisasi memimpin upaya untuk membawa transparansi ke AI, termasuk Google, yang telah meluncurkan GlassBox, sebuah inisiatif untuk membuat perilaku algoritma pembelajaran mesin lebih dapat dipahami tanpa mengorbankan kualitas output. Badan Proyek Penelitian Pertahanan (DARPA), yang mengawasi penggunaan AI di militer, juga mendanai upaya untuk memungkinkan algoritma AI menjelaskan keputusan mereka.

Dalam kasus lain, penilaian manusia akan menjadi kunci dalam berurusan dengan bias. Untuk mencegah bias manusia rasial dan sosial yang ada merayap ke dalam algoritma HART, Durham Constabulary memberi anggota stafnya sesi-sesi kesadaran seputar bias yang tidak disadari. Kepolisian juga telah mengambil langkah-langkah untuk menghilangkan titik data seperti sifat rasial, yang dapat menciptakan dasar bagi keputusan yang bias.

Tanggung jawab manusia

Dari perspektif yang berbeda, algoritma AI dapat memberikan kesempatan untuk merefleksikan bias dan prasangka kita sendiri. "Dunia ini bias, data historisnya bias, maka tidak mengherankan bahwa kami menerima hasil yang bias, " Sandra Wachter, seorang peneliti dalam etika data dan algoritma di University of Oxford, mengatakan kepada The Guardian .

Wachter adalah bagian dari tim peneliti dari Alan Turing Institute di London dan University of Oxford, yang menerbitkan makalah yang menyerukan peraturan dan lembaga untuk menyelidiki kemungkinan diskriminasi dengan algoritma AI.

Juga berbicara kepada The Guardian , Joanna Bryson, seorang ilmuwan komputer di University of Bath dan rekan penulis makalah tentang bias algoritmik, mengatakan, "Banyak orang mengatakan menunjukkan bahwa AI berprasangka. Tidak. Ini menunjukkan kita Sudah berprasangka dan bahwa AI sedang mempelajarinya."

Pada 2016, Microsoft meluncurkan Tay, bot Twitter yang seharusnya belajar dari manusia dan terlibat dalam percakapan cerdas. Tetapi dalam 24 jam setelah peluncuran Tay, Microsoft harus menutupnya setelah mulai mengeluarkan komentar rasis, yang diambilnya dari percakapannya dengan pengguna Twitter. Mungkin ini adalah pengingat bahwa sudah saatnya kita manusia mengakui peran kita sendiri dalam penampakan dan penyebaran fenomena bias algoritmik dan mengambil langkah kolektif untuk membatalkan efeknya.

"Ini adalah tugas yang sangat rumit, tetapi itu adalah tanggung jawab yang kita sebagai masyarakat tidak boleh menghindarinya, " kata Wachter.