Bagaimana jigsaw google mencoba mendetoksifikasi internet

Internet bisa terasa seperti tempat beracun. Troll turun ke bagian komentar dan utas media sosial untuk melemparkan kebencian dan pelecehan, mengubah diskusi yang berpotensi mencerahkan menjadi serangan ad hominem dan tumpukan grup. Mengekspresikan pendapat secara online sering kali tampaknya tidak sebanding dengan hasil yang dihasilkan.

Platform sosial masif - termasuk Facebook, Twitter, dan YouTube - mengakui bahwa mereka tidak dapat menangani masalah ini secara memadai. Mereka berlomba dengan bot, troll, dan setiap orang yang tidak diinginkan yang lolos dari filter konten. Manusia secara fisik tidak mampu membaca setiap komentar di web; mereka yang mencoba sering menyesalinya.

Raksasa teknologi telah bereksperimen dengan berbagai kombinasi moderasi manusia, algoritma AI, dan filter untuk mengarungi banjir konten yang mengalir melalui umpan mereka setiap hari. Jigsaw berusaha menemukan jalan tengah. Anak perusahaan Alphabet dan inkubator teknologi, yang sebelumnya dikenal sebagai Google Ideas, mulai membuktikan bahwa pembelajaran mesin (ML) yang dibuat menjadi alat bagi moderator manusia dapat mengubah cara kita mendekati masalah keracunan internet.

Perspektif adalah API yang dikembangkan oleh Jigsaw dan tim Teknologi Penyalahgunaan Google. Ini menggunakan ML untuk menemukan pelecehan dan pelecehan online, dan skor komentar berdasarkan dampak yang dirasakan mereka pada percakapan dalam upaya untuk membuat kehidupan moderator manusia lebih mudah.

Perspektif Di Tengah Pertandingan Berteriak

Teknologi open-source pertama kali diumumkan pada 2017, meskipun pengembangannya dimulai beberapa tahun sebelumnya. Beberapa situs pertama yang bereksperimen dengan Perspektif adalah publikasi berita seperti The New York Times dan situs-situs seperti Wikipedia. Namun baru-baru ini, Perspektif telah menemukan rumah di situs-situs seperti Reddit dan platform komentar Disqus (yang digunakan pada PCMag.com.)

CJ Adams, manajer produk untuk Perspektif, mengatakan proyek itu ingin memeriksa bagaimana suara orang dibungkam secara online. Jigsaw ingin mengeksplorasi bagaimana pelecehan yang ditargetkan atau suasana pelecehan secara umum dapat menciptakan efek mengerikan, membuat orang enggan sampai pada titik di mana mereka merasa tidak sepadan dengan waktu atau energi untuk menambahkan suara mereka ke dalam diskusi. Seberapa sering Anda melihat tweet, posting, atau komentar dan memilih untuk tidak menanggapi karena melawan troll dan membuat Mad Online tidak sebanding dengan kejengkelannya?

"Sangat mudah untuk merusak percakapan online, " kata Adams. "Sangat mudah untuk melompat, tetapi satu orang yang benar-benar jahat atau beracun dapat mengusir suara-suara lain. Mungkin 100 orang membaca artikel atau memulai debat, dan sering kali Anda berakhir dengan suara paling keras di ruangan itu sebagai satu-satunya yang tersisa, di internet yang dioptimalkan untuk suka dan bagikan. Jadi Anda agak membungkam semua suara ini. Lalu apa yang mendefinisikan perdebatan hanyalah suara paling keras di ruangan itu - pertandingan yang berteriak."

Jigsaw dan Google

Ini merupakan tahun yang sulit bagi perusahaan saudara Jigsaw, Google, yang telah bergulat dengan masalah keamanan data, penolakan karyawan atas keterlibatannya dalam proyek-proyek untuk Pentagon dan China, dan wahyu tentang penanganan pelecehan seksual. Belum lagi sidang Kongres yang kontroversial di mana CEO Sundar Pichai dipanggang oleh anggota parlemen.

Di Jigsaw, inkubator altruistik Alphabet, segalanya menjadi sedikit kurang dramatis. Tim telah menghabiskan waktunya untuk memeriksa lebih banyak bentuk sensor teknis, seperti keracunan DNS dengan aplikasi Intra dan serangan DDoS dengan Project Shield. Dengan Perspektif, tujuannya lebih abstrak. Alih-alih menggunakan pembelajaran mesin untuk menentukan apa yang bertentangan atau tidak dengan seperangkat aturan yang diberikan, tantangan Perspektif lebih bersifat subyektif: mengklasifikasikan dampak emosional dari bahasa.

Untuk melakukan itu, Anda memerlukan pemrosesan bahasa alami (NLP), yang memecah pola kalimat ke titik. Tim Perspektif menghadapi masalah seperti bias konfirmasi, groupthink, dan perilaku melecehkan dalam lingkungan di mana teknologi telah memperbesar jangkauan mereka dan membuat mereka lebih sulit untuk dipecahkan.



AI Terkadang 'Salah dan Bisu'

Meningkatkan percakapan online dengan pembelajaran mesin bukanlah tugas yang mudah. Itu masih bidang penelitian yang sedang berkembang. Algoritma dapat menjadi bias, sistem pembelajaran mesin membutuhkan penyempurnaan tanpa akhir, dan masalah yang paling sulit dan paling penting masih belum diselidiki.

Kelompok riset AI Conversation, yang menciptakan Perspektif, dimulai dengan pertemuan dengan surat kabar, penerbit, dan situs lain yang menyelenggarakan percakapan. Beberapa situs pertama yang bereksperimen dengan teknologi adalah The New York Times , Wikipedia, The Guardian , dan The Economist .

Pada 2017, tim membuka demo Perspektif awal melalui situs web publik sebagai bagian dari uji alfa, membiarkan orang mengetik jutaan komentar keji dan kasar ke dalam situs. Itu semacam percobaan percobaan gagal obrolan Tay yang gagal dari Microsoft, kecuali alih-alih menipu bot agar membalas dengan tweet rasis, Jigsaw menggunakan virulensi crowdsourced sebagai data pelatihan untuk memberi makan modelnya, membantu mengidentifikasi dan mengelompokkan berbagai jenis penyalahgunaan online.

Uji publik awal tidak berjalan dengan lancar. Wired's "Trolls Across America, " yang memecah toksisitas dalam berkomentar di seluruh negeri berdasarkan penilaian Perspektif, menunjukkan bagaimana algoritma secara tidak sengaja mendiskriminasi kelompok berdasarkan ras, identitas gender, atau orientasi seksual.

Adams jujur ​​tentang fakta bahwa pengujian awal Perspektif mengungkapkan titik buta utama dan bias algoritmik. Seperti alat rekrutmen Amazon yang dihilangkan, yang dilatih selama puluhan tahun tentang data pekerjaan yang cacat dan mengembangkan bias yang melekat terhadap pelamar perempuan, model Perspektif awal memiliki kelemahan yang mencolok karena data yang digunakan untuk pelatihan itu.

"Dalam contoh kelompok yang sering menjadi sasaran, jika Anda melihat distribusi komentar di set data pelatihan, ada sejumlah kecil komentar yang termasuk kata 'gay' atau 'feminis' dan menggunakannya dalam positif cara, "jelas Adams. "Komentar kasar menggunakan kata-kata sebagai penghinaan. Jadi ML, melihat polanya, akan berkata, " Hei, kehadiran kata ini adalah prediktor yang cukup baik apakah sentimen ini beracun atau tidak."

Misalnya, algoritme alfa mungkin secara keliru melabeli pernyataan seperti "Saya seorang lelaki gay yang bangga, " atau, "Saya seorang feminis dan transgender" dengan skor toksisitas tinggi. Tetapi proses pelatihan yang transparan di depan umum - meskipun menyakitkan - adalah pelajaran yang sangat berharga bagi Jigsaw tentang konsekuensi dari bias yang tidak diinginkan, kata Adams.

Ketika melatih model pembelajaran mesin tentang sesuatu yang menyusahkan dan personal seperti penyalahgunaan dan pelecehan online, keberadaan bias algoritmik juga menggarisbawahi mengapa AI sendiri bukanlah solusi. Perusahaan sosial seperti Facebook dan YouTube sama-sama menggembar-gemborkan fitur moderasi konten AI platform mereka hanya untuk mundur di tengah skandal dan tentu saja dengan mempekerjakan ribuan moderator manusia.

Taktik Jigsaw adalah hibrida dari keduanya. Perspektif bukanlah algoritma AI yang membuat keputusan dalam ruang hampa; API diintegrasikan ke dalam manajemen komunitas dan antarmuka konten-moderasi untuk berfungsi sebagai alat bantu untuk moderator manusia. Insinyur perspektif menjelaskan moderasi ucapan kebencian dengan dan tanpa ML menggunakan analogi tumpukan jerami: AI membantu dengan mengotomatiskan proses penyortiran, mengurangi tumpukan jerami yang besar sambil tetap memberi manusia pendapat akhir tentang apakah komentar dianggap kasar atau pelecehan.

"Ini kemampuan baru ML, " kata Adams. "Orang-orang berbicara tentang seberapa pintar AI itu, tetapi mereka sering tidak berbicara tentang semua cara itu salah dan kadang-kadang bodoh. Sejak awal, kami tahu ini akan membuat banyak kesalahan, dan kami berkata, 'Ini alat sangat membantu untuk moderasi manusia yang dibantu mesin, tetapi tidak siap untuk membuat keputusan otomatis. ' Tapi itu bisa mengambil masalah 'jarum di tumpukan jerami' menemukan ucapan beracun ini dan membawanya ke segenggam jerami. ”



Apa yang dimaksud dengan Skor Keracunan?

Aspek yang paling memecah belah dari pemodelan Perspektif adalah menempatkan angka pada variabel yang subjektif seperti "toksisitas". Hal pertama yang ditunjukkan oleh Adams adalah bahwa skor Perspektif merupakan indikasi probabilitas, bukan keparahan. Angka yang lebih tinggi menunjukkan kemungkinan yang lebih tinggi bahwa pola dalam teks mirip dengan pola dalam komentar yang oleh orang ditandai sebagai racun.

Adapun arti "racun" sebenarnya, tim Perspektif mendefinisikannya secara luas sebagai "komentar yang kasar, tidak sopan, atau tidak masuk akal yang mungkin membuat Anda meninggalkan diskusi." Tetapi bagaimana hal itu bisa menjadi halus. Pada tahun 2018, Jigsaw bermitra dengan Rhodes Artificial Intelligence Lab (RAIL) untuk mengembangkan model ML yang dapat mengambil bentuk yang lebih ambigu dari pidato yang mengancam atau penuh kebencian, seperti komentar yang meremehkan, merendahkan, atau sarkastik yang tidak secara terbuka bermusuhan.

Hingga saat ini, sebagian besar model Perspektif telah dilatih dengan meminta orang menilai komentar internet dalam skala dari "sangat beracun" hingga "sangat sehat." Pengembang kemudian dapat mengkalibrasi model untuk menandai komentar di atas ambang tertentu, dari 0, 0 hingga 1, 0. Skor di atas 0, 9 menunjukkan probabilitas toksisitas yang tinggi, dan skor 0, 5 atau di bawah berarti tingkat kepastian algoritme yang jauh lebih rendah. Perspektif juga menggunakan apa yang disebut normalisasi skor, yang memberikan pengembang garis dasar yang konsisten untuk menafsirkan skor. Adams menjelaskan bahwa tergantung pada forum atau situs web, pengembang dapat mencampur dan mencocokkan model. Jadi, ketika sebuah komunitas tidak keberatan dengan kata-kata kotor, atribut itu dapat terbebani.

Adams menunjukkan kepada saya antarmuka demo moderasi yang terintegrasi dengan Perspective API. Di panel admin, di sebelah opsi untuk mengurutkan komentar berdasarkan atas, terbaru, dan sebagainya, adalah ikon bendera kecil untuk mengurutkan berdasarkan toksisitas. Ada juga mekanisme umpan balik bawaan untuk moderator manusia untuk memberi tahu Perspektif bahwa komentar yang diberikan salah dan meningkatkan model dari waktu ke waktu.

Dia mengklik melalui antarmuka demo untuk memoderasi komentar halaman Talk Wikipedia yang dicetak oleh model Perspektif yang berbeda, dan grafik histogram yang memecah komentar yang cenderung menjadi serangan terhadap penulis halaman atau serangan terhadap komentator lain.

"Kami ingin membangun alat moderasi berbantuan mesin untuk menandai hal-hal yang harus ditinjau oleh manusia, tetapi kami tidak ingin ada definisi sentral atau seseorang mengatakan apa yang baik dan buruk, " kata Adams. "Jadi, jika saya mengurutkan berdasarkan toksisitas, Anda melihat komentar yang berarti naik ke atas. Tetapi jika Anda lebih peduli, katakanlah, serangan identitas atau ancaman daripada metrik seperti bersumpah, mungkin Anda tidak akan menggunakan model toksisitas umum. Ini adalah bahan-bahan yang bisa Anda campur. Kami menawarkan ini, dan pengembang menimbangnya."

Eksperimen RAIL mengambil pendekatan yang lebih terperinci. Para siswa lulusan Oxford sedang membangun kumpulan data dari puluhan ribu komentar dari bagian surat kabar Kanada Globe and Mail dan halaman Talk Wikipedia. Mereka meminta "annotator" manusia untuk menjawab pertanyaan tentang setiap komentar terkait dengan lima sub-atribut "konten tidak sehat": bermusuhan atau menghina (troll), meremehkan, merendahkan atau merendahkan, menyindir, dan generalisasi yang tidak adil.

Masuk pada atribut yang lebih halus ini telah mengungkapkan masalah kompleks baru dengan bias yang tidak diinginkan terhadap kelompok tertentu dan positif palsu dengan komentar sarkastik. Ini adalah bagian dari rasa sakit AI yang berkembang, memberi makan model semakin banyak data untuk membantunya memahami makna tersirat dan tidak langsung di balik ucapan manusia. Tim masih menyisir dan membubuhi keterangan ribuan komentar, dan berencana merilis dataset akhir awal tahun ini.

"Apa yang ingin kami upayakan adalah sesuatu di mana komunitas dapat mencetak serangkaian komentar, dan kemudian kami dapat menjadikannya perpaduan khusus model Perspektif yang cocok, " kata Adams.



Penasaran Penasaran Reddit

Reddit adalah mikrokosmos dari segala yang baik dan buruk tentang internet. Ada komunitas subreddit untuk setiap topik dan ceruk, minat aneh yang dapat Anda pikirkan. Jigsaw tidak bekerja dengan Reddit di tingkat perusahaan, tetapi salah satu tempat paling menarik di mana moderasi Perspektif AI sedang diuji adalah pada subreddit yang disebut r / changemyview.

Anehnya, ada sudut-sudut internet di mana debat dan diskusi masih terjadi. Ubah My View, atau CMV, tidak seperti kebanyakan subreddits lainnya. Idenya adalah untuk memposting pendapat yang Anda terima mungkin cacat atau terbuka untuk berubah, kemudian mendengarkan dan memahami sudut pandang lain untuk melihat apakah mereka dapat mengubah pikiran Anda tentang suatu masalah. Utas berkisar dari topik duniawi seperti urutan tontonan yang tepat untuk film Star Wars hingga diskusi serius tentang isu-isu termasuk rasisme, politik, kontrol senjata, dan agama.

Change My View adalah testbed yang menarik untuk Perspektif karena subreddit memiliki seperangkat aturan sendiri untuk memulai dan memoderasi percakapan yang memicu perdebatan dan perdebatan yang memanas dengan desain. Kal Turnbull, yang menggunakan u / Snorrrlax di Reddit, adalah pendiri dan salah satu moderator dari r / changemyview. Turnbull mengatakan kepada PCMag bahwa Perspektif API berbaris sangat baik dengan Aturan 2 sub, yang pada dasarnya melarang ucapan kasar atau bermusuhan.

"Kedengarannya seperti aturan sederhana, tetapi ada banyak nuansa untuk itu, " kata Turnbull, yang berbasis di Skotlandia. “Sulit untuk mengotomatiskan aturan ini tanpa pandai bahasa. Reddit memberi Anda hal ini disebut AutoModerator, di mana Anda dapat mengatur filter dan kata kunci untuk menandai. Tetapi ada begitu banyak hal positif yang salah, dan itu bisa sangat sulit untuk ditangkap, karena seseorang dapat mengatakan kata yang buruk tanpa menghina seseorang, dan mereka juga dapat menghina seseorang tanpa menggunakan kata-kata buruk. ”

Jigsaw menjangkau Turnbull pada Maret 2018. Kolaborasi dimulai dengan Aturan 2, tetapi segera tim itu membangun model Perspektif untuk aturan lain juga. Ini bukan integrasi penuh dari Perspektif API open-source, melainkan bot Reddit yang memungkinkan moderator menandai komentar di atas ambang batas toksisitas yang diberikan.

Selama enam tahun terakhir, Turnbull dan mod lainnya telah melakukan semua ini secara manual dari antrian laporan AutoModerator (kata kunci yang ditandai) dan laporan pengguna. Jigsaw menggunakan bertahun-tahun catatan pelanggaran peraturan dari moderator, yang mereka lacak melalui ekstensi peramban, dan membangun model Perspektif berdasarkan data yang dikombinasikan dengan beberapa model toksisitas Perspektif yang ada. Sepanjang 2018, mod CMV memberikan umpan balik pada isu-isu seperti kelebihan false positive, dan Jigsaw mengubah ambang batas skor sambil terus memodelkan lebih banyak aturan CMV.



Penilaian Kompleks dalam Debat Daring

(Bot Perspektif terintegrasi ke dalam antarmuka Reddit moderator.)

Perspektif tidak hidup untuk semua moderasi aturan subreddit. Beberapa aturan yang lebih rumit atau abstrak masih berada di luar ruang lingkup apa yang dapat dipahami oleh ML semacam ini.

Aturan 4, misalnya, mengatur sistem poin Delta, sementara Aturan B menghentikan pengguna dari bermain advokat iblis atau menggunakan pos untuk "soapboaxing." Moderasi yang bernuansa seperti itu membutuhkan data kontekstual dan pemahaman manusiawi yang sederhana, untuk membedakan apakah seseorang memperdebatkan suatu alasan karena alasan yang murni atau sekadar menjebak.

Untuk masa mendatang, kita masih membutuhkan mod manusia. Skenario penilaian yang lebih kompleks ini adalah di mana moderator CMV mulai melihat celah dalam pemodelan AI, dan otomatisasi yang lebih pintar dapat menentukan apakah semua ini dapat diskalakan.

"Saya pikir alasan mengapa ini sangat rumit adalah karena kombinasi penilaian kami pada pos asli mereka dan interaksi mereka di seluruh percakapan. Jadi, bukan hanya satu komentar yang memicu model, " kata Turnbull. "Jika sebuah argumen bolak-balik, dan pada akhirnya adalah komentar yang mengatakan 'terima kasih' atau pengakuan, kami membiarkannya pergi bahkan jika sebuah aturan dilanggar sebelumnya di utas. Atau lelucon ringan yang dalam konteks mungkin tampak tidak sopan - itu adalah hal kecil yang menyenangkan bagi manusia, dan itu adalah sesuatu yang belum dimiliki bot."

Ubah Pandangan Saya adalah satu-satunya subreddit yang secara aktif menggunakan model Perspektif ML untuk moderasi saat ini, meskipun Adams mengatakan tim telah menerima permintaan akses dari beberapa orang lain. Rangkaian aturan spesifik CMV membuatnya menjadi kasus uji yang ideal, tetapi model Perspektif mudah ditempa; masing-masing subreddits dapat menyesuaikan algoritme pemberian skor agar sesuai dengan pedoman komunitas mereka.

Langkah selanjutnya untuk Turnbull adalah mengambil CMV dari Reddit karena komunitas itu melebihi itu, katanya. Selama enam bulan terakhir, startup moderator yang baru dibentuk telah bekerja dengan Jigsaw di situs khusus dengan fungsionalitas yang lebih dalam daripada yang bisa disediakan oleh antarmuka mod dan bot Reddit.

Proyek ini masih hanya dalam pengujian alpha, tetapi Turnbull berbicara tentang fitur-fitur seperti peringatan proaktif ketika pengguna mengetik komentar yang mungkin melanggar aturan, pelaporan bawaan untuk memberi moderator lebih banyak konteks, dan data historis untuk membuat keputusan. Turnbull menekankan bahwa tidak ada rencana untuk mematikan atau memigrasi subreddit, tetapi dia senang dengan percobaan baru.

• Semua Komentar Sesuai untuk Dicetak

  Tergantung pada hari dalam seminggu, situs web The New York Times mendapatkan 12.000 hingga lebih dari 18.000 komentar. Hingga pertengahan 2017, bagian komentar makalah dimoderatori oleh staf manajemen komunitas penuh waktu yang membaca setiap komentar dan memutuskan apakah akan menyetujui atau menolaknya.

  Bassey Etim, yang sampai bulan ini adalah editor komunitas untuk Times , menghabiskan satu dekade di meja Komunitas dan menjadi editornya sejak 2014. Pada puncak hari kerja, tim mungkin memiliki beberapa orang memoderasi komentar pada cerita opini sementara lainnya menangani berita. Spreadsheet membagi dan melacak berbagai tanggung jawab, tetapi tim yang terdiri dari sekitar selusin orang terus-menerus dipindahkan atau dipindahkan tergantung pada berita utama saat itu. Mereka juga memberi umpan balik dari komentar kembali ke wartawan untuk cerita makanan potensial.

  Akhirnya, menjadi jelas bahwa ini lebih dari 12 manusia bisa tangani. Bagian komentar pada cerita harus ditutup setelah mencapai jumlah maksimum komentar yang dapat dimoderasi oleh tim.

  Kelompok pengembangan audiensi surat kabar telah bereksperimen dengan pembelajaran mesin untuk persetujuan komentar yang jelas dan dasar, tetapi Etim mengatakan itu tidak terlalu pintar atau dapat disesuaikan. The Times pertama kali mengumumkan kemitraannya dengan Jigsaw pada September 2016. Sejak itu, bagian komentarnya telah berkembang dari muncul di kurang dari 10 persen dari semua cerita menjadi sekitar 30 persen hari ini dan naik.

  Dari perspektif Jigsaw, inkubator melihat kesempatan untuk memberi makan Perspektif data anonim dari jutaan komentar per hari, dimoderasi oleh para profesional yang dapat membantu memperbaiki proses. Sebagai imbalan atas data pelatihan ML anonim, Jigsaw dan Times bekerja bersama untuk membangun platform yang disebut Moderator, yang diluncurkan pada Juni 2017.



Di dalam Moderator, NYT Comment Interface

(Gambar milik The New York Times )

Moderator menggabungkan model Perspektif dengan lebih dari 16 juta komentar Times yang dimoderasi dan dimundurkan kembali ke 2007.

Apa yang sebenarnya dilihat oleh tim komunitas di antarmuka Moderator adalah dasbor dengan bagan histogram interaktif yang memvisualisasikan uraian komentar di atas ambang batas tertentu. Mereka dapat menyeret slider ke depan dan ke belakang, misalnya, untuk secara otomatis menyetujui semua komentar hanya dengan skor ringkasan 0 hingga 20 persen, yang didasarkan pada kombinasi potensi komentar untuk kecabulan, toksisitas, dan kemungkinan ditolak. Ada tombol moderasi cepat di bawah ini untuk menyetujui atau menolak komentar, menunda, atau menandai komentar, untuk terus meningkatkan pemodelan Perspektif.

"Untuk setiap bagian situs web, kami menganalisis komentar yang masuk dan cara Perspektif akan memberi tag pada mereka. Kami menggunakan model Perspektif publik dan model kami sendiri yang unik untuk The New York Times , " kata Etim. "Saya akan menganalisis komentar dari setiap bagian dan mencoba menemukan titik batas di mana kita akan merasa nyaman mengatakan, 'Oke, segala sesuatu di atas probabilitas ini menggunakan tag toksisitas spesifik ini, seperti ketidakjujuran misalnya, kita akan menyetujui."

Pembelajaran mesin menyetujui persentase komentar yang relatif kecil (sekitar 25 persen atau lebih, kata Etim) ketika Times bekerja untuk mengeluarkan komentar pada lebih banyak cerita dan pada akhirnya bahkan untuk menyesuaikan bagaimana model menyaring dan menyetujui komentar untuk bagian berbeda dari situs. Model hanya menyetujui komentar; Penolakan masih ditangani sepenuhnya oleh moderator manusia.

Potongan komentar manual itu hilang. Komentar biasanya ditutup pada sebuah cerita 24 jam setelah dipublikasikan secara online atau sehari setelah dipublikasikan di media cetak, kata Etim.

'Kami Tidak Mengganti Anda Dengan Mesin'

Fase berikutnya adalah membangun lebih banyak fitur ke dalam sistem untuk membantu moderator memprioritaskan komentar mana yang harus dilihat terlebih dahulu. Semakin, mengotomatisasi apa yang selalu menjadi proses manual telah memungkinkan moderator menghabiskan waktu secara proaktif bekerja dengan wartawan untuk membalas komentar. Itu menciptakan lingkaran umpan balik di mana komentar mengarah pada pelaporan tindak lanjut dan cerita tambahan - dapat menghemat dan merealokasi sumber daya untuk membuat lebih banyak jurnalisme.

"Moderator dan Perspektif telah membuat Times jauh lebih responsif terhadap keprihatinan pembaca, karena kami memiliki sumber daya untuk melakukan itu, baik dengan menulis cerita sendiri atau bekerja dengan wartawan untuk mencari tahu cerita, " kata Etim. "Yang paling keren tentang proyek ini adalah bahwa kami tidak memberhentikan siapa pun. Kami tidak akan mengganti Anda dengan mesin. Kami hanya menggunakan manusia yang kami miliki dengan lebih efisien dan membuat keputusan yang benar-benar sulit."

Makalah ini terbuka untuk bekerja dengan publikasi lain untuk membantu seluruh industri mengimplementasikan teknologi jenis ini. Ini dapat membantu outlet berita lokal dengan sumber daya terbatas untuk mempertahankan bagian komentar tanpa staf khusus yang besar dan menggunakan komentar seperti yang dilakukan Times , untuk menemukan prospek potensial dan memicu jurnalisme akar rumput.

Etim menyamakan moderasi berbantuan AI untuk memberi petani bajak mekanis versus sekop. Anda dapat melakukan pekerjaan jauh lebih baik dengan bajak.

"Jika Perspektif dapat berkembang dengan cara yang benar, itu dapat, semoga, membuat setidaknya satu set pedoman yang dapat diulang untuk gerai kecil, " katanya. "Ini pertandingan yang panjang, tapi kami sudah menyiapkan banyak fondasi untuk menjadi bagian dari pengalaman pembaca itu. Maka mungkin koran-koran lokal ini dapat memiliki komentar lagi dan membangun tempat berpijak kecil melawan para pemain sosial utama."



Menjerit Ke Abyss

Pada titik ini, kebanyakan dari kita telah melihat orang-orang diserang atau dilecehkan di media sosial karena menyuarakan pendapat. Tidak ada yang mau itu terjadi pada mereka, kecuali troll yang berkembang pada hal semacam itu. Dan kita telah belajar bahwa meneriaki orang asing yang tidak akan pernah mendengarkan argumen rasional bukanlah penggunaan waktu kita yang berharga.

Perspektif mencoba untuk menjungkirbalikkan dinamika itu, tetapi CJ Adams mengatakan tujuan yang lebih luas adalah untuk mempublikasikan data, penelitian, dan model UX open-source baru untuk menciptakan struktur percakapan baru - tugas yang menakutkan. Menjadikan internet tempat yang sehat yang layak untuk dikunjungi orang berarti meningkatkan sistem ini di luar bagian komentar dan subreddits berita. Pada akhirnya, alat AI harus mampu menangani aplikasi sosial dan jaringan raksasa yang mendominasi interaksi digital kita sehari-hari.

Mengesampingkan apa yang dilakukan Facebook, Twitter, dan raksasa sosial lainnya secara internal, cara paling langsung untuk mencapai ini adalah dengan mendorong teknologi dari moderator ke pengguna sendiri. Adams menunjuk Proyek Karang untuk ide tentang apa yang akan terlihat.

Proyek Karang awalnya didirikan sebagai kolaborasi antara Mozilla Foundation, The New York Times dan Washington Post. Coral sedang membangun alat sumber terbuka seperti platform Talk-nya untuk mendorong diskusi online dan memberikan situs berita alternatif untuk mematikan bagian komentar. Talk saat ini memberdayakan platform untuk hampir 50 penerbit online, termasuk Post , New York Magazine, The Wall Street Journal, dan The Intercept.

Awal bulan ini, Vox Media memperoleh Coral Project dari Mozilla Foundation; ia berencana untuk "secara mendalam mengintegrasikan" ke dalam Chorus, manajemen konten dan platform mendongeng.

Perspektif memiliki plugin untuk Proyek Karang yang menggunakan teknologi dasar yang sama - penilaian dan ambang batas toksisitas berbasis ML - untuk memberikan saran proaktif kepada pengguna saat mereka mengetik, kata Adams. Jadi, ketika pengguna menulis komentar yang mengandung frasa yang ditandai sebagai penyalahgunaan atau pelecehan, pemberitahuan mungkin muncul untuk pengguna yang mengatakan, "Sebelum Anda memposting ini, pastikan untuk mengingat pedoman komunitas kami" atau "Bahasa dalam komentar ini dapat melanggar kami pedoman komunitas. Tim moderasi kami akan segera memeriksanya."

"Dorongan kecil itu dapat membantu orang untuk berpikir sejenak, tetapi itu juga tidak menghalangi siapa pun, " kata Adams. "Itu tidak menghentikan diskusi."

Ini adalah mekanisme yang terintegrasi dengan platform obrolan dan permainan video untuk membendung penyalahgunaan dan pelecehan. Pengguna Twitter jelas dapat memperoleh manfaat dari sistem seperti itu juga.

Ini berbicara pada ide yang dibawa oleh ilmuwan peneliti MIT Andrew Lippmann dalam Future Issue PCMag: Dia berbicara tentang mekanisme bawaan yang akan membuat orang berhenti dan berpikir sebelum mereka berbagi sesuatu secara online, untuk membantu membendung penyebaran informasi yang salah. Konsep ini juga berlaku untuk diskusi online. Kami telah menciptakan sistem komunikasi tanpa gesekan yang mampu memperkuat jangkauan pernyataan secara eksponensial dalam sekejap, tetapi kadang-kadang sedikit gesekan bisa menjadi hal yang baik, kata Lippmann.

Perspektif bukan tentang menggunakan AI sebagai solusi selimut. Ini adalah cara untuk membentuk model ML menjadi alat bagi manusia untuk membantu mereka menyusun pengalaman mereka sendiri. Tetapi satu tandingannya adalah bahwa jika Anda membuatnya lebih mudah bagi orang untuk menghilangkan kebisingan online yang tidak mereka sukai, internet akan menjadi lebih banyak ruang gema daripada yang sudah ada.

Ditanya apakah alat seperti Perspektif pada akhirnya dapat memperburuk ini, Adams mengatakan dia percaya ruang gema online ada karena tidak ada mekanisme untuk mengadakan diskusi di mana orang-orang dapat secara signifikan tidak setuju.

"Jalan yang paling sedikit perlawanan adalah 'Orang-orang ini bertempur. Mari kita biarkan mereka sepakat dengan diri mereka sendiri di sudut mereka sendiri. Biarkan orang-orang silo diri mereka sendiri, '" katanya. "Kau membiarkan orang-orang meneriaki orang lain keluar dari ruangan, atau kau menutup diskusi. Kami ingin Perspektif membuat opsi ketiga."

Adams menyusun skenario sampel. Jika Anda bertanya kepada sebuah ruangan berisi 1.000 orang, "Berapa banyak dari Anda yang membaca sesuatu hari ini yang benar-benar Anda pedulikan?" sebagian besar pengguna internet akan menunjuk ke artikel, tweet, posting, atau sesuatu yang mereka baca online. Tetapi jika Anda kemudian bertanya kepada mereka, "Berapa banyak dari Anda yang berpikir bahwa Anda pantas mengomentari atau berdiskusi?" semua tangan di ruangan akan turun.

"Bagi banyak dari kita, itu tidak sepadan dengan usaha. Struktur diskusi yang kita miliki sekarang hanya berarti itu adalah kewajiban. Jika Anda memiliki pemikiran yang masuk akal saat ini atau sesuatu yang ingin Anda bagikan, bagi kebanyakan orang, mereka tidak Saya tidak ingin ambil bagian, "kata Adams. "Itu berarti bahwa dari 1.000 orang yang bisa berada di ruangan itu, Anda hanya memiliki segelintir yang diwakili dalam diskusi; katakanlah, 10 orang. Saya memiliki keyakinan yang mendalam bahwa kita dapat membangun struktur yang memungkinkan 990 lain untuk kembali ke diskusi. dan melakukannya dengan cara yang mereka anggap layak waktu mereka."