Ibm watson membantu mahasiswa mempelajari mandarin

Universitas telah menempuh perjalanan panjang dalam studi bahasa mereka, bergerak lebih dari sekadar kelas tradisional di ruang kuliah dan pelajaran yang direkam sebelumnya tanpa interaksi. Sekarang siswa memiliki akses ke teknologi seperti kecerdasan buatan (AI) dan pemrosesan bahasa alami (NLP) dalam lingkungan belajar yang mendalam. Itulah yang terjadi di Cognitive and Immersive Systems Lab (CISL) di Troy, New York, kampus Rensselaer Polytechnic Institute (RPI). Di sinilah institut telah bekerja sama dengan IBM Research untuk menciptakan teknologi untuk kursus musim panas enam minggu di mana para siswa berinteraksi dengan agen AI di lingkungan yang mencakup pasar jalanan dan restoran.

Kursus yang berjudul "AI-Assisted Immersive Chinese, " ini menampilkan sistem tampilan panorama 360 derajat dari pemandangan yang dihasilkan komputer di Cognitive Immersive Room (CIR), yang juga disebut "Situations Room." Adegan virtual berlangsung di Tiongkok. Siswa berkomunikasi dengan avatar yang didukung oleh Asisten Watson dan dikoreksi pada ucapan dan pengucapan mereka. Dalam CIR, siswa menggunakan AI percakapan, generasi narasi, kesadaran konteks spasial, dan gerakan dan teknologi pengenalan wajah.

CIR adalah contoh beragamnya potensi IBM Watson di beberapa industri selain pendidikan. Industri-industri ini meliputi pertanian, sumber daya manusia (SDM), dan manajemen armada.

Di RPI, selain Watson Assistant, siswa menggunakan Watson Speech to Text, Watson Text to Speech, dan Language Translator dalam studi mereka.

Siswa belajar bahasa Mandarin dengan menggunakan AI di kampus RPI. (Kredit gambar: Riset IBM / RPI)

Pengalaman Belajar Aktif

Bagi Julian Wong, seorang junior di RPI, pengalaman AI yang mendalam adalah cara yang menarik untuk belajar bahasa Mandarin karena itu memberinya cara yang lebih aktif untuk belajar. Karena bahasa Mandarin adalah bahasa nada di mana perubahan nada dapat mengubah arti kata-kata, avatar dalam pengalaman AI memberikan umpan balik pada nada untuk memastikan Wong dan siswa lainnya mendapatkan pengucapan yang benar.

Bekerja dengan AI dalam CIR memberikan keseimbangan yang bagus dengan waktu kelas reguler, menurut Wong. "Pertemuan untuk berbicara dengan komputer… pasti membantu dengan banyak aspek mempelajari bahasa, terutama keterampilan verbal, " kata Wong.

Kelas bahasa Mandarin Wong bertemu empat kali seminggu. Pada hari Senin dan Jumat, ia menghadiri kelas di kelas tradisional bersama Helen Zhou, Associate Professor di RPI. Di sana ia belajar kosa kata baru dan mendapatkan pengantar frasa dan struktur tata bahasa. Pada hari Selasa dan Kamis, kelas bertemu di CIR, di mana siswa melakukan percakapan dengan agen virtual. Di lingkungan restoran, Wong mengatakan siswa dapat melalui seluruh proses duduk di restoran, melihat menu, memesan makanan, berbicara dengan pelayan tentang bagaimana makanan disiapkan, dan membayar tagihan. Lingkungan lain termasuk taman, pasar, dan kampus sekolah.

Kelas Mandarin di kelas imersif berbeda dari lingkungan tradisional karena menyediakan pengalaman multimodal bahasa dan video, menurut Zhou. Dia mengatakan kelas tradisional tidak akan terlalu imersif dan interaktif. "Dalam simulasi di kelas immersive, kami memiliki dua agen untuk bertarung satu sama lain, untuk mencoba membujuk para siswa untuk membeli produk, " kata Zhou. "Jadi siswa akan mengerti dengan pengalaman pribadi daripada menonton video atau hanya mendengarkan ceramah. Saya percaya mereka akan mengambil budaya dengan lebih mudah daripada hanya dengan belajar dari buku teks atau mendengarkan kaset."

Di CIR, siswa mengambil kuis yang berhubungan dengan adegan yang mereka berinteraksi dan angkat tangan untuk memberikan jawaban. Teknologi penglihatan komputer dari kamera di dalam ruangan menangkap gerakan mereka. Asisten AI memberikan kuis terkait dengan adegan dan siswa harus menjawab dengan frasa dalam bahasa Cina.

"Jika Anda ingin memilih salah satu pop-up yang ada di layar, maka Anda dapat mengulurkan tangan Anda, membuka telapak tangan, dan kemudian Anda menutup tangan Anda, " jelas Wong. "Anda memilih kursor saat ini. Untuk kuis kecil, jika Anda tahu apa jawaban yang tepat, maka Anda dapat memindahkan tangan Anda ke karakter yang ingin Anda pilih, dan kemudian tutup tangan Anda untuk memilihnya. Ini akan memberi tahu Anda jika Anda melakukannya dengan benar atau tidak."

Agen virtual memahami siswa sebagian besar waktu, kecuali ketika mereka mungkin tidak memiliki mikrofon dekat dengan mulut mereka. Sistem ini memiliki pengaturan pengenalan suara yang berbeda yang menjemput siswa jika mereka tidak aktif dengan pengucapan mereka. Ini juga memberikan umpan balik langsung dalam percakapan jika Anda tidak memiliki hadiah profesor. Pada waktu mereka sendiri, para siswa di kelas Mandarin pergi ke situs web untuk mengakses klip suara untuk berlatih.

Fitur keren dari pengalaman mendalam di RPI adalah kesadaran konteks spasial, di mana beberapa agen virtual di layar dapat mengetahui yang mana yang membuat kontak mata dengan Anda. "Jika Anda mengatakan sesuatu sambil melihat satu agen, maka agen itu akan merespons dan bukan yang lain, " kata Wong.

Seorang siswa menggunakan gerakan IBM Watson dan teknologi pengenalan wajah sebagai bagian dari kelas Mandarin di RPI. (Kredit gambar: Riset IBM / RPI )

Bagaimana Pengalaman Imersif Berkembang

Pengalaman mendalam di RPI datang diciptakan ketika profesor bahasa dan profesor desain game bertemu untuk membahas cara yang lebih baik untuk mengajar bahasa. Sebuah rencana untuk mengembangkan permainan permainan peran segera beralih ke diskusi tentang bagaimana mengajar bahasa Mandarin melalui simulasi skenario kehidupan nyata, menurut Hui Su, yang keduanya adalah Direktur Pengalaman Pengguna Kognitif di IBM Research dan Direktur CISL. IBM dan RPI mulai mengembangkan kursus pada akhir 2015, dan mereka mendirikan lab bersama pada waktu itu. CISL kemudian terbentuk segera setelahnya.

"Tujuan lab adalah untuk membangun lingkungan kognitif dan imersif untuk meningkatkan kegiatan kelompok, untuk meningkatkan kecerdasan kelompok dalam konteks pembelajaran dan pengambilan keputusan, " kata Su. "Kami juga fokus pada membangun ruang rapat kognitif immersive… untuk melihat data situasi kritis dan mencoba memahami informasi dan membuat keputusan atau rekomendasi untuk para pembuat keputusan."

Sebagai bagian dari program pembelajaran bahasa AI, IBM dan RPI sedang bereksperimen dengan analisis kontur nada. Su menggambarkan bagaimana teknologi ini bekerja. "Ketika Anda berbicara suku kata, ketika Anda mengucapkan suku kata, teknologi yang mendasarinya akan menangkap suara, dan menghasilkan kontur visual tentang bagaimana Anda mengucapkan suku kata itu, " kata Su. "Lalu ia menggunakan kontur visual itu dan membandingkan kontur visual itu dengan kontur visual penutur asli."

Siswa kemudian dapat membuat penyesuaian dalam pengucapan mereka untuk mencapai nada yang benar. Mereka akan belajar bahwa mereka perlu mengubah pengucapan suku kata tertentu. Dengan pengetahuan yang diperoleh siswa dengan belajar bahasa Mandarin di ruang kelas immersive menggunakan teknologi Watson, mereka akan lebih percaya diri berbicara dalam kehidupan nyata, menurut Su.

"Seluruh ide adalah untuk menyediakan konteks budaya yang cukup melalui lingkungan kami yang mendalam dan teknologi AI untuk memungkinkan para siswa berlatih latihan, " kata Su. "Jadi mereka tidak akan memiliki ketakutan seperti berbicara dengan orang-orang di kehidupan nyata."

Seorang siswa berlatih bahasa Mandarin di lingkungan restoran virtual dengan menggunakan teknologi IBM Watson. (Kredit gambar: Riset IBM / RPI )

Jembatan Antara Industri Teknologi dan Akademisi

IBM dan RPI mampu membangun jembatan antara peneliti IBM dan anggota fakultas, dengan IBM menanamkan peneliti di kampus, yaitu Su. Sementara itu, Zhou, profesor kelas di RPI, juga memberikan umpan balik kepada para desainer, pengguna, dan guru tentang cara meningkatkan pengalaman mendalam di kelas.

"Saya perlu memberi mereka umpan balik segera untuk debug atau untuk meningkatkan desain sehingga kami dapat menawarkan kelas yang lebih alami kepada para siswa, " kata Zhou. "Jadi ada banyak pekerjaan yang harus dilakukan, tetapi itu sepadan."

Masa Depan Pembelajaran Bahasa

• Perangkat Lunak Belajar Bahasa Terbaik untuk 2019 Perangkat Lunak Belajar Bahasa Terbaik untuk 2019
• IBM Meluncurkan Alat AI Watson Pra-Pelatihan di Beberapa Industri
• Apakah AI Benar-Benar Berbicara Bahasa Kami? Apakah AI Benar-Benar Berbicara Bahasa Kami?

Jenis lingkungan immersive ini berharga karena kemampuan untuk menyediakan lingkungan yang tampaknya nyata, menurut Zhou. "Lingkungan imersif AI tidak hanya dapat meningkatkan berbicara dan mendengarkan siswa, tetapi juga pragmatik menggunakan bahasa itu dalam situasi kehidupan nyata, " kata Zhou. "Itu sebabnya AI lebih ideal bagi saya sebagai instruktur sehingga siswa dapat merasakan menggunakan bahasa sejak dini, bahkan untuk pelajar pemula, tanpa bepergian ke negara itu."

Lingkungan belajar multimodal seperti yang ditawarkan di RPI akan memperluas peran AI di kelas. Dengan pengalaman yang diberikan AI melalui agen virtual, siswa akan siap untuk menangani berbagai skenario di dunia nyata dengan keterampilan bahasa yang diperlukan.