26 Januari 2022
BEIJING – Pada tanggal 4 Februari, Olimpiade Musim Dingin dimulai di Beijing. Seorang penyiar TV AI yang menguasai bahasa isyarat akan menyiarkan acara tersebut secara langsung di aplikasi CCTV, memastikan bahwa penonton Tionghoa yang mengalami gangguan pendengaran dapat menikmati Pertandingan tersebut.
Jangkar bahasa isyarat AI, yang didukung oleh basis data bahasa isyarat terbesar di dunia dengan hingga 200.000 lembar data, diharapkan dapat memberikan “kehangatan” kepada audiens target dengan interpretasi akuratnya yang tiada duanya.
Basis data dikembangkan oleh tim yang terdiri dari anggota fakultas terbaik, dan mahasiswa tunarungu dari Perguruan Tinggi Teknik untuk Tunarungu di Tianjin University of Technology, perguruan tinggi terkemuka di negara itu yang didedikasikan untuk tunarungu.
Yuan Tiantian, wakil dekan dan profesor di perguruan tinggi tersebut, berbagi dengan reporter China Daily Yang Cheng tentang teknologi dan wawasannya dalam memajukan dukungan negara bagi orang-orang dengan masalah pendengaran.
Berikut petikan wawancara tersebut:
Seorang penyiar TV AI akan memulai debutnya di Olimpiade Musim Dingin mendatang untuk menyiarkan Olimpiade tersebut kepada penonton China yang mengalami gangguan pendengaran di aplikasi CCTV. (Foto disediakan oleh chinadaily.com.cn)
T: Jangkar bahasa isyarat AI pertama di negara itu akan melayani pemirsa yang ditargetkan selama Olimpiade Musim Dingin dan Paralimpiade Musim Dingin. Korpus terbesar di dunia di balik jangkar AI TV dibuat oleh tim Anda. Bisakah Anda menjelaskan kepada kami teknologi database terkemuka? Apakah ada masalah yang Anda hadapi selama penelitian Anda selama enam tahun terakhir? Apakah ada saat-saat gemilang yang dapat Anda bagikan dengan kami?
Yuan: Izinkan saya menjelaskan dua teknologi dasar – “pengenalan bahasa isyarat” dan “generasi bahasa isyarat” – poin utama yang saya gunakan untuk menjelaskan arena teknologi kepada orang luar.
“Generasi bahasa isyarat” mengacu pada teknologi yang membantu menghasilkan bahasa isyarat untuk audiens.
Namun, teknologi kami berada di bidang pengenalan bahasa isyarat – mengenali bahasa isyarat dengan urutan kata tertentu dari orang-orang yang memiliki masalah pendengaran dan kemudian mengubahnya menjadi urutan kata.
Di sini saya harus menekankan bahwa urutan kata mereka berbeda dengan kita. Misalnya, mereka meletakkan predikat di akhir kalimat, sedangkan kita meletakkannya di tengah kalimat, tepat di antara subjek dan objek dalam bahasa Tionghoa modern.
Misalnya, ketika orang-orang itu menuliskan beberapa pesan, urutan kata mereka terkadang menyesatkan kita.
Jadi pembawa acara AI harus berekspresi dengan perintah kata kelompok audiens.
Pengenalan bahasa isyarat dan teknologi generasi saling melengkapi satu sama lain.
Kami berurusan dengan bagian pengenalan bahasa isyarat: kami memproses informasi dari urutan kata orang dengan masalah pendengaran, mentransfernya ke milik kami.
Dan kemudian teknologi generasi bahasa isyarat mentransfer urutan kata kita menjadi urutan kata dari orang-orang yang memiliki masalah pendengaran; dan ini mendorong jangkar AI untuk menunjukkan bahasa isyarat yang benar.
Komunitas riset internasional telah sampai pada kesimpulan bahwa pengenalan bahasa isyarat jauh lebih sulit daripada generasi dalam berbagai teknologi yang terlibat.
Proses kami termasuk mengubah video gerakan bahasa isyarat menjadi teks dalam urutan kata mereka.
Kami memiliki setidaknya tiga saluran, yaitu ekspresi, anggota tubuh, dan gerakan tangan.
Kami juga meneliti pengenalan tindakan dan menganalisis niat mereka. Tungkai memiliki 18 poin untuk dianalisis, tangan – 21 poin dan wajah – lebih dari 100 poin untuk dianalisis. Semua ini menantang AI dan algoritme.
Banyak perusahaan lokal dan internasional berharap untuk bergabung, tetapi ketika mereka menemukan bahwa pengenalan bahasa isyarat jauh lebih sulit daripada pembuatan bahasa isyarat, mereka mundur.
Pengenalan suara lebih mudah.
Mengenai saat-saat cerah selama studi, saya pikir, saya sangat berharap untuk mengungkapkan bahwa dukungan dan kontribusi dari banyak orang dengan masalah pendengaran yang membuat kita semua terkesan.
Mereka memberi kami bahasa isyarat mereka untuk mengumpulkan database dan database, mengubahnya menjadi yang terbesar di dunia dan membantu mengembangkannya.
Karena senior lebih memilih bahasa isyarat daripada generasi muda, yang lebih suka menggunakan pengenalan suara, mereka telah memberikan kontribusi besar bagi kami untuk membentuk database.
Ketika kami memberi tahu mereka bahwa kami perlu membentuk database, banyak orang lanjut usia, terlepas dari usia dan kondisi kesehatan mereka, sangat antusias membantu kami menunjukkan bahasa isyarat mereka… kami sangat terharu.
Keramahan dan kehangatan kelompok orang-orang yang antusias dan baik hati, yang menyumbangkan bahasa isyarat mereka di berbagai bidang, termasuk beberapa orang tua yang sangat baik, yang meningkatkan kepercayaan diri kami dan memberi kami kekuatan untuk melanjutkan studi yang menantang.
Yuan Tiantian (tengah berbaju merah), wakil dekan dan profesor di Perguruan Tinggi Teknik untuk Tuna Rungu, Universitas Teknologi Tianjin, perguruan tinggi terkemuka negara yang didedikasikan untuk kelompok mahasiswa, dengan beberapa anggota timnya yang merupakan mahasiswa di perguruan tinggi tersebut. (Foto disediakan oleh chinadaily.com.cn)
T: Bisakah Anda memberi tahu kami tentang manfaat AI Hostess? Apa bedanya dengan penerjemah bahasa isyarat manusia? Mengapa pembawa acara TV bertenaga AI dipilih untuk Olimpiade Musim Dingin mendatang?
Yuan: Saya pikir pembawa berita AI TV dapat membantu dengan terjemahan berkelanjutan untuk teks panjang, memastikan hilangnya informasi paling sedikit.
Penelitian menunjukkan dan pengguna bahasa isyarat juga menyimpulkan bahwa penerjemah bahasa isyarat manusia dapat kehilangan beberapa informasi.
Tetapi robot AI yang didukung dengan basis data kami dapat mengatasi rintangan utama ini.
Statistik telah menunjukkan bahwa tingkat pengenalan bahasa isyarat yang benar dalam skenario khusus bisa mencapai 97 persen sementara tingkat yang benar dari pembuatan bahasa isyarat bahkan bisa lebih tinggi.
CCTV mengumumkan pada November 2021 berharap untuk menggunakan jangkar AI dalam siaran TV-nya.
Dalam upaya mempelajari bahasa jurnalistik tertentu, kami mempelajari jangkar bahasa isyarat TV di program Kepentingan Bersama.
Kami telah bekerja sama dengan CCTV untuk menyiarkan di aplikasinya. Itu mendapat pengakuan luas, jadi CCTV berharap untuk mempromosikan kembali jangkar AI di aplikasinya selama Olimpiade Musim Dingin.
Kami juga telah meningkatkan basis data kami dengan skenario khusus Olimpiade Musim Dingin.
Database terus ditingkatkan.
Beberapa mahasiswa yang terlibat dalam penelitian tersebut. (Foto disediakan oleh chinadaily.com.cn)
T: Sejauh yang kami tahu, perguruan tinggi Anda telah mengungkapkan target ambisius untuk memperluas korpus menjadi 1 juta keping data dan setelah Olimpiade Musim Dingin, tim peneliti mengharapkan teknologi tersebut untuk melayani bidang medis dan transportasi dengan lebih baik. Apakah informasi ini benar?
Yuan: Ya. Kami berharap dapat membantu para tunarungu dalam berbelanja, transportasi, dan aspek kehidupan sehari-hari lainnya.
Misalnya, selama Kongres Intelijen Dunia kelima tahun lalu di Tianjin, banyak pengunjung yang tertarik dengan pameran kami… beberapa mengindikasikan bahwa mereka berharap dapat menerapkan teknologi tersebut di pusat perbelanjaan.
Aplikasi selama siaran langsung Olimpiade Musim Dingin bukanlah satu-satunya target yang kami kejar.
Menjadi guru kelompok di perguruan tinggi, kami memiliki wawasan yang mendalam tentang permintaan masyarakat dan kami tidak akan pernah menghentikan upaya kami.
Beberapa lembaga penelitian dapat mempromosikan hasil mereka dengan sangat cepat, tetapi kami tidak seperti itu … sebenarnya kami membutuhkan lebih banyak waktu untuk mendapatkan hasil.
Q: Apakah ada hasil penelitian serupa di negara-negara Barat? Apakah ada kelebihan dan kekurangan penelitian tim Anda?
Yuan: Saya pikir area CV (visi komputer) plus NLP (pemrosesan bahasa alami) adalah beberapa yang paling populer di sirkuit penelitian global.
Di tengah revolusi industri keempat, pengenalan bahasa dengan bantuan AI mengalami perkembangan pesat.
Kita semua berharap teknologi AI yang kita kembangkan dapat bekerja 24/7 untuk membantu orang-orang yang membutuhkan bantuan, untuk siapa pengembangan AI membentuk masa depan baru.
Dibandingkan dengan negara-negara Barat, teknologi kita masih tertinggal dan defisit pendanaan.
Namun, kami memiliki komitmen yang lebih besar kepada orang-orang yang membutuhkan.
Kami sekarang memiliki tim yang terdiri dari 200-300 anggota untuk membantu proyek Olimpiade Musim Dingin dalam transformasi kalimat antar bahasa dan di masa mendatang kami berharap anggota tersebut dapat berdiri.
Tim ilmu komputer kami terdiri dari hingga 50 anggota dari perguruan tinggi kami sendiri dan perguruan tinggi ilmu komputer di universitas kami. Mereka berdedikasi untuk membantu rakyat.
Kami juga mengharapkan lebih banyak perusahaan bergabung untuk mendukung penyandang disabilitas.