Title

SISTEM PENGENALAN BAHASA ISYARAT GERAKAN TANGAN SEBAGAI ALAT BANTU KOMUNIKASI BAGI TUNARUNGU

Abstract
Bahasa isyarat merupakan bahasa yang menggunakan komunikasi visual, Seperti bentuk dan gerakan tangan, lengan, tubuh, serta ekspresi wajah untuk berkomunikasi. Namun, penggunaan bahasa isyarat seringkali menyulitkan dan membatasi komunikasi dengan orang lain khususnya orang normal yang tidak memahami bahasa isyarat. Untuk itu, diperlukan sistem penerjemahan bahasa isyarat menjadi bahasa yang umum sehingga mudah dipahami oleh pihak lain. Dalam penelitian ini, akan dikembangkan suatu sistem yang dapat menerjemahkan Sistem Isyarat Bahasa Indonesia (SIBI) menjadi bahasa tulis (teks) atau sebaliknya terutama untuk menerjemahkan bahasa isyarat yang berupa gerakan tangan atau mimik tubuh. Permasalahan utama yang terdapat pada topik ini adalah bagaimana system dapat mengenali gerakan tangan yang ada pada sebuah stream video. Oleh karena itu pada penelitian ini akan dikaji sebuah model yang dapat mengenali gerakan tangan dalam sebuah video menggunakan Deep Learning Convolutional Neural Network (CNN). Karena penelitian ini fokus pada penggunaan input berupa video sehingga metode CNN ini dikembangkan menjadi 3D-CNN. Tujuan akhir dari penelitian ini adalah kemampuan mengenali Bahasa isyarat hingga sentence level. Untuk mampu menangani hal ini perlu satu metode lagi yaitu Recurrent Neural Network (RNN). Metode ini dipilih karena kemampuannya untuk mengenali sequential dan memiliki memory cell untuk menyimpan informasi dari neuron sebelumnya. Kemampuan ini disebut sebagai metode Long-Short Term Memory (LSTM). Kemudian output dari RNN ini di cek oleh CTC-loss untuk menentukan dari kemampuan pengenalan gerakan sign language. Setelah model dapat mengenali gerakan tangan dengan baik akan dihasilkan output sistem sebuah penerjemah gerakan tangan dalam bentuk teks atau suara. Kemudian model akan dikembangkan lebih lanjut untuk dapat menerjemahkan suara atau teks menjadi bahasa isyarat yang sesuai sehingga aplikasi ini dapat digunakan oleh tunarungu atau orang yang hanya memungkinkan untuk berkomunikasi dengan bahasa isyarat.
Keywords
Bahasa Isyarat, Penerjemah, Gerakan Tangan, SIBI, 3D-CNN, RNN
Source of Fund
Penelitian Strategis Nasional
Funding Institution
DIKTI
Fund
Rp.150.000.000,00
Contract Number
036/VR.RTT/IV/2018
Author(s)
  • Dr. Suharjito, S.Si., M.T.

    Dr. Suharjito, S.Si., M.T.

  • Benfano Soewito, M.Sc., Ph.D

    Benfano Soewito, M.Sc., Ph.D

  • I Gede Putra Kusuma Negara, B.Eng., PhD

    I Gede Putra Kusuma Negara, B.Eng., PhD