Yusuf, Muhamad Faizal
(2026)
RANCANG BANGUN APLIKASI PENGENALAN BAHASA ISYARAT HIJAIYAH BERBASIS ANDROID MENGGUNAKAN ALGORITMA ARTIFICIAL NEURAL NETWORK (ANN).
S1 / D3 thesis, Universitas Kuningan.
Abstract
Siswa disabilitas rungu di SLB Negeri Taruna Mandiri Kabupaten Kuningan menghadapi kendala utama dalam mempelajari huruf Hijaiyah secara mandiri akibat keterbatasan akses dan ketiadaan media pembelajaran interaktif. Penelitian ini bertujuan merancang aplikasi mobile pengenalan bahasa isyarat Hijaiyah berbasis kecerdasan buatan sebagai media pembelajaran adaptif sekaligus alat evaluasi interaktif bagi siswa disabilitas rungu. Metode pengembangan sistem yang digunakan adalah Rapid Application Development (RAD) dengan teknik pengumpulan data melalui observasi, wawancara, dan studi pustaka. Aplikasi dibangun berbasis Android, mengintegrasikan framework MediaPipe sebagai ekstraktor 21 titik landmark tangan secara real-time dan model Artificial Neural Network (ANN) berformat TensorFlow Lite untuk mengidentifikasi 31 kelas isyarat huruf Hijaiyah. Dataset berawal dari 15.500 citra asli yang kemudian diekstraksi menjadi 11.758 sampel numerik koordinat tangan, dengan pembagian rasio 80:10:10 untuk data latih, validasi, dan uji. Pengujian sistem dilakukan melalui Blackbox, Whitebox, Confusion Matrix, Pengujian Batasan Operasional, dan User Acceptance Testing (UAT). Hasil Confusion Matrix menunjukkan tingkat akurasi sebesar 96,44% pada data uji tanpa indikasi overfitting, didukung nilai rata-rata makro dan terbobot sebesar 0,96. Seluruh skenario Blackbox teruji valid, logika Whitebox berjalan benar, dan model mampu melakukan proses inferensi secara real-time dan efisien pada batasan jarak ideal 25-60 cm. Pengujian UAT yang melibatkan 2 tenaga pendidik dan 13 siswa tunarungu memperoleh akumulasi nilai akhir sebesar 93,87% dengan kategori Sangat Layak. Aplikasi "Hijaiyah Lens" terbukti efektif, tangguh, dan sangat layak digunakan sebagai media pembelajaran mandiri yang interaktif bagi siswa disabilitas rungu.
Deaf students at SLB Negeri Taruna Mandiri, Kuningan Regency, face major obstacles in learning Hijaiyah letters independently due to limited access and the absence of interactive learning media. This research aims to design an AI-based mobile application for Hijaiyah sign language recognition as an adaptive learning medium and interactive evaluation tool for deaf students. The system development method used is Rapid Application Development (RAD) with data collection techniques through observation, interviews, and literature study. The application is built on Android integrated with the MediaPipe framework as a real-time 21 hand landmark extractor and an Artificial Neural Network (ANN) model formatted in TensorFlow Lite to identify 31 Hijaiyah sign classes. The dataset originated from 15,500 original images which are then extracted into 11,758 numerical samples of hand coordinates, with an 80:10:10 ratio division for training, validation, and testing data. System testing was conducted through Blackbox, Whitebox, Confusion Matrix, Operational Limit Testing, and User Acceptance Testing (UAT). The Confusion Matrix results demonstrates an accuracy rate of 96.44% on the testing data without any indication of overfitting, supported by a macro and weighted average score of 0.96. All Blackbox scenarios are proven valid, Whitebox logic ran correctly, and the model is able to perform inference processes in real-time and efficiently at an ideal distance limit of 25-60 cm. The UAT, involving 2 teachers and 13 deaf students, obtained a final accumulated score of 93.87% under the Highly Feasible category. The "Hijaiyah Lens" application is proven to be effective, robust, and highly feasible to be used as an interactive independent learning medium for deaf students.
Actions (login required)

- View Item