DETEKSI WAJAH DAN EKSPRESI PADA VIDEO PERCAKAPAN BAHASA ISYARAT INDONESIA (BISINDO) MENGGUNAKAN HAAR CASCADE DAN DEEP LEARNING

Yanti, Nova Dwi (2019) DETEKSI WAJAH DAN EKSPRESI PADA VIDEO PERCAKAPAN BAHASA ISYARAT INDONESIA (BISINDO) MENGGUNAKAN HAAR CASCADE DAN DEEP LEARNING. Other thesis, UNIVERSITAS NURUL JADID.

Text Skripsi_15014078_Nova Dwi Yanti_IF.pdf Restricted to Registered users only Download (8MB)

Abstract

Bahasa Isyarat Indonesia (BISINDO) merupakan sistem komunikasi visual yang memanfaatkan gerak tubuh, gestur anggota badan, dan ekspresi wajah untuk menyampaikan pesan bagi penyandang tunarungu maupun tunawicara. Kendala utama di masyarakat adalah minimnya pemahaman terhadap makna ekspresi wajah dalam BISINDO, sehingga memicu hambatan komunikasi yang signifikan. Penelitian ini bertujuan untuk membangun sistem komputasi cerdas yang mampu mendeteksi wajah dan mengklasifikasikan ekspresi wajah pada video percakapan BISINDO dengan mengombinasikan metode Haar Cascade dan Deep Learning berbasis Convolutional Neural Network (CNN). Metode Haar Cascade diimplementasikan untuk melokalisasi posisi wajah pada frame video, sedangkan Deep Learning digunakan untuk mengenali karakteristik ekspresi. Objek ekspresi wajah yang diteliti dibagi menjadi tiga kelas, yaitu ekspresi berpikir, bertanya, dan senang. Dari proses ekstraksi, dikumpulkan 147 citra wajah sebagai data mentah yang didistribusikan ke dalam folder latihan (training) dan folder uji (testing) berdasarkan tiga kategori ekspresi tersebut. Skenario pelatihan menggunakan 105 citra sebagai data latih, sedangkan pengujian dilakukan pada dua variasi kualitas resolusi video. Hasil pengujian pada skenario pertama menggunakan 24 data uji dari video berkualitas 720p menghasilkan 21 identifikasi benar dan 3 salah dengan tingkat akurasi sebesar 87,5%. Sementara itu, pengujian pada skenario kedua menggunakan 18 data uji dari video resolusi rendah (480p, 360p, dan 240p) menghasilkan 14 identifikasi benar dan 4 salah dengan akurasi sebesar 77,7%. Evaluasi sistem menunjukkan bahwa Haar Cascade rentan mendeteksi objek non-wajah (false positive) seperti tangan dan latar belakang kayu, namun model Deep Learning terbukti andal dalam mengklasifikasikan jenis ekspresi wajah jika didukung oleh resolusi video yang optimal.

Kata Kunci: BISINDO, Ekspresi Wajah, Tunarungu, Haar Cascade, Deep Learning, CNN, Akurasi Resolusi.

Item Type:	Thesis (Other)
Subjects:	H Social Sciences > HV Social pathology. Social and public welfare P Language and Literature > P Philology. Linguistics Q Science > QA Mathematics > QA76 Computer software T Technology > TA Engineering (General). Civil engineering (General)
Divisions:	Fakultas Teknik > S1 Teknik Informatika
Depositing User:	Saiful Ghazi
Date Deposited:	05 Jul 2026 08:22
Last Modified:	05 Jul 2026 08:22
URI:	https://repository.unuja.ac.id/id/eprint/4012

Actions (login required)

View Item