Klasifikasi Ekspresi Wajah Menggunakan CNN Dalam Keadaan Wild Setting Pada Virtual Meeting

Abstract

Ekspresi wajah merepresentasikan perasaan dalam diri manusia serta dapat  menjadi sebuah mediator dalam dunia sosial. Dalam rapat virtual, pemahaman terhadap suasana hati dan emosi peserta sangat dibutuhkan untuk menciptakan interaksi dan kerjasama yang baik. Emosi alami akan muncul ketika peserta berbicara secara spontan dengan keadaaan lingkungan alami tanpa dikondisikan sebelumnya. Oleh karena itu, dibutuhkan sebuah sistem yang mampu mengetahui emosi manusia secara otomatis dalam keadaan spontan (wild setting) pada virtual meeting sehingga ekspresi lebih alami. Teknik machine learning digunakan untuk melakukan klasifikasi ekspresi wajah pada virtual meeting.

Penelitian ini membandingkan performa arsitektur LightCNN dan EfficientNet. Pelatihan dilakukan pada dataset gabungan antara FER-2013, Extended and Augmented Google FER dan  CK+. Dataset berjumlah 67.362 citra terbagi menjadi data training 60.184 buah, data validation 3.589 buah, dan data testing 3.589 buah.  Input model arsitektur EfficientNet divariasikan menjadi 48x48 dan 224x224 pixels. Optimasi learning rate dilakukan untuk menemukan performa tertinggi dari arsitektur terbaik.

Hasil penelitian menunjukan bahwa arsitektur terbaik adalah EfficientNet dengan input 48x48 pixel. Nilai parameter learning rate paling optimal yaitu 0,0005. performa model dalam klasifikasi ekspresi wajah mencapai akurasi 90,50%, presisi 89,50%, recall 90,69% dan F1-score 90,06%. Implementasi EfficientNet pada video virtual meeting untuk mengklasifikasikan ekspresi wajah mendapatkan performa akurasi sebesar 96,18%.