Klasifikasi Ekspresi Wajah Menggunakan CNN Dalam Keadaan Wild Setting Pada Virtual Meeting

https://doi.org/10.22146/ijeis.92088

Isnan Firmansyah(1*), Diyah Utami Kusumaning Putri(2), Bakhtiar Alldino Ardi Sumbodo(3)

(1) Universitas Gadjah Mada
(2) Universitas Gadjah Mada
(3) Universitas Gadjah Mada
(*) Corresponding Author

Abstract


Ekspresi wajah merepresentasikan perasaan dalam diri manusia serta dapat  menjadi sebuah mediator dalam dunia sosial. Dalam rapat virtual, pemahaman terhadap suasana hati dan emosi peserta sangat dibutuhkan untuk menciptakan interaksi dan kerjasama yang baik. Emosi alami akan muncul ketika peserta berbicara secara spontan dengan keadaaan lingkungan alami tanpa dikondisikan sebelumnya. Oleh karena itu, dibutuhkan sebuah sistem yang mampu mengetahui emosi manusia secara otomatis dalam keadaan spontan (wild setting) pada virtual meeting sehingga ekspresi lebih alami. Teknik machine learning digunakan untuk melakukan klasifikasi ekspresi wajah pada virtual meeting.

Penelitian ini membandingkan performa arsitektur LightCNN dan EfficientNet. Pelatihan dilakukan pada dataset gabungan antara FER-2013, Extended and Augmented Google FER dan  CK+. Dataset berjumlah 67.362 citra terbagi menjadi data training 60.184 buah, data validation 3.589 buah, dan data testing 3.589 buah.  Input model arsitektur EfficientNet divariasikan menjadi 48x48 dan 224x224 pixels. Optimasi learning rate dilakukan untuk menemukan performa tertinggi dari arsitektur terbaik.

Hasil penelitian menunjukan bahwa arsitektur terbaik adalah EfficientNet dengan input 48x48 pixel. Nilai parameter learning rate paling optimal yaitu 0,0005. performa model dalam klasifikasi ekspresi wajah mencapai akurasi 90,50%, presisi 89,50%, recall 90,69% dan F1-score 90,06%. Implementasi EfficientNet pada video virtual meeting untuk mengklasifikasikan ekspresi wajah mendapatkan performa akurasi sebesar 96,18%.

 


Keywords


Facial Emotion Detection; Facial Emotion Recognition; Facial Expression Recognition (FER) ; Virtual Meeting; LightCNN; EfficientNet

Full Text:

PDF


References

A. Mehrabian, “Communication Without Words,” Psychol. Today, vol. 2, hal. 52–55, 1968.

P. Ekman dan W. V. Friesen, “Constants across cultures in the face and emotion.,” J. Pers. Soc. Psychol., vol. 17, no. 2, hal. 124–129, 1971, doi: 10.1037/h0030377.

D. Keltner, A. M. Kring, dan G. A. Bonanno, “Fleeting signs of the course of life: Facial expression and personal adjustment,” Curr. Dir. Psychol. Sci., vol. 8, no. 1, hal. 18–22, 1999, doi: 10.1111/1467-8721.00005.

N. Joshi, N. Beecken, H. Bah, F. Steinicke, dan J. Degner, “Advanced Emotion Analytics of Virtual Group Meetings involving Intelligent Virtual Agents,” Proc. - 2022 IEEE Conf. Virtual Real. 3D User Interfaces Abstr. Work. VRW 2022, hal. 344–350, 2022, doi: 10.1109/VRW55335.2022.00077.

J. Shao dan Y. Qian, “Three convolutional neural network models for facial expression recognition in the wild,” Neurocomputing, vol. 355, hal. 82–92, 2019, doi: 10.1016/j.neucom.2019.05.005.

M. Tan dan Q. V Le, “EfficientNet : Rethinking Model Scaling for Convolutional Neural Networks,” 2019.

Z. Song, “Facial Expression Emotion Recognition Model Integrating Philosophy and Machine Learning Theory,” Front. Psychol., vol. 12, no. September, 2021, doi: 10.3389/fpsyg.2021.759485.

A. Mollahosseini, D. Chan, dan M. H. Mahoor, “Going deeper in facial expression recognition using deep neural networks,” 2016 IEEE Winter Conf. Appl. Comput. Vision, WACV 2016, hal. 1–10, 2016, doi: 10.1109/WACV.2016.7477450.

M. Sajjad dkk., “A comprehensive survey on deep facial expression recognition: challenges, applications, and future guidelines,” Alexandria Eng. J., vol. 68, hal. 817–840, 2023, doi: 10.1016/j.aej.2023.01.017.

K. Zhang, Z. Zhang, Z. Li, dan Y. Qiao, “Joint Face Detection and Alignment Using Multitask Cascaded Convolutional Networks,” IEEE Signal Process. Lett., vol. 23, no. 10, hal. 1499–1503, 2016, doi: 10.1109/LSP.2016.2603342.

W. Watch, “Teen Wolf 9-Years Later | MTV Reunion.” 2020, [Daring]. Tersedia pada: https://www.youtube.com/watch?v=q1V1Zu7XYaI.

P. Utami, R. Hartanto, dan I. Soesanti, “The EfficientNet Performance for Facial Expressions Recognition,” 2022 5th Int. Semin. Res. Inf. Technol. Intell. Syst., no. 1, hal. 756–762, 2023, doi: 10.1109/isriti56927.2022.10053007.



DOI: https://doi.org/10.22146/ijeis.92088

Article Metrics

Abstract views : 223 | views : 564

Refbacks

  • There are currently no refbacks.




Copyright (c) 2024 IJEIS (Indonesian Journal of Electronics and Instrumentation Systems)

Creative Commons License
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.



Copyright of :
IJEIS (Indonesian Journal of Electronics and Instrumentations Systems)
ISSN 2088-3714 (print); ISSN 2460-7681 (online)
is a scientific journal the results of Electronics
and Instrumentations Systems
A publication of IndoCEISS.
Gedung S1 Ruang 416 FMIPA UGM, Sekip Utara, Yogyakarta 55281
Fax: +62274 555133
email:ijeis.mipa@ugm.ac.id | http://jurnal.ugm.ac.id/ijeis



View My Stats1
View My Stats2