Perpustakaan Digital ITB

Kelelahan secara umum dapat dicirikan dengan perubahan ekspresi wajah, salah satunya kantuk. Berbagai teknologi juga sudah banyak dikembangkan untuk mendeteksi terjadinya kantuk. Namun, kelelahan mental yang diakibatkan oleh aktivitas berpikir terus-menerus dalam suatu pekerjaan dengan beban kerja mental tinggi tidak selalu disertai dengan kondisi kantuk. Oleh karena itu, teknologi deteksi kantuk yang saat ini berkembang belum tentu dapat digunakan untuk mendeteksi adanya kelelahan mental. Diperlukan teknologi deteksi kelelahan mental berbasis ekspresi wajah, karena berbagai studi telah menjelaskan bahwa kelelahan mental tergambar dari perubahan ekspresi wajah. Penelitian ini bertujuan untuk menghasilkan rancangan sistem deteksi kelelahan berbasis perubahan ekspresi wajah dengan mengevaluasi kelelahan pada aktivitas dengan beban mental tinggi, menggunakan metode machine learning. Penelitian difokuskan untuk mengenal tanda kelelahan mental untuk selanjutnya diterapkan dalam teknologi untuk mendeteksinya. Penelitian ini dibagi menjadi dua tahapan besar. Berdasarkan identifikasi parameter ekspresi wajah dalam studi literatur, pada tahap pertama dilakukan eksperimen untuk mengkaji apakah ekspresi wajah dapat merepresentasikan kelelahan pada pekerjaan dengan beban kerja mental tinggi. Untuk menstimulasi kelelahan digunakan simulasi aktivitas Air Traffic Control (ATC) yang disederhanakan, karena tugas ATC telah digunakan di banyak studi sebagai aktivitas yang menyebabkan beban mental tinggi dan dapat menstimulasi kelelahan. Hasil eksperimen digunakan untuk menentukan output tahap pertama, yaitu parameter ekspresi wajah yang mempunyai kinerja yang baik dalam mendeteksi terjadinya kelelahan. Eksperimen menggunakan tugas ATC selama tiga jam berhasil memperoleh serangkaian data kelelahan dan koordinat titik-titik wajah. Nilai kelelahan kemudian dianalisis untuk memastikan bahwa terjadi peningkatan kelelahan yang signifikan selama eksperimen. Dengan melihat perubahan nilai enam parameter gerakan dan fiksasi wajah terhadap skor kelelahan, tiga parameter di antaranya mempunyai potensi yang baik untuk memanifestasikan kondisi kelelahan karena mempunyai nilai sensitivitas, akurasi, kepresisian, dan spesifisitas yang baik (> 0.7). Ketiga parameter tersebut - yaitu jarak gerakan (Movement Distance), frekuensi gerakan (Movement Frequency), dan kecepatan gerakan (Movement Velocity) - mempunyai kinerja yang baik pada sembilan sub-segmen di kepala, alis, mata, dan mulut. Pada tahap kedua, ketiga parameter tersebut digunakan untuk mengembangkan sistem deteksi kelelahan dengan lima metode machine learning supervisi, yaitu metode Gaussian Naive Bayes (GNB), K-Nearest Neighbor (KNN), Support Vector Machine (SVM), Decision Tree (DT), dan Random Forest (RF). Pada sistem ini skor kelelahan dikelompokkan ke dalam dua kategori, yaitu tidak lelah dan lelah. Sistem dapat menghitung nilai kinerja pada parameter dan sub-segmen yang diinputkan, baik single maupun gabungan. Dengan menggunakan metode dengan kinerja terbaik, yaitu SVM, ketiga parameter ini mempunyai nilai sensitivitas, akurasi, kepresisian, dan spesifisitas dengan rata-rata nilai 0.83. Sebagai validasi eksternal, sistem diujikan pada aktivitas yang sama-sama mempunyai beban mental tinggi, namun sifatnya lebih membutuhkan atensi terfokus dan gerakan yang lebih teratur, yaitu tes matematika. Konsisten dengan sebelumnya, tiga parameter dan sembilan sub-segmen yang diujikan tetap menunjukkan kinerja yang baik (rata-rata 0.87). Selain detail hasil deteksi, sistem juga dapat menampilkan status kelelahan (waspada dan lelah) pada kondisi tertentu dari parameter. Secara keseluruhan output akhir dari penelitian ini adalah serangkaian metode dan prosedur untuk memantau kelelahan berdasarkan perubahan ekspresi wajah. Dari penelitian ini disimpulkan bahwa perubahan ekspresi wajah dapat digunakan untuk mendeteksi kelelahan pada pekerjaan dengan beban mental yang tinggi. Parameter terkait jarak, frekuensi, dan kecepatan gerakan mempunyai kinerja baik pada sistem kelelahan berbasis machine learning supervisi. Hasil ini sesuai dengan berbagai kajian tentang penggunaan gerakan mata untuk mendeteksi kelelahan mental. Sama seperti gerakan mata, nilai kecepatan, jarak, dan frekuensi gerakan sub-segmen wajah nilainya juga menurun pada kondisi lelah. Pemahaman mengenai ekspresi wajah saat mengalami kondisi kelelahan mental serta sistem deteksi kelelahan berbasis machine learning dapat digunakan sebagai basis pengembangan teknologi deteksi kelelahan mental berdasarkan ekspresi wajah. Selanjutnya, teknologi ini dapat digunakan untuk mendukung pelaksanaan sistem manajemen risiko kelelahan, terutama untuk mengatur waktu kerja atau untuk mencegah kelelahan yang berlebihan pada pekerja.