Perpustakaan Digital ITB

Keselamatan kerja dalam lingkungan tambang merupakan hal yang sangat diperhatikan. Pekerja di lingkungan tambang batu bara, khususnya pengemudi alat berat, melakukan tugasnya secara shift dalam waktu yang relatif lama pada setiap harinya. Hal ini menjadi risiko keselamatan pada pengoperasian alat berat, khususnya ketika pengemudi tidak dapat fokus terhadap tugasnya yang disebut dengan deviasi. Kondisi deviasi seperti mengantuk dan menggunakan smartphone saat mengemudi berarti melanggar aturan pertambangan dan meningkatkan risiko terjadinya kecelakaan kerja. Melalui latar belakang tersebut, terbentuk penelitian capstone berupa pembuatan sistem early warning dan monitoring berbasis internet of things (IoT) untuk memantau pengemudi. Sistem ini bekerja untuk mengurangi risiko kecelakaan dengan memberi peringatan kepada pengemudi saat terdeteksi tanda-tanda deviasi melalui masukan citra. Dengan integrasi terhadap server dan dashboard, sistem dapat memberikan pemantauan pengemudi melalui aplikasi web. Pada penelitian ini, model deteksi deviasi dan komunikasi terhadap server digunakan di komputer mini bernama Jetson Nano. Dari eksperimen yang dilakukan mengenai pembangunan solusi, model terbaik untuk mendeteksi deviasi melalui citra adalah model deteksi objek YOLOv8n. Di sisi lain, pengembangan deteksi deviasi pada wajah pengemudi untuk kasus microsleep dan menguap dibantu oleh pustaka Mediapipe. Hasilnya, rata-rata akurasi deteksi deviasi yang diperoleh pada solusi ini adalah 72%. Untuk konektivitas terhadap server, protokol MQTT digunakan untuk menangani kondisi jaringan terbatas. Secara keseluruhan, sistem computer vision dan IoT pada Jetson Nano sudah berjalan dengan baik dengan terdapatnya ruang pengembangan untuk meningkatkan akurasi deteksi deviasi.