ABSTRAK RANCANG BANGUN STATE MACHINE UNTUK KOMBINASI METODA PENJEJAKAN OBYEK: STUDI KASUS MANUSIA Oleh Fabiola Maria Teresa Retno Kinasih NIM: 23217008 (Program Studi Magister Teknik Elektro) Sejak diajukannya metode Viola Jones untuk deteksi wajah secara waktu nyata di 2001, telah banyak publikasi ilmiah dan jurnal membahas mengenai deteksi obyek, pengenalan manusia, serta penjejakan obyek. Dalam tesis ini, sebuah sistem yang bertujuan untuk melakukan penjejakan obyek secara spesifik untuk studi kasus manusia, performa penjejakan dapat ditingkatkan apabila metode-metode yang telah ada dikombinasikan dengan menggunakan State Machine untuk memanfaatkan kecepatan algoritma penjejakan serta mempertahankan kemampuan untuk membedakan obyek target dengan obyek lainnya dan latarnya. Beberapa metoda yang dipertimbangkan untuk dikombinasikan adalah metoda rekognisi wajah berbasis Dlib yang merupakan sebuah perangkat pembelajaran mesin, metoda deteksi wajah dengan convolutional neural network dengan arsitektur Mobilenet-SSD, serta penjejakan obyek dengan kernelized correlation filter dan penjejakan berbasis penapisan warna sederhana. Metode Finite State Machine yang diimplementasikan pada makalah ilmiah ini berhasil mencapai target keberhasilan dengan nilai yang memuaskan untuk implementasi dalam ruangan. Performa sistem berada pada kecepatan 8-30 frame per seconds bergantung pada metoda yang sedang berjalan, dengan kemampuan mengenali wajah. Akurasi titik koordinat berkisar antara 93-100% untuk horizontal dan 97-100% untuk vertikal. Tidak terdapat false positive pada pengujian, sedangkan false negative dapat terjadi pada pencahayaan yang kurang terang. Pada pengujian dalam ruang, diperoleh false negative rate sebesar 5-10%. Kata kunci: deteksi manusia, rekognisi manusia, kecepatan (dalam frame per seconds), state machine, penjejak. ABSTRACT STATE MACHINE DESIGN AND IMPLEMENTATION FOR COMBINING OBJECT TRACKING METHOD: HUMAN CASE STUDY By Fabiola Maria Teresa Retno Kinasih NIM: 23217008 (Master’s Program in Electrical Engineering) Since the Viola and Jones' method on real-time face detection was proposed in 2001, numerous works for object detection, person recognition, and object tracking have been published by papers and journals. Each method has its own strong points and drawbacks. For this thesis will focus to build a system with a goal to track the specific object of interest, in this case, person, it is beneficial to combine those methods using state machine in order to harness the tracker promptness while maintaining the ability to distinguish the object of interest with the other object and backgrounds. Several methods that are considered to be combined are: Face Recognition which is a derivation works from Dlib machine learning toolkit, Face Detection which employed convolutional neural network with Mobilenet-SSD architecture, kernelized correlation filter based object tracker, and a primitive object tracker based on color filter. The FSM implemented in this paper is able to meet the goal with a considerable performance for indoor settings. System performance is between 8-30 frame per seconds, depends on which method that is currently being run, while being able to recognize the object. Coordinate point accuration is about 93-100% for horizontal coordinate and 97-100% for vertical coordinat. No false positive yielded when testing, while false negative could happen for under exposure frame captured. The false negative rate for indoor settings is recorded at 5-10%. Keywords: person detection, person recognition, speed (in frame per seconds), state machine, tracker..