Perpustakaan Digital ITB

Jatuh merupakan salah satu penyebab utama cedera serius pada lansia dan dapat menimbulkan dampak yang lebih berat apabila pertolongan tidak diberikan secara cepat. Pemantauan Closed-Circuit Television (CCTV) secara manual selama 24 jam tidak efisien, bergantung pada kewaspadaan operator, dan berisiko menimbulkan keterlambatan respons. Oleh karena itu, diperlukan sistem deteksi jatuh otomatis yang mampu bekerja secara real-time pada aliran video CCTV. Tugas akhir ini bertujuan merancang, mengimplementasikan, dan mengevaluasi sistem deteksi jatuh real-time pada CCTV berbasis skeleton dengan arsitektur Spatial-Temporal Graph Convolutional Network++ (ST-GCN++). Sistem yang dikembangkan menerima masukan video CCTV berbasis Real-Time Streaming Protocol (RTSP), kemudian melakukan estimasi pose manusia untuk memperoleh representasi skeleton. Estimasi pose dilakukan menggunakan YOLO (You Only Look Once) Pose dengan format tujuh belas titik kunci tubuh manusia berdasarkan Common Objects in Context 17 (COCO-17), sedangkan pelacakan individu antar-frame dilakukan menggunakan ByteTrack. Data skeleton kemudian diklasifikasikan menggunakan ST-GCN++ empat aliran, yaitu joint, bone, jointmotion, dan bone-motion. Representasi joint memuat posisi titik kunci tubuh, bone memuat hubungan antar titik kunci yang membentuk segmen tubuh, sedangkan joint-motion dan bone-motion memuat perubahan posisi dan perubahan segmen tubuh antarwaktu. Dengan pendekatan ini, tubuh manusia direpresentasikan sebagai graf spasial-temporal sehingga hubungan antarsendi dan perubahan gerak dapat dipertahankan dalam proses klasifikasi jatuh. Pendekatan berbasis skeleton juga mengurangi ketergantungan model terhadap informasi visual latar belakang karena klasifikasi dilakukan berdasarkan pola gerak tubuh. Evaluasi model dilakukan pada dataset publik dan dataset mandiri. Pada dataset publik, pengujian dilakukan menggunakan 5-fold cross-validation (CV) pada level video untuk menilai kemampuan model mengenali pola jatuh pada variasi kamera, subjek, dan lingkungan yang berbeda. Benchmark utama menggunakan lima dataset publik dengan total 1.529 video yang terdiri atas 472 video jatuh dan 1.057 video aktivitas harian atau Activities of Daily Living (ADL). Pada lima dataset utama tersebut, model memperoleh rata-rata sensitivitas sebesar 86,9%, spesifisitas ii sebesar 92,0%, dan F1-score sebesar 86,3%. Hasil ini menunjukkan bahwa arsitektur ST-GCN++ mampu mengenali pola jatuh pada berbagai dataset publik, meskipun performa dapat menurun ketika terdapat perbedaan domain data yang cukup besar. Pada dataset mandiri, evaluasi dilakukan menggunakan 147 video. Sistem memperoleh sensitivitas sebesar 88,9%, spesifisitas sebesar 84,7%, dan F1-score sebesar 75,3%. Sensitivitas menunjukkan kemampuan sistem mendeteksi kejadian jatuh, spesifisitas menunjukkan kemampuan sistem mengenali aktivitas bukan jatuh, sedangkan F1-score menunjukkan keseimbangan antara ketepatan prediksi jatuh dan kemampuan mendeteksi kejadian jatuh. Ketiga metrik tersebut digunakan karena deteksi jatuh tidak hanya membutuhkan kemampuan mendeteksi kejadian jatuh, tetapi juga kemampuan menekan kesalahan deteksi pada aktivitas harian yang memiliki kemiripan gerak. Kontribusi utama tugas akhir ini adalah pengembangan dan evaluasi sistem deteksi jatuh real-time pada CCTV berbasis skeleton ST-GCN++ yang mencakup alur kerja dari akuisisi video, estimasi pose, pelacakan individu, klasifikasi jatuh, hingga keluaran kejadian. Tugas akhir ini juga menunjukkan bahwa representasi graf spasial-temporal dapat digunakan untuk membangun sistem deteksi jatuh yang lebih terukur dibandingkan pendekatan berbasis aturan sederhana. Hasil penelitian ini diharapkan dapat menjadi dasar pengembangan sistem pemantauan keselamatan berbasis visi komputer yang lebih andal, terukur, dan ramah privasi, khususnya untuk lingkungan dalam ruangan yang membutuhkan respons cepat terhadap kejadian jatuh.