Perpustakaan Digital ITB

Pada penelitian ini, kita akan mengimplementasikan reinforcement learning pada sebuah agen yang bertugas memainkan game bullet hell yang mampu menyerang musuh serta menghindari rintangan serangan proyektil kecil. Kita ingin mencari tahu bagaimana cara kita membuat bot AI yang dapat memainkan sebuah simulasi game bullet hell dan apa saja optimisasi atau modifikasi lain yang dapat meningkatkan performa bot. Kita akan menggunakan sebuah simulasi yang dibuat daripada menggunakan suatu game yang asli karena pada simulasi, kita bisa menyederhanakan gameplay agar kita dapat melakukan analisis yang lebih dekat. Pada simulasi, kita melakukan beberapa penyederhanaan sehingga game bersifat diskrit pada aksi dan waktunya, namun kontinu pada observasinya. Dari situ, telah diputuskan metode perhitungan model yang akan digunakan adalah metode PPO (Proximal Policy Optimization) karena metode ini cocok dengan lingkungan dengan aksi yang diskrit namun observasi yang kontinu. Ditambahkan juga sebuah wrapper yang meloncati beberapa frame simulasi kedepannya untuk mengambil observasi dan melakukan inferensi aksi yang akan diambil untuk mengurangi perhitungan yang dibutuhkan (frame-skipping). Selanjutnya, kita membandingkan sebuah model awal dan modifikasi-modifikasi dari model tersebut yang memenfaatkan prinsip DeepSets, TCPA & CPA untuk menentukan proyektil-proyektil yang penting, serta informasi observasi proyektil tambahan untuk menentukan apa saja faktor yang memengaruhi performa agen. Hasil penelitian menunjukkan bahwa peloncatan frame, modifikasi model yang mengaplikasikan prinsip DeepSets, CPA dan TCPA, serta penambahan informasi-informasi proyektil penting lebih memberikan performa yang lebih baik daripada model sederhana yang hanya memberikan informasi tentang proyektil terdekat.