Perpustakaan Digital ITB

Tesis membahas upaya pengembangan lanjut akselerator Q-Learning yang terintegrasi dengan inti Veer EL2. Pengembangan dilakukan melakukan modifikasi pada perangkat lunak dan keras. Modifikasi perangkat lunak dilakukan dengan mengembangkan metode pemilihan kebijakan yang awalnya menggunakan ?- greedy policy menjadi Epsilon Decay yang dapat memprioritaskan antara eksplorasi dan eksploitasi pada waktu yang sesuai. Diterapkan pula RBED+, yang menyesuaikan ? setiap kali agen mendapatkan imbalan kumulatif yang cukup dan saat agen mencapai tujuan. Modifikasi perangkat keras dilakukan dengan melakukan paralelisasi spasial pada akselerator untuk mempercepat proses QLearning. Pengetesan dilakukan pada dua tahap: pengetesan kebijakan, dan pengetesan perangkat keras dan lunak. Pengetesan kebijakan membandingkan QLearning yang menggunakan ?-greedy policy dengan Epsilon Decay (eksponensial, linear, RBED+). Pengetesan umum membandingkan performa Q-Learning terhadap akselerator dan kebijakan yang berbeda pada berbagai skala. Hasil menunjukkan bahwa Exponential Epsilon Decay dan RBED+ dapat mencapai konvergensi imbalan kumulatif dalam waktu tercepat. Terlihat pula bahwa jumlah total aksi yang agen perlu lakukan lebih kecil ketika kedua strategi tersebut diimplementasikan. RBED+ yang bergantung pada performa, dapat meningkatkan peluruhan dari 0.9898 menjadi 0.97364 tanpa adanya degradasi kualitas yang terlihat. Akan tetapi, waktu rata-rata Q-Learning RBED+ masih berada di bawah ?- greedy (0.2). Salah satu kemungkinan adalah karena implementasi RBED+ yang lebih kompleks sehingga memperlambat program. Hasil tes perangkat keras dan lunak menunjukkan bahwa Q-Learning dengan RBED+ menunjukkan performa terbaik, kecuali saat skala terbesar yang menggunakan akselerator. RBED+ juga memiliki hasil stabil tanpa divergensi, dibandingkan strategi lain yang menghasilkan 5-22.5% divergen. Desain akselerator baru tidak dapat menghasilkan peningkatan di atas 1%, karena percepatan dari paralelisasi jauh lebih kecil dari durasi Q-Learning secara keseluruhan. Akan tetapi, ditemukan adanya perbedaan performa akselerator terhadap strategi berdasarkan fokus pada eksploitasinya.