Perpustakaan Digital ITB

Q-Learning adalah salah satu metode Reinforcement Learning yang umum digunakan. Untuk mempercepat kinerja Q-Learning tersebut dibuatlah perangkat keras akselerasi Q-Learning berbasis System on Chip. Sistem tersebut diimplementasi pada FPGA development board PYNQ-Z1. Untuk melakukan proses pengujian dan implementasi pada kasus nyata, dibuatlah Mobile Robot yang dapat diintegrasikan dengan FPGA development board tersebut. Mobile Robot tersebut akan berjalan pada Grid World yang kompatibel dengan proses kerja QLearning Accelerator yang akan diuji. Pada system pengujian tersebut, penting untuk robot mendapatkan input yang sesuai dengan kebutuhan Hardware Accelerator. Robot juga harus mendapatkan output yang dikeluarkan dari Hardware Accelerator. Untuk mengirim kondisi lingkungan dan mendapat aksi dari Hardware Accelerator, Robot harus memiliki antarmuka komunikasi yang kompatibel dengan FPGA Development Board dan komponen robot itu sendiri. Pada FPGA Development Board terdapat beberapa protokol komunikasi yang perlu dipenuhi. Protokol tersebut diantaranya protokol jaringan berupa TCP/IP dan USB serial. TCP/IP berguna untuk mengatur kinerja FPGA oleh penguji. TCP/IP ini akan mendukung aplikasi berupa Jupyter Notebook dan SSH. USB serial berguna untuk komunikasi antrara robot dan FPGA. USB serial perlu mengirim data dengan stabil karena aksi yang diambil robot akan dikendalikan melalui USB serial. Untuk memenuhi kebutuhan yang sudah disebutkan diatas, didesain sebuah docking system yang akan dimuat pada robot. Pada docking system tersebut akan mendukung konektivitas teresbut dan ditambah dengan power delivery dan juga mechanical mounting. Untuk memenuhi kebutuhan komunikasi, terdapat 2 buah komponen. Komponen pertama adalah WiFi dongle Ralink RT5370. WiFi dongle ini dipilih karena menggunakan USB port untuk penghubungnya dan juga didukung oleh Linux Kernel tanpa perlu menginstall driver tambahan. Selanjutnya adalah USB Hub untuk menambah jumlah koneksi USB yang dapat dilakukan. Ini karena robot memerlukan 2 koneksi USB dan FPGA development board hanya memiliki satu port. Untuk memenuhi kebutuhan power delivery, docking system akan memuat sebuah USB Powerbank yang memberi daya 5V kepada FPGA. Untuk mounting sendiri, chasis robot akan didesain secara khusus agar dapat memuat docking system di bagian atas robot.