Perpustakaan Digital ITB

Tesis ini menyajikan pendekatan baru untuk mempercepat algoritma Q-learning menggunakan arsitektur RISC-V dalam desain system-on-chip (SoC). Penelitian ini mengatasi tantangan proyek closed-source dalam percepatan machine learning dan keterbatasan platform vendor-locked dengan mengembangkan solusi open- source yang portabel. Studi ini berfokus pada penerapan dan optimalisasi algoritma Q-learning untuk aplikasi pemecahan maze, menggunakan desain custom RISC-V SoC pada Arty A7-100T FPGA. Kontribusi utama dari karya ini meliputi pengembangan SoC berbasis RISC-V yang menggabungkan core 64-bit Linux-ready (RV64IMFD) yang berjalan pada 50MHz, terintegrasi dengan AXI timer yang beroperasi pada 100MHz untuk pengukuran kinerja yang presisi; implementasi akselerator Farane-Q, sebuah modul hardware Q-learning dengan presisi 16-bit yang beroperasi pada 40MHz, yang mencapai percepatan signifikan dibandingkan dengan solusi berbasis software saja; penciptaan algoritma "maze- stitching" yang memungkinkan penyelesaian maze yang lebih besar dengan mendekomposisinya menjadi sub-maze yang lebih kecil dan dapat dikelola, serta menggabungkan solusinya secara efisien; pengembangan driver RISC-V C untuk manajemen timer, penanganan interrupt, dan eksekusi algoritma, yang meningkatkan fleksibilitas dan portabilitas sistem; dan analisis kinerja yang komprehensif, yang menunjukkan percepatan hingga 7x dibandingkan dengan implementasi berbasis software saja untuk konfigurasi maze yang kompleks. Metodologi penelitian melibatkan perancangan dan penerapan SoC menggunakan proyek vivado-risc-v sebagai dasar, memperluasnya dengan modul hardware dan driver software custom. Algoritma Q-learning dioptimalkan untuk arsitektur RISC-V, memanfaatkan arsitektur pipelined akselerator FARANE-Q dan strategi epsilon-decreasing. Hasil eksperimen menunjukkan bahwa pendekatan yang dipercepat oleh hardware secara signifikan mengungguli solusi berbasis software saja, terutama untuk konfigurasi maze yang kompleks. Algoritma maze-stitching terbukti efektif dalam menyelesaikan maze yang lebih besar sambil mempertahankan manfaat akselerasi hardware. Karya ini berkontribusi pada machine learning embedded dengan menunjukkan kelayakan arsitektur RISC-V untuk mempercepat algoritma reinforcement learning. Ini mengatasi kebutuhan akan solusi hardware acceleration yang open-source dan portabel serta menyediakan dasar untuk penelitian lebih lanjut dalam optimalisasi algoritma dan co-design hardware-software untuk aplikasi machine learning.