Perpustakaan Digital ITB

Penelitian ini bertujuan mempercepat proses komputasi mekanisme self-attention pada model Transformer menggunakan akselerator berbasis FPGA, dengan memanfaatkan perangkat Zybo 7020. Latar belakang penelitian ini adalah tingginya kompleksitas perhitungan matriks dalam mekanisme self-attention yang memerlukan waktu komputasi panjang apabila dilakukan secara konvensional menggunakan perangkat lunak. Metode yang diusulkan dalam penelitian ini melibatkan pembagian matriks besar Q, K,danV ke dalam submatriks kecil, serta implementasi arsitektur systolic array berbasis partisi paralel pada FPGA menggunakan bahasa pemrograman Verilog. Sistem ini menggunakan representasi bilangan ?xed point dengan format Q8.8untuk input dan Q16.16 untuk output, guna mengoptimalkan penggunaan sumber daya perangkat keras. Hasil eksperimen menunjukkan pada ukuran matriks 4 ? 16, akselerator FPGA mencapai speedup hingga 21.6? dibanding simulasi perangkat lunak dalam perhitungan inti, sedangkan pada matriks yang lebih besar 4 ? 768, speedup berkurang menjadi sekitar 1.07?.Konsumsi daya keseluruhan sistem FPGA relatif rendah, hanya sebesar 1, 813 Watt dengan daya yang digunakan khusus untuk logika programmable logic sekitar 0, 141 Watt, menunjukkan e?siensi energi yang baik. Meskipun demikian, penggunaan representasi ?xed point menyebabkan munculnya kesalahan kuantisasi dengan nilai Mean Relative Error cukup tinggi pada matriks 4?768, sehingga diperlukan upaya lanjutan untuk meningkatkan presisi. Penelitian ini menunjukkan bahwa akselerator berbasis FPGA dapat menjadi solusi praktis dalam mempercepat mekanisme self-attention pada Transformer, walaupun masih dibutuhkan penyempurnaan untuk meningkatkan akurasi perhitungan pada matriks berdimensi besar.