Perpustakaan Digital ITB

Multi-head attention (MHA) memiliki operasi matriks yang teratur dan cocok untuk programmable logic (PL), tetapi integrasinya dengan pemrosesan autoregresif dan bergantung posisi tetap menjadi tantangan hardware–software. Penelitian ini membangun akselerator MHA heterogen PL–PS yang lightweight dan scalable pada AMD Kria KV260. Inti arsitekturnya adalah tiga systolic array Q/K/V dan Attention Engine. Dua DMA input melayani memori aktivasi dual-port, sedangkan satu DMA output mengembalikan hasil proyeksi yang telah disinkronkan. PL menjalankan proyeksi reguler, sementara PS mempertahankan RoPE, pengelolaan causal cache, softmax dan logits, pembentukan konteks, output projection, dan operasi model lainnya. Arsitektur dengan bobot yang runtime-programmable menggunakan port tulis memori yang sudah tersedia dan memakai PL yang sama untuk seluruh head dan layer. Stories42M digunakan hanya sebagai test case. Matriks checkpoint diubah dari W[output, input] menjadi susunan tile B[input,head output], lalu dikirim sebagai 4.096 kata 128-bit Q2.14 per proyeksi. Aktivasi dan output proyeksi menggunakan Q8.8. Hasil pengukuran membuktikan partisipasi PL pada seluruh layer/head di platform edge yang ringkas. Inference PS-only menghasilkan 0,02 token/s, sedangkan integrasi PS–PL mencapai 0,8856 token/s atau sekitar 0,89 token/s. Dengan demikian, percepatan laju token mencapai sekitar 45?. Arsitektur bersifat lightweight dari sisi resource dan scalable dalam cakupan model karena tambahan head dan layer memakai ulang mesin yang sama. Namun, transfer bobot runtime sebesar 805,5 MB dan loading weight berulang masih membatasi efisiensi.