Perpustakaan Digital ITB

Tesis ini merancang dan mengevaluasi sebuah kerangka kerja distilasi mutakhir yang dinamakan Multi-Teacher Knowledge Distillation (MTKD). Metode ini dikembangkan guna meningkatkan kinerja Large Language Model (LLM) berukuran kecil, yakni Llama-3.2-1B, dengan memanfaatkan fusi pengetahuan (knowledge fusion) dari sejumlah teacher model sumber terbuka berkinerja tinggi (Llama-3.2-3B, Falcon3-3B, dan Phi-2). Kendala fundamental dalam fusi pengetahuan lintas arsitektur adalah ketidaksesuaian ruang token (crosstokenizer vocabulary mismatch). Untuk mengatasi tantangan tersebut, penelitian ini mengimplementasikan mekanisme penyelarasan proyektor kosakata melalui algoritma Contextual Dynamic Mapping (CDM) dan Minimum Edit Distance (MinED), serta memformulasikan Weighted KL Divergence yang berfungsi secara dinamis memitigasi noise akibat translasi token. Evaluasi model dilakukan secara ekstensif pada enam dataset tolok ukur penalaran (ARC-Challenge, ARC-Easy, BBH, GSM8K, MBPP, dan MMLU). Hasil eksperimen membuktikan bahwa agregasi log-probabilitas dari kombinasi multi-teacher berhasil meraih training loss terendah dibandingkan metode distilasi teacher tunggal (single-teacher knowledge distillation). Penemuan penting lainnya menyoroti peran krusial teacher dengan tokenizer yang identik (Llama-3.2-3B) sebagai stabilisator kosakata untuk menjaga integritas linguistik student, sementara teacher lintas arsitektur menyuntikkan keberagaman representasi penalaran. Terlepas dari sensitivitas fusi terhadap tugas generatif dengan noise tinggi, pendekatan MTKD ini terbukti efektif dalam menyerap serta mentransfer keunggulan komplementer antar teacher ke dalam satu model akhir yang beroperasi sangat efisien pada tahap inferensi.