Perpustakaan Digital ITB

Inferensi Large Language Model (LLM) pada GPU menghadapi dua masalah utama dalam skenario colocation beberapa model secara bersamaan, yaitu alokasi memori KV cache yang statis dan interferensi sumber daya komputasi antar-tenant. Alokasi memori statis pada inference engine seperti vLLM mencegah penggunaan memori GPU dari model yang idle oleh model yang sibuk, sehingga membatasi jumlah model yang dapat dijalankan bersamaan. Mekanisme compute sharing berbasis MPS belum memberikan isolasi yang cukup dan dapat menyebabkan interferensi komputasi sehingga terjadi SLO (Service Level Objective) violation dari tenant latency-critical. Penelitian ini mengusulkan sistem colocation LLM yang mengintegrasikan tiga komponen secara transparent di atas vLLM, yaitu kvcached sebagai mekanisme memory sharing, nvtaskset/libsmctrl sebagai mekanisme compute sharing, dan Dynamic Arbiter berbasis Discrete Feedback Control yang mengatur alokasi TPC (Texture Processing Cluster) secara adaptif berdasarkan SLO pressure masingmasing tenant. Sistem dievaluasi pada GPU A100 dan model Llama-3.1-8B FP16. Evaluasi pada skenario colocation dua tenant prefill-heavy menunjukkan bahwa kombinasi kvcached dan nvtaskset merupakan satu-satunya konfigurasi yang hampir memenuhi SLO kedua tenant secara bersamaan pada kasus bottleneck gabungan memori dan komputasi, dengan SLO attainment 95,24% untuk tenant best-effort dan 100,00% untuk tenant latency-critical. Alokasi TPC dinamis dengan dynamic arbiter menghasilkan SLO attainment tenant latency-critical yang lebih baik dibandingkan dengan alokasi statis pada skenario kenaikan beban kerja (burst) terjadi pada kedua tenant secara bergantian, yaitu 53% untuk alokasi dinamis dan 4% untuk alokasi statis pada fase burst dari tenant latency-critical.