Perpustakaan Digital ITB

Komunitas investasi berbasis Telegram di Indonesia mengalami information overload yang parah. Pengukuran empiris pada grup MY Advanced Group (5.400 anggota) menunjukkan rata-rata 195 pesan per hari pada jam perdagangan dengan puncak 145 pesan per jam saat pembukaan pasar, berupa pesan pendek terfragmentasi (rata-rata 7 kata, 35,7% balasan). Meskipun Large Language Model (LLM) dapat menghasilkan rangkuman otomatis, evaluasinya melalui pendekatan LLM-as-Judge konvensional diketahui memiliki bias sistematis (self-enhancement, verbositas, kalibrasi) yang belum terkuantifikasi pada domain finansial berbahasa Indonesia. Penelitian ini merancang, membangun, dan mengevaluasi sebuah sistem rangkuman otomatis untuk grup Advanced yang mengintegrasikan enam LLM frontier dengan dua pendekatan prompt (NLP pipeline dan Simple), menghasilkan 12 versi ringkasan per sesi. Kontribusi metodologis utama adalah kerangka evaluasi multi-metrik yang menggabungkan LLM-as-Judge multi-hakim, Krippendorff’s ? untuk reliabilitas antar-hakim, skor faktualitas gaya-SummaC berbasis XLM-RoBERTa-XNLI, dan entity coverage bebas-referensi. Evaluasi atas sampel faktualitas n = 943 ringkasan dari 84 sesi peringkasan (30 Maret–20 Mei 2026) mengungkap tiga temuan utama: (1) ketidaksejajaran skor hakim LLM dengan faktualitas objektif: korelasi mendekati nol (r ? ?0,08) antara skor LLM-as-Judge dan faktualitas NLI? versi terpilih V11 (GLM 5.1 + Simple) meraih skor hakim tertinggi (8,75? #1 dari 12 versi) meski faktualitasnya hanya peringkat ke-7, sementara model paling faktual (DeepSeek V3.1, 0,552) justru berada di tengah peringkat hakim? (2) reliabilitas panel hakim tidak memadai (Krippendorff’s ? = 0,401 lintas 41 sesi, di bawah ambang 0,667 untuk kesimpulan tentatif) dengan bias self-enhancement hingga +1,51 poin (Gemma 4 31B) dan celah kalibrasi antarhakim 1,41 poin? (3) pendekatan Simple mengungguli NLP Pipeline dengan entity recall +6,8 poin persentase dan faktualitas +0,028 (p < 0,0001, n = 412 pasangan). Sistem telah dioperasikan dengan success rate 100% pada biaya ? $20/bulan. Setelah penguncian evaluasi, sistem diperluas menjadi produk multi-sumber dengan laporan visual harian serta data aliran asing dan transaksi broker, lalu divalidasi melalui UAT sumatif di grup BETA.