Perpustakaan Digital ITB

Sistem penyelesaian kompetisi matematika modern berbasis Large Language Model (LLM) masih menghadapi keterbatasan fundamental akibat karakteristik model yang beroperasi sebagai mesin prediksi probabilistik. Hal ini menyebabkan model mengalami kebutaan strategis, halusinasi logika, dan pembengkakan konteks saat dihadapkan pada persoalan matematika non-standar tingkat olimpiade. Tugas Akhir ini bertujuan untuk mengembangkan dan mengevaluasi sebuah pipeline eksternal baru yang mengintegrasikan strategi penalaran kognitif manusia untuk membimbing LLM dalam menavigasi ruang solusi secara efisien. Sistem diuji secara kuantitatif menggunakan sampel soal dari 10 kompetisi matematika tingkat tinggi rentang tahun 2025 dan 2026 pada platform Math- Arena dengan format jawaban numerik (final-answer). Berdasarkan hasil evaluasi, pipeline utama berhasil meningkatkan akurasi model dasar secara stabil dengan margin peningkatan sebesar 0 hingga 20 poin persentase melalui pemastian konsistensi jawaban di seluruh run. Dari segi ekonomi komputasi, arsitektur ini menjaga rasio biaya inferensi tetap optimal pada rentang 3x–5x dari kondisi tanpa pipeline. Nilai ini jauh lebih efisien dibandingkan tiga arsitektur eksperimental awal yang dibangun (Tree of Thought, Plan-and-Solve, dan Forward-Backward Thinking) yang memicu lonjakan biaya hingga 6,80x–7,19x lipat. Eksperimen secara empiris juga memvalidasi adanya cross-over trend, di mana model penalaran yang lebih kecil, ringan, dan murah jika didukung oleh pipeline utama mampu melampaui akurasi model komersial besar tanpa pipeline dengan total pengeluaran biaya yang tetap lebih rendah. Sebagai kesimpulan, orkestrasi strategi penalaran proaktif melalui pipeline eksternal terbukti efektif meredam kelemahan statistical guessing pada LLM dan mengoptimalkan penemuan solusi pada kompetisi matematika berbasis jawaban numerik.