Perpustakaan Digital ITB

Alur kerja yang mengubah data tabular menjadi dokumen terstruktur, seperti rapor, rekap capaian pembelajaran, slip gaji, dan laporan rasio keuangan, masih banyak dilakukan secara manual atau melalui skrip tetap. Pengolahan manual rentan terhadap kesalahan hitung dan sulit ditelusuri, sedangkan skrip tetap menuntut penyesuaian kode setiap kali struktur data atau aturan berubah. Pemanfaatan Large Language Model (LLM) menawarkan fleksibilitas dalam menafsirkan instruksi bahasa alami, tetapi keluarannya bersifat probabilistik sehingga belum cukup andal untuk tugas yang menuntut correctness numerik. Tugas akhir ini merancang, mengimplementasikan, dan mengevaluasi sistem Agentic AI menggunakan Plan-Execute-Verify dengan Program-of-Thought untuk mengotomatisasi alur kerja tersebut. Plan-Execute-Verify merupakan pola kontrol yang memisahkan tahap perencanaan, pelaksanaan, dan pemeriksaan hasil sebelum keluaran diterima. Sementara itu, Program-of-Thought merupakan pendekatan yang merepresentasikan logika penyelesaian sebagai program yang kemudian dieksekusi oleh interpreter. Sistem terdiri atas empat fase, yaitu Intent Clarification, Execution Planning, Execute-Verify-Repair, dan Output Review. Sistem menginterpretasikan instruksi dan data untuk membentuk spesifikasi eksplisit, membentuk rencana eksekusi, membangkitkan serta mengeksekusi kode pada sandbox, lalu memverifikasi hasil terhadap output contract dan aturan deterministik. Jika verifikasi gagal, sistem melakukan repair terbatas atau menahan keluaran melalui fallback. Evaluasi dilakukan pada enam studi kasus dalam empat domain menggunakan Qwen2.5-14B-Instruct dan tiga baseline, yaitu ReAct, Planning, dan Reflection. Sistem menghasilkan keluaran benar pada lima dari enam kasus tanpa kasus emit-salah, sedangkan masing-masing baseline benar pada tiga kasus dan masih menghasilkan dokumen dengan nilai keliru. Sistem juga tetap benar pada pengujian penggantian nama kolom, serta menghasilkan keluaran yang konsisten pada tiap run. Namun, tahap verification dan repair meningkatkan biaya komputasi dibandingkan pendekatan yang lebih sederhana.