Perpustakaan Digital ITB

Analisis portofolio perkuliahan merupakan bagian dari proses evaluasi dan peningkatan mutu pembelajaran di ITB. Analisis tersebut melibatkan data terstruktur, seperti nilai, kehadiran, dan hasil evaluasi pembelajaran, serta data tidak terstruktur, seperti komentar mahasiswa dan refleksi dosen. Perbedaan karakteristik data menyebabkan proses analisis dapat memerlukan pencarian dan penggabungan informasi dari beberapa sumber. Large Language Model (LLM) dapat digunakan untuk memahami pertanyaan dalam bahasa alami, tetapi analisis yang memerlukan perencanaan, penggunaan beberapa tool, dan penggabungan berbagai sumber informasi membutuhkan mekanisme yang lebih terkoordinasi. Tugas akhir ini bertujuan mengembangkan agen penganalisis data portofolio perkuliahan dengan pendekatan Agentic AI untuk mengoordinasikan proses analisis tersebut. Sistem dikembangkan menggunakan arsitektur agen yang menerapkan perencanaan strategi (planning), pemilihan dan penggunaan tool (tool orchestration), evaluasi hasil (evaluation), serta perbaikan proses secara iteratif (iterative refinement). Agen diimplementasikan menggunakan LangGraph dan terdiri atas beberapa komponen untuk menangani interpretasi permintaan, perencanaan, evaluasi, dan penyusunan jawaban. Analisis data terstruktur dilakukan menggunakan tool Text-to-SQL yang mencakup schema linking, generasi, validasi, eksekusi, dan evaluasi hasil SQL, sedangkan data tekstual dianalisis menggunakan Retrieval-Augmented Generation (RAG). Eksperimen dilakukan untuk menentukan konfigurasi arsitektur dan mekanisme analisis yang digunakan pada sistem, sedangkan evaluasi dilakukan pada tingkat komponen, Tool Text-to-SQL, dan end-to-end untuk mengukur kemampuan sistem yang telah diimplementasikan. Hasil eksperimen menunjukkan bahwa konfigurasi arsitektur yang menerapkan mekanisme orkestrasi yang dirancang memberikan hasil yang lebih baik pada skenario analisis yang memerlukan beberapa tahap dibandingkan konfigurasi pembanding. Pada evaluasi Tool Text-to-SQL, Execution Accuracy mencapai 67%, sementara validitas sintaks, keamanan SQL, perlindungan PII, dan kesesuaian tabel masing-masing mencapai 100%. Evaluasi end-to-end dan UAT selanjutnya menunjukkan kemampuan sistem dalam menyelesaikan permintaan analisis sekaligus mengidentifikasi pemanggilan LLM secara berurutan sebagai faktor utama yang memengaruhi waktu respons.