Perpustakaan Digital ITB

Perkembangan Large Language Model (LLM) sebagai model bahasa besar dalam kecerdasan artifisial generatif mendorong antarmuka sistem untuk menampilkan generation cues dan reasoning trace selain jawaban akhir. Penyajian tersebut sering diasumsikan meningkatkan transparansi, tetapi pengaruhnya terhadap kepercayaan pengguna belum konsisten. Penelitian ini menguji pengaruh kondisi generation cues dan kualitas model terhadap penilaian pengguna serta mengkaji pemaknaan pengguna atas reasoning trace. Penelitian menggunakan metode campuran explanatory sequential. Tahap kuantitatif melibatkan 120 partisipan valid yang menghasilkan 600 trial pada lima skenario. Empat konfigurasi eksperimen terpilih melibatkan model Gemini 2.5 Pro dan Gemini 2.0 Flash-Lite serta kondisi antarmuka Control, Dummy, dan Skeleton Click. Penilaian dianalisis menggunakan Linear Mixed Model, sedangkan log interaksi mengukur pembukaan dan durasi panel reasoning trace. Tahap kualitatif menganalisis wawancara semistruktur terhadap 11 partisipan menggunakan Analisis Tematik Refleksif. Hasil menunjukkan bahwa tidak ditemukan perbedaan yang signifikan di antara ketiga kondisi generation cues pada sembilan keluaran penilaian pengguna. Model Pro tidak meningkatkan penilaian pengguna secara signifikan dibandingkan model Flash pada set data panel lengkap. Panel reasoning trace dibuka pada 36 dari 150 trial oleh 12 dari 30 partisipan dalam kondisi Skeleton Click, dengan median durasi terbuka 124,73 detik. Perbedaan skenario menunjukkan hubungan yang lebih kuat dengan kepercayaan melalui risiko, konteks, dan kemudahan verifikasi. Temuan kualitatif menunjukkan bahwa pengguna menilai jawaban berdasarkan kualitas keluaran, kesesuaian tugas, pengetahuan awal, dan pemeriksaan bukti. Keberadaan generation cues saja belum cukup untuk meningkatkan kepercayaan. Reasoning trace lebih tepat dirancang sebagai informasi opsional untuk mendukung verifikasi pada konteks yang relevan, bukan sebagai indikator transparansi atau keterpercayaan sistem.