Perpustakaan Digital ITB

Miskonsepsi pada konsep dasar mekanika masih bersifat persisten, baik pada siswa maupun mahasiswa calon guru fisika, sehingga berpotensi menimbulkan dampak jangka panjang terhadap kualitas pembelajaran fisika. Meskipun instrumen ThreeTier Force Concept Inventory (FCI) efektif dalam mengidentifikasi miskonsepsi konseptual, penerapannya secara konvensional masih kurang efisien untuk kelas besar dan terbatas dalam memberikan umpan balik diagnostik secara cepat. Perkembangan Natural Language Processing (NLP) dan Large Language Models (LLMs) membuka peluang untuk mengotomatisasi diagnosis miskonsepsi. Penelitian ini bertujuan untuk merancang dan memvalidasi kerangka kerja asesmen diagnostik miskonsepsi berbasis NLP-LLM yang transparan menggunakan instrumen Three-Tier FCI. Penelitian ini menggunakan metode Research and Development berbasis model ADDIE. Dataset terdiri atas 1.200 respons mahasiswa calon guru fisika pada konsep mekanika Newtonian, meliputi jawaban pilihan ganda, respons penalaran, dan tingkat keyakinan. Seluruh respons dinilai oleh human rater dan didukung oleh expert ground truth yang divalidasi oleh dua ahli fisika. Kerangka kerja ini dievaluasi menggunakan model NLP SBERT, SciBERT, PhysBERT, dan LLM GPT-5-mini melalui skema Zero-Shot dan Expert-Guided Prompting. Validasi dilakukan melalui train-test split, stratified cross-validation, optimasi threshold, ROC-AUC, Weighted F1-score, dan Cohen’s Kappa. Hasil penelitian menunjukkan bahwa Expert-Guided LLM memperoleh performa terbaik dengan nilai ROC-AUC sebesar 0.895, Cohen’s Kappa sebesar 0.66, dan Weighted F1-score sebesar 0.86. Hasil ini menunjukkan kemampuan diskriminasi yang kuat serta tingkat kesepakatan substantial dengan human rater. Kerangka kerja ini juga mengintegrasikan Explainable AI melalui visualisasi SHAP-style pada NLP, confidence score dan penjelasan diagnostil pada LLM, serta analisis highconfidence heatmap. Fitur tersebut memungkinkan identifikasi miskonsepsi persisten pada respons dengan tingkat keyakinan tinggi. Secara keseluruhan, kerangka kerja yang diusulkan mampu meningkatkan efisiensi, dan transparansi, dan nilai pedagogis asesmen diagnostik pada kelas fisika berskala besar.