Perpustakaan Digital ITB

Large Language Model (LLM) dapat menyimpan berbagai informasi dari data pelatihan, seperti informasi pribadi, informasi yang tidak relevan, dan informasi yang tidak lagi dibutuhkan, sehingga diperlukan metode untuk menghapus pengaruh data tertentu tanpa melatih ulang model dari awal, yang dikenal sebagai machine unlearning. Salah satu metode machine unlearning dengan pendekatan approximate unlearning, yaitu Selective Neuron-Level Knowledge Unlearning (SNKU), telah terbukti efektif dalam menghapus pengaruh data tertentu pada model encoder-only berskala kecil seperti BERT. Namun, penerapannya pada LLM berskala besar dengan arsitektur decoder-only masih belum diuji, padahal arsitektur tersebut lebih banyak digunakan dalam berbagai tugas dan aplikasi dibandingkan arsitektur encoder-only. Penelitian ini menerapkan dan mengevaluasi SNKU pada model Qwen2.5-7B menggunakan dataset TOFU, dengan Negative Preference Optimization (NPO) sebagai metode baseline. Hasil penelitian menunjukkan bahwa SNKU mampu mengurangi pengaruh data forget dan memiliki waktu eksekusi yang lebih cepat dibandingkan NPO, terutama pada ukuran data forget yang lebih kecil. Namun, efektivitas SNKU belum konsisten pada ukuran data forget yang lebih besar, serta kinerjanya menurun pada data retain dan skenario sequential unlearning.