PENERAPAN METODE QUANTIZED LOW RANK ADAPTATION PADA PELATIHAN MODEL AUTOMATIC SPEECH RECOGNITIONBAHASA INDONESIA MENGGUNAKAN WHISPERDANDATASET OPEN SOURCE MOZILLA COMMON VOICE TESIS Karya tulis sebagai salah satu syarat untuk memperoleh gelar Magister dari Institut Teknologi Bandung Oleh MUHAMMAD FAIQ DHIYA UL HAQ NIM : 23523021 (Program Studi Magister Informatika) INSTITUT TEKNOLOGI BANDUNG AGUSTUS 2024 PENERAPAN METODE QUANTIZED LOW RANK ADAPTATIONPADA PELATIHAN MODEL AUTOMATIC SPEECH RECOGNITION BAHASA INDONESIA MENGGUNAKAN WHISPERDANDATASET OPEN SOURCE MOZILLA COMMON VOICE Oleh MUHAMMAD FAIQ DHIYA UL HAQ NIM : 23523021 (Program Studi Magister Informatika) Institut Teknologi Bandung Menyetujui Tim Pembimbing Jumat, 16 Agustus 2024 Ketua, Achmad Imam Kistijantoro, S.T, M.Sc., Ph.D. NIP 19730809 200604 10 i ABSTRAK PENERAPAN METODE QUANTIZED LOW RANK ADAPTATIONPADA PELATIHAN MODEL AUTOMATIC SPEECH RECOGNITION BAHASA INDONESIA MENGGUNAKAN WHISPERDANDATASET OPEN SOURCE MOZILLA COMMON VOICE Oleh MUHAMMAD FAIQ DHIYA UL HAQ NIM : 23523021 Penelitian ini bertujuan untuk mengevaluasi efisiensi dan kinerja metode Quantized Low Rank Adaptation(QLoRA) dalam pelatihan model pengenalan suara otomatis (Automatic Speech Recognition/ASR) Bahasa Indonesia. Penelitian ini menggunakan dataset Mozilla Common Voice 13 Indonesia dan model dasar Whisper Large V2, dengan penerapan metodefine tuning, LoRA, dan QLoRA. Evaluasi dilakukan dengan membandingkanWord Error Rate(WER), durasi pelatihan, biaya pelatihan, dan penggunaan memori GPU pada skenario pelatihan menggunakan GPU Nvidia T4 dan Nvidia A100. Hasil menunjukkan bahwa metode QLoRA memberikan efisiensi memori yang signifikan dengan sedikit kompromi pada akurasi dibandingkan metodefull fine-tuningdan LoRA. Selain itu, metode QLoRA menunjukkan penghematan biaya dan waktu pelatihan yang substansial, membuatnya menjadi solusi yang efisien untuk pelatihan model ASR Bahasa Indonesia. Kata kunci:Quantized Low Rank Adaptation, Automatic Speech Recognition, Word Error Rate,Efisiensi Pelatihan iii ABSTRACT APPLICATION OF QUANTIZED LOW RANK ADAPTATION METHOD IN AUTOMATIC SPEECH RECOGNITION MODEL TRAINING IN INDONESIAN LANGUAGE USING WHISPER AND MOZILLA COMMON VOICE OPEN SOURCE DATASET Written by MUHAMMAD FAIQ DHIYA UL HAQ NIM : 23523021 This study aims to evaluate the efficiency and performance of the Quantized Low Rank Adaptation (QLoRA) method in training Indonesian Automatic Speech Recognition (ASR) models. The research utilizes the Mozilla Common Voice 13 Indonesia dataset and the Whisper Large V2 base model, applying fine tuning, LoRA, and QLoRA methods. The evaluation compares Word Error Rate (WER), training duration, training cost, and GPU memory usage in training scenarios using Nvidia T4 and Nvidia A100 GPUs. Results indicate that the QLoRA method provides significant memory efficiency with a slight compromise in accuracy compared to full fine-tuning and LoRA methods. Additionally, QLoRA shows substantial savings in training cost and time, making it an efficient solution for training Indonesian ASR models. Keywords:Quantized Low Rank Adaptation, Automatic Speech Recognition, Word Error Rate, Training Efficiency iv.