Perpustakaan Digital ITB

Speaker diarization merupakan proses untuk menentukan siapa berbicara dan kapan aktivitas pembicara berlangsung dalam suatu rekaman. Tantangan utama pada percakapan multipembicara adalah ucapan tumpang tindih karena dua atau lebih pembicara dapat aktif pada waktu yang sama, sehingga asumsi satu segmen untuk satu pembicara tidak lagi berlaku. Pendekatan konvensional yang terdiri atas deteksi aktivitas suara, segmentasi, ekstraksi embedding, dan clustering rentan terhadap akumulasi kesalahan, sedangkan pendekatan End-to-End Neural Diarization (EEND) dan EEND berbasis Encoder-Decoder Attractor (EEND-EDA) masih menghadapi keterbatasan dalam pemodelan urutan panjang serta pengenalan overlap kompleks. Penelitian ini bertujuan menghasilkan kerangka diarisasi pembicara yang lebih peka terhadap perubahan jumlah pembicara aktif, efisien dalam memodelkan dependensi temporal, dan mampu menangani percakapan sampai empat pembicara. Penelitian dilaksanakan dalam tiga tahap yang saling berkelanjutan. Tahap pertama mengevaluasi overlap-aware resegmentation pada data AMI-Headset untuk memperbaiki batas aktivitas pada percakapan dua pembicara dan membangun dasar penanganan overlap. Tahap kedua merancang Mamba-EEND-EDA dengan mengganti encoder berbasis perhatian menggunakan Bidirectional Mamba, sementara EDA dipertahankan untuk membentuk attractor pembicara. Pemanfaatan Selective State Space Model memungkinkan hubungan temporal panjang diproses dengan kompleksitas yang meningkat secara linear terhadap panjang urutan. Tahap ini menggunakan campuran simulasi yang bersumber dari LibriSpeech serta augmentasi MUSAN dan Room Impulse Response. Hasilnya menunjukkan bahwa Mamba dapat mempertahankan kemampuan EEND-EDA dalam memodelkan aktivitas multipembicara sekaligus meningkatkan efisiensi pemrosesan dibandingkan encoder yang menggunakan mekanisme perhatian. Tahap ketiga menghasilkan CORA-Mamba-EEND-EDA dengan menambahkan supervisi berbasis cardinality dan overlap pada representasi frame. Cardinality head memprediksi jumlah pembicara aktif dalam kelas nol sampai empat, sedangkan overlap head membedakan frame non-overlap dan frame overlap dengan lebih dari satu pembicara aktif. Kedua komponen digunakan selama pelatihan untuk memperkaya embedding Mamba, sedangkan keluaran utama diarisasi tetap diperoleh dari interaksi frame embedding dan attractor EDA. Eksperimen menggunakan 5.728 campuran simulasi empat pembicara untuk pelatihan dan 500 rekaman untuk evaluasi. Audio mono 16 kHz direpresentasikan dengan 23 fitur log-Mel filterbank, ditumpuk pada 15 frame konteks menjadi 345 dimensi, kemudian diproses oleh Bidirectional Mamba dan EDA berdimensi 256. Empat konfigurasi dibandingkan secara terkontrol, yaitu baseline, Cardinality Only, Overlap Only, dan Full CORA. Evaluasi dilakukan secara in-domain dengan jumlah identitas pembicara diberikan pada tahap inferensi. Hasil eksperimen menunjukkan bahwa seluruh konfigurasi dengan supervisi tambahan menghasilkan perbaikan dibandingkan baseline. Baseline Mamba-EEND-EDA menghasilkan DER 29,19%, sedangkan Cardinality Only, Overlap Only, dan Full CORA masing-masing menghasilkan 28,87%, 29,08%, dan 29,11%. Cardinality Only memberikan perbaikan paling konsisten karena informasi jumlah pembicara aktif membantu encoder membedakan kondisi diam, pembicara tunggal, dan overlap multipembicara. Overlap Only meningkatkan sensitivitas terhadap ucapan tumpang tindih dan menurunkan aktivitas referensi yang terlewat, tetapi cenderung menghasilkan prediksi aktivitas yang lebih bagus. Full CORA mampu menekan prediksi aktivitas yang salah, tetapi belum menunjukkan sinergi yang lebih kuat daripada cardinality secara terpisah karena keseimbangan antara kehilangan aktivitas dan alarm palsu belum optimal. Temuan ini membuktikan bahwa penambahan beberapa tugas pembelajaran tidak selalu memberikan keuntungan kumulatif; efektivitasnya dipengaruhi oleh pembobotan loss, distribusi kelas, threshold, dan kemungkinan konflik gradien. Dibandingkan penelitian Mamba untuk EEND-VC yang berfokus pada segmentasi lokal dan clustering, serta ConBiMamba yang memberikan supervisi pada batas pergantian pembicara, penelitian ini mempertahankan mekanisme attractor EEND-EDA dan secara eksplisit memodelkan jumlah pembicara aktif serta status overlap pada setiap frame. Kebaruan penelitian terletak pada integrasi Bidirectional Mamba, attractor pembicara, cardinality-aware learning, dan overlap-aware learning dalam satu kerangka multitugas untuk overlap kompleks empat pembicara. Kontribusi penelitian terhadap penelitian bidang ini adalah dapat membuktikan bahwa cardinality merupakan sinyal struktural yang lebih informatif daripada keputusan overlap biner dalam membimbing representasi temporal, serta penegasan bahwa rancangan supervisi spesifik tugas dan pengendalian interaksi antartugas merupakan faktor penting dalam pengembangan diarisasi pembicara berbasis state-space model.