Perpustakaan Digital ITB

Kontribusi yang baru dari penelitian ini adalah penggunaan model Transformer-Encoder, suatu metode Machine Learning (ML) yang mutakhir untuk deteksi dan klasifikasi gangguan, serta analisis kontinjensi pada sistem tenaga listrik. Lebih jauh, metode ML yang mutakhir ini juga telah berhasil di-implementasikan pada sebuah platform elektronika edge-computing, dalam hal ini Raspberry Pi 4. Implementasi ini dimungkinkan berkat penggunaan cara penyederhanaan atau kompresi model yang dikenal sebagai Knowledge-Distillation (KD). Transformer encoder-decoder baru-baru ini muncul sebagai metode ML yang sangat menjanjikan di berbagai bidang. BERT dan GPT-3 sebagai model pendahulu GPT-4 adalah contoh aplikasi model Transformer yang terkenal. Dalam menganalisis data sekuensial, Transformer memiliki jangkauan koneksi yang jauh lebih panjang daripada metode yang lebih konvensional seperti RNN dan LSTM. Dalam karya penelitian ini, ditunjukkan bahwa encoder Transformer juga dapat digunakan dalam klasifikasi kesalahan sistem tenaga dan analisis kontingensi daya. Untuk mengimplementasikan metode ML pada platform komputasi kecil dengan sumber daya komputasi yang terbatas, digunakan metode KD. Proses pembelajaran dalam metode KD setidaknya melibatkan dua model, yaitu model Guru dan model Siswa. Pertama, Model-Guru yang bisa berukuran besar dilatih menggunakan CPU atau GPU berbasis Desktop. Model-Guru yang sudah dilatih (pre-trained) ini kemudian digunakan untuk melatih Model-Siswa yang ukurannya jauh lebih kecil. Berbeda dengan pembelajaran konvensional, pada pembelajaran Distilasi ini digunakan nilai prediksi dari Model-Guru selain label logit. Selain itu, penelitian ini juga menunjukkan bahwa selama proses pelatihan distilasi, ukuran kumpulan data yang lebih kecil tanpa augmentasi dapat digunakan. Dengan menggunakan dataset yang sama yang lebih kecil, terlihat bahwa pembelajaran Model-Siswa melalui proses KD menghasilkan kinerja yang lebih tinggi daripada jika Model-Siswa dilatih secara mandiri seperti cara konvensional. Model-Siswa yang dihasilkan dengan ukuran kecil ini telah dapat diimplementasikan dalam Raspberry Pi 4 yang memiliki sumber daya yang sangat terbatas dibandingkan PC Desktop.