Perpustakaan Digital ITB

Tugas Akhir ini berfokus pada pengembangan aplikasi user profiling dengan menggunakan deep learning yang dapat memroses data dari Twitter dan Instagram pelamar kerja menjadi sebuah user profile. Modul pada user profiling mencakup subtask analisis sentimen, klasifikasi topik, dan topic modeling. Pengembangan aplikasi ini menggunakan metodologi waterfall. Rancangan arsitektur aplikasi terdiri dari komponen pemrosesan data, analisis sentimen, klasifikasi topik, dan topic modeling. Task analisis sentimen dan klasifikasi topik menggunakan model deep learning IndoBERT dan IndoDistilBERT yang dievaluasi dengan mengukur akurasi, f1-score, dan waktu inferensinya. Task topic modeling dilakukan dengan model BERTopic dan FASTopic yang dievaluasi dengan mengukur nilai coherence score. Model IndoBERT dan IndoDistilBERT mengimplementasikan checkpoint model dan penerapan pembobotan kelas. Hasil pelatihan menunjukkan IndoBERT lebih cenderung mengalami overfit lebih cepat dibanding IndoDistilBERT, namun tetap memiliki nilai akurasi lebih tinggi. Selain itu, semua variasi eksperimen BERTopic memiliki nilai coherence score lebih tinggi dibanding FASTopic pada jumlah dataset yang lebih sedikit. Hasil evaluasi menunjukkan IndoDistilBERT memiliki akurasi yang bisa ditoleransi yaitu 85.7% dengan waktu inferensi ~33% lebih cepat dibanding IndoBERT pada task analisis sentimen dan akurasi 84.4% dengan waktu inferensi ~34% lebih cepat dibanding IndoBERT. Sedangkan BERTopic memiliki nilai coherence score paling tinggi pada angka 51.4%. IndoDistilBERT menunjukkan kinerja paling efisien dan efektif dan model dasar BERTopic unggul dalam melakukan topic modeling khususnya pada domain user profiling yang data masukannya selalu berubah-ubah. Saran yang dapat diambil untuk penelitian selanjutnya adalah meningkatkan kualitas dataset, mengeksplorasi nilai learning rate dan epoch yang lebih tepat, dan meningkatkan spesifikasi lingkungan perangkat.