Gangguan depresi merupakan peringkat pertama gangguan mental yang menyebabkan DALYs (Disability Adjusted Life Year) dengan persentase kontributor kematian sekitar 14,4%. Namun, 78% masyarakat di negara dengan penghasilan rendah dan menengah belum mendapatkan penanganan yang tepat. Saat ini, depresi didiagnosa oleh psikolog atau psikiater berdasarkan laporan yang diberikan oleh penderita, behaviour report oleh saudara atau teman dekat penderita, dan mental health examinations. Kurangnya proses aktif pelaporan gangguan depresi baik itu dari diri sendiri maupun lingkungan sekitar menyebabkan banyak penderita depresi yang tidak terdeteksi sebagai depresi. Dalam kehidupan sehari – hari, sosial media memfasilitasi pradiagnosa kondisi kesehatan mental klinis terkait kecemasan dan gangguan depresi melalui tulisan yang ditulis oleh pengguna. Deteksi penderita depresi dengan memanfaatkan data sosial media sudah pernah dilakukan sebelumnya dengan pendekatan berbasis leksikal yakni dengan melakukan pembobotan terhadap daftar gejala depresi berikut dengan sinonimnya yang telah divalidasi oleh psikolog. Namun, metode yang diusulkan masih belum mampu menunjukkan kinerja yang optimal di mana hanya mampu mencapai akurasi 0,5. Hal ini dikarenakan penggunaan metode berbasis leksikal tidak mampu memahami konteks kalimat dan rentan terjadi OOV (Out-of-Vocabulary) ketika terdapat kasus depresi dengan kata-kata yang tidak terdaftar pada kamus. Solusi yang diusulkan untuk mengatasi masalah ini diharapkan mampu dengan lebih baik dalam memahami konteks kalimat adalah dengan menerapkan model deep learning dan mengatasi permasalahan OOV dari daftar gejala depresi dapat dilakukan dengan menambahkan fitur lain yang terkait dengan depresi. Penggunaan model deep learning yang ada saat ini, membutuhkan data teranotasidengan jumlah besar sehingga model yang dihasilkan dapat lebih akurat. Namun, data depresi berbahasa Indonesia masih sangat sedikit dibandingkan dengan data depresi berbahasa Inggris. Sebagai contoh, data depresi berbahasa Inggris dari CLEF eRISKs Laboratory memiliki 531.000 teks dengan 892 pengguna yang diekstrak dari Reddit, sedangkan data depresi berbahasa Indonesia hanya memiliki 6.055 teks dari 55 pengguna yang diekstrak melalui Twitter.
Untuk mengatasi hal tersebut, digunakan data berbahasa Inggris untuk melatih model cross-lingual yakni XLM-RoBERTa dan Multilingual BERT yang melakukan penyelesaian masalah dengan dua pendekatan, yakni pendekatan berbasis fine-tuning dengan fitur metadata linguistik dan pendekatan dengan fine- tuning saja. Pada pendekatan fine-tuning dengan fitur metadata linguistik, klasifikasi dilakukan dengan mengekstrak fitur dengan model XLM-RoBERTa dan Multilingual BERT kemudian mengekstrak fitur metadata linguistik dari teks. Adapun pendekatan fine-tuning menggunakan keseluruhan parameter pada model XLM-RoBERTa dan Multilingual-BERT untuk dilakukan fine-tuning terhadap data yang tersedia. Penelitian ini menerapkan tiga skenario data yakni Monolingual, Zero-shot, dan Multilingual. Berdasarkan eksperimen pada data validasi, penggunaan fitur metadata linguistik tidak memberikan dampak yang signifikan terhadap akurasi. Nilai akurasi terbaik yang didapatkan adalah pendekatan fine-tuning dengan fitur metadata linguistik menggunakan model Multilingual BERT dengan learning rate 1e ? 5 yang mencapai akurasi 0,78 dan nilai F1 adalah 0,62 dengan skenario zero-shot. Sedangkan untuk eksperimen berbasis fine-tuning yang menggunakan model XLM-RoBERTa dengan learning rate 1e ? 5 mampu mencapai akurasi hingga 0,93 dan F1 score dengan skenario multilingual sebesar 0,815. Model ini mengungguli model sebelumnya yang dibangun ulang dengan data uji yang ada yang mencapai nilai akurasi 0,82 dan F1 score 0,615.