Tesis ini menyelidiki dan mengadaptasi model BertSum untuk peringkasan teks bahasa Indonesia secara abstraktif, khususnya mengatasi keterbatasan kinerja Bert Indonesia dibandingkan Bert Inggris serta batasan jumlah token input pada model transformer. Dengan menggunakan dataset XLSum Indonesia, penelitian ini mengoptimasi BertSum berbasis Bert Indonesia dan mengintegrasikan metode TEMA (Topic Embedding Masked Attention) yang diperkuat dengan *topic embedding* berkualitas tinggi dari BerTopic. Hasilnya menunjukkan peningkatan signifikan pada kinerja BertSum dengan Bert Indonesia, serta efektivitas metode TEMA—terutama untuk teks pendek—dalam meningkatkan kualitas ringkasan, mencapai skor ROUGE yang lebih baik dari model baseline.