Bab II Tinjauan Pustaka Pada bab ini, akan dijabarkan beberapa penelitian yang mendasari adanya penelitian ini. Beberapa penelitian telah dilakukan terkait dengan optimasi manajemen energi dengan pengontrolan jadwal charging dan discharging SBPE dan pengaruhnya terhadap swakonsumsi menggunakan berbagai jenis pengontrol. II.1 Metode Kontrol Manajemen Energi Berbasis Model Penelitian yang menggunakan pengontrol untuk manajemen energi bangunan telah dilakukan sejak beberapa tahun silam. (Li et al., 2014) membuat strategi untuk mencapai tujuan optimisasi dengan pengontrolan daya charging pada baterai pada rumah tangga atau residensial dengan menggunakan Dynamic Programming (DP) untuk beberapa objektif manajemen energi bangunan. Hasil dari beberapa objektif tersebut kemudian dikomparasikan dan menunjukkan kenaikan pada swakonsumsi dan renewable fraction, sementara terdapat fluktuasi pada faktor biaya. (Chouhan et al., 2016) melakukan optimasi penjadwalan pengiriman energi listrik pada DER sekaligus penjadwalan charging dan discharging SBPE menggunakan pendekatan berbasis model. Metode yang digunakan adalah Linear Programming dengan obyektif memaksimalkan revenue arbitrase energi dan peak shaving, dengan hasil yang menunjukkan solusi optimasi yang menjanjikan dan terbukti efikasinya, dengan nilai arbitrase tahunan dari SBPE sebesar $14.176. Pendekatan kontrol berbasis model untuk optimasi pengisian dan pengosongan SBPE juga dilakukan oleh (van der Meer et al., 2021) yang menggunakan Model Predictive Control (MPC) stokastik dan membandingkannya dengan MPC klasik. Hasilnya tidak menunjukkan perbedaan kinerja yang signifikan antara keduanya, namun MPC secara umum digunakan karena dapat meminimalisir pengaruh yang bersifat sementara pada galat model dari forecast. II.2 Metode Kontrol Manajemen Energi dengan Reinforcement Learning Dengan berkembangnya pembelajaran mesin, dalam beberapa tahun terakhir, terdapat perkembangan penelitian manajemen SBPE menggunakan pendekatan berbasis data. Salah satu teknik yang paling populer digunakan untuk mengontrol bangunan adalah RL. (Mbuwir et al., 2017) mengaplikasikan Batch Reinforcement Learning dengan teknik Q-iteration dengan tujuan untuk mengoptimasikan jadwal operasi dari penyimpanan energi pada mikrogrid. Penelitian ini menggunakan dua skenario yaitu saat harga listrik konstan dan dinamis. Hasil yang didapatkan menunjukkan adanya peningkatan rate utilisasi baterai pada saat komponen yang tidak dapat diatur di luar state space diikutsertakan. Namun, penelitian ini juga menunjukkan adanya gap sebesar 19% antara pengontrol yang optimal dengan pengontrol Q-iteration yang dibuat, dengan salah satu faktornya adalah ketidaktahuan agen RL terhadap model dari mikrogrid yang ditinjau. (Qin et al., 2022) melakukan penelitian untuk strategi charging dan discharging untuk SBPE pada bangunan residensial dengan menggunakan metode Distributed Reinforcement Learning (DRL) dengan tujuan mengurangi konsumsi energi dengan tetap memperhatikan kenyamanan termal dari penghuni. Hasil dari penelitian ini menunjukkan akurasi yang baik dan sifat robust dengan penurunan konsumsi energi lebih rendah dibandingkan dengan metode lain, salah satunya MPC. (Zhou et al., 2022) menggunakan Deep Grated Recurrent Unit (DGRU) dan Q- Learning dalam pendekatannya untuk mengoptimasi penjadwalan charging dan discharging SBPE dengan hasil peningkatan efisiensi energi sebesar 61,17%, walaupun dengan peningkatan harga sebesar 3,13%. Sementara itu, (Herizal, 2022) melakukan optimasi penjadwalan operasi SBPE dengan melihat efek dari penalti yang diberikan kepada agen RL menggunakan metode Deep Q-Learning, dengan hasil peningkatan renewable fraction (RF) sebesar 2,8% apabila menggunakan high punishment, dan 6,67% dengan menggunakan low punishment. (Xu et al., 2023) yang mengembangkan kontrol operasi penyimpan energi dalam rumah tinggal di Jepang.