Perpustakaan Digital ITB

Analisis regresi merupakan analisis yang dilakukan untuk mempelajari hubungan antar variabel yakni prediktor dan respons. Regresi proses Gaussian sebagai salah satu bentuk analisis regresi yang memanfaatkan pendekatan bayesian dan bersifat non-parametrik dapat menggambarkan hubungan antar variabel prediktor dan respons dengan cukup baik. Namun, regresi proses Gaussian memiliki kelemahan yakni kompleksitas komputasi yang tinggi yakni O(n3). Salah satu metode untuk mereduksi regresi proses Gaussian adalah dengan memanfaatkan pendekatan variasional dan melahirkan regresi VAR-SPGP dengan kompleksitas komputasi O(nm2) dengan m < n. Namun, hal tersebut belumlah cukup agar dapat diimplementasikan dalam data berukuran besar. Pengembangan lebih lanjut dari regresi VARSPGP adalah regresi SVI-GP yang berhasil mereduksi kompleksitas komputasi menjadi O(m3). Pada karya tulis kali ini, akan diturunkan secara bertahap pendekatan regresi proses Gaussian penuh, regresi VAR-SPGP, dan regresi SVIGP. Akan dilihat pula bagaimana pengaruh dari masing-masing hyperparameter dari fungsi kovariansi (kernel) yang akan digunakan dalam proses pembelajaran dan prediksi dari regresi proses Gaussian. Adapun pada karya tulis ini, akan lebih ditekankan mengenai pemanfaatan kernel eksponensial kuadratik. Selain itu, juga akan dijelaskan mengenai implementasi optimisasi berbasis gradien dan optimisasi stokastik Adadelta untuk regresi SVI-GP. Hasil simulasi pada data bangkitan juga menunjukkan bahwa regresi VAR-SPGP dan SVI-GP memiliki performa yang baik. Selanjutnya, untuk memvalidasi performa model dan pendekatan yang dilakukan model akan diuji untuk menyelesaikan permasalahan California Housing (1990) dan Beijing Housing (2011 s.d. 2017). Hasilnya, regresi proses Gaussian SVI-GP berhasil mengaproksimasi regresi proses Gaussian penuh dengan cukup baik pada kedua buah masalah tersebut.