Perpustakaan Digital ITB

Pengaturan hiper-parameter yang tepat merupakan tantangan dalam keberhasilan implementasi neural network. Salah satu hiper-parameter yang penting adalah topologi neural network yang memiliki pengaruh besar pada kinerja neural network. Penentuan topologi neural network berarti menentukan jumlah hidden layer yang diperlukan beserta jumlah neuron untuk setiap hidden layer. Pendekatan atau metode dalam penentuan topologi ini dapat dilakukan secara manual atau otomatis. Penentuan secara manual misalnya melalui trial and error atau rule of thumb. Penentuan topologi melalui pendekatan trial and error, sampai menemukan pengaturan yang cukup optimal adalah proses yang memakan waktu. Pada pendekatan rule of thumb, penentuan topologi menggunakan formula tertentu berdasar jumlah input atau jumlah output, penggunaannya sangat tergantung pengalaman peneliti. Pendekatan otomatis terbagi menjadi dua yaitu pendekatan yang berbasis model dan pendekatan yang tidak berbasis model. Pendekatan yang tidak berbasis model misalnya adalah grid search dan random search, sedangkan pendekatan yang berbasis model misalnya adalah menggunakan algoritma particle swarm optimization (PSO). Pada pendekatan otomatis ini, penentuan topologinya melalui proses pelatihan. Beberapa pendekatan manual yang ada, penentuan topologi hanya berdasar jumlah input dan jumlah output, yang ternyata tidak dapat diterapkan secara umum untuk dataset yang berbeda. Walaupun masih merupakan area penelitian yang sulit, penelitian untuk menentukan topologi neural network harus terus dilakukan. Salah satu peluang penelitian untuk menentukan jumlah hidden layer dan jumlah neuron adalah dengan menggunakan analisis komponen utama/principal component analysis (AKU/PCA) dan pengklasteran. Penggunaan AKU untuk penentuan jumlah hidden layer berdasar penganalogian kompleksitas hidden layer neural network selaras dengan varian kumulatif pada AKU. Setelah jumlah komponen diperoleh, untuk masing-masing komponen dilakukan proses pengklasteran K-Means yang digunakan untuk menentukan jumlah neuron yang berasal dari jumlah klaster yang terbentuk. Tujuan dari penelitian ini adalah menghasilkan pendekatan atau metode untuk menentukan topologi neural network, khususnya yang berbentuk Multi-Layer Perceptron (MLP). Metode yang dihasilkan diharapkan dapat menjadi panduan untuk menentukan topologi neural network sebelum proses pelatihan dilakukan, khususnya untuk output yang mempunyai fungsi regresi atau klasifikasi. Pendekatan yang diusulkan diharapkan dapat memberikan kinerja yang stabil pada MLP. Dataset yang digunakan pada eksperimen adalah 14 dataset yang berbentuk tabular: 4 dataset untuk fungsi tujuan klasifikasi, 5 dataset untuk fungsi tujuan regresi, dan 5 dataset untuk fungsi tujuan klasifikasi data beratribut banyak. Terhadap masing-masing dataset tersebut diterapkan AKU dan pengklasteran K-Means dan kemudian dihitung kinerja dari masing-masing topologi yang dihasilkan. Kinerja juga dibandingkan dengan metoda sebelumnya yang menentukan topologi sebelum proses pelatihan: 4 dataset pertama dibandingkan dengan metode trial and error, 10 lainnya dibandingkan dengan metode rule of thumb (metode Sartori, metode Huang, metode Tamura dan Tateishi, dan metode Qian and Yong). Kinerja untuk fungsi tujuan klasifikasi diukur dengan menggunakan tingkat akurasi, sedangkan untuk fungsi tujuan regresi menggunakan Root Means Square Error (RMSE). Hasil eksperimen menunjukkan bahwa secara umum pendekatan atau metode yang diusulkan mempunyai kinerja yang lebih baik (12 dari 14 dataset) dibanding metode pembanding. Satu eksperimen juga dilakukan untuk fungsi tujuan regresi menggunakan dataset Forrest Type Mapping dan hasilnya dibandingkan dengan metode Tej dan Holban. Hasil yang diperoleh dari penelitian Tej dan Holban dengan menggunakan pengklasteran dan regresi ganda, topologi dengan kinerja terbaik adalah dengan menggunakan satu hidden layer dengan 36 neuron. Topologi ini memberikan nilai akurasi terbaik adalah 87,83%. Dengan menggunakan pendekatan yang diusulkan peneliti, topologi terbaik adalah menggunakan dua hidden layer dengan masing-masing jumlah neuron adalah 37 dan 33. Topologi ini memperoleh akurasi terbaik adalah 88,79%. Pendekatan yang diusulkan menunjukkan telah mencapai tujuan yaitu dapat menentukan topologi neural network, khususnya topologi yang berbentuk Multi-Layer Perceptron (MLP). Varian kumulatif dari analisis komponen utama dapat dijadikan acuan untuk menentukan jumlah hidden layer pada neural network. Dari hasil penelitian, varian kumulatif yang dijadikan acuan untuk tujuan klasifikasi multi kelas adalah 60 % atau 70 %, untuk klasifikasi biner adalah 40 %, sedangkan untuk fungsi tujuan regresi adalah 80% atau lebih tinggi. Jadi secara umum dapat dikatakan varian kumulatif yang dibutuhkan untuk klasifikasi lebih rendah dari varian kumulatif yang dibutuhkan untuk regresi.