Perpustakaan Digital ITB

Pelatihan model pembelajaran mendalam berskala besar sering kali terhambat oleh bottleneck I/O, terutama saat menggunakan penyimpanan bersama seperti NFS yang tidak dirancang untuk akses data yang acak dan intensif. Pengembangan strategi caching dan prefetching yang lebih efisien untuk beban kerja ini terkendala oleh ketiadaan dataset trace I/O publik yang representatif. Tugas akhir ini berfokus pada pembangunan dataset trace I/O NFS yang dikumpulkan dari skenario pelatihan pembelajaran mendalam dengan tugas klasifikasi gambar. Dengan menggunakan tracer berbasis bpftrace yang memiliki overhead minimal, aktivitas I/O direkam dari tiga strategi shuffling yang berbeda: global shuffling, buffered shuffling, dan bundle shuffling. Hasil analisis menunjukkan bahwa global dan buffered shuffling menghasilkan pola akses yang secara statistik acak dan menghancurkan lokalitas data, merepresentasikan skenario kasus terburuk untuk cache. Sebaliknya, bundle shuffling terbukti berhasil mempertahankan dan menciptakan spatial dan temporal locality yang kuat dan terstruktur, yang dapat diatur melalui ukuran bundle. Dataset trace yang dihasilkan dalam format CSV dan oracleGeneral ini diharapkan dapat menjadi fondasi bagi peneliti untuk merancang, menguji, dan memvalidasi mekanisme caching dan prefetching yang lebih cerdas dan sesuai untuk beban kerja pembelajaran mendalam di masa depan.