Perpustakaan Digital ITB

Pada umumnya, model pembelajaran mesin akan melakukan inferensi pada perangkat yang memiliki komputasi tinggi. Hal ini akan menjadi masalah apabila tujuan penempatan model menggunakan perangkat kecil yang berkomputasi rendah. Mobile sebagai perangkat berkomputasi rendah yang banyak digunakan secara langsung menjadi salah satu tujuan penempatan model pembelajaran mesin. Penelitian ini membahas pembangunan sistem untuk mengoptimasi proses jalannya inferensi pada mobile. Metode tersebut mencakup penggunaan CPU dan GPU, sample frame, brain floating-point (BF16), dan akselerator NCNN serta dampak metode tersebut pada waktu inferensi, frame per second (FPS), dan kinerja pada mobile Android. Untuk dapat memberikan gambaran umum terhadap sistem yang dibuat, dilakukan studi kasus pada pemilahan sampah. Model yang digunakan berbasis YOLOX dengan versi tiny dan nano. Selain karena efisiensi, penggunaan pembelajaran mesin pada kasus pemilahan sampah dapat memicu pertumbuhan dan perkembangan teknologi sekaligus dapat menumbuhkan kesadaran akan membuang sampah. Dari hasil pengujian, ditemukan semakin tinggi sample frame maka semakin tinggi juga FPS yang dihasilkan. Akan tetapi, pemakaian sample frame membuat beberapa frame tidak akan terinferensi. Konfigurasi terbaik yaitu pada CPU dengan sample rate 10 menggunakan YOLOX-nano menghasilkan 15.30 FPS. Pada pengujian memori, YOLOX-tiny memiliki penggunaan memori yang lebih tinggi dibandingkan dengan model YOLOX-nano. Ditemukan juga bahwa penggunaan GPU saat inferensi belum optimal, hal ini dikarenakan adanya fallback dari operasi pembelajaran mesin yang belum didukung. Selain itu, tipe data BF16 memiliki pengaruh yang signifikan pada proses inferensi dengan mempercepat sekitar 48%.