Perpustakaan Digital ITB

Penggunaan aplikasi digital seperti Canva dalam kegiatan akademik meningkatkan kebutuhan evaluasi usability yang efektif dan sesuai kondisi evaluasi. Individual Usability Testing (IUT) dan Group Usability Testing (GUT) memiliki karakteristik pelaksanaan dan keluaran yang berbeda, sehingga pemilihan metode yang tepat menjadi krusial ketika waktu dan sumber daya evaluasi terbatas. Namun, belum terdapat acuan objektif berbasis karakteristik empiris hasil pengujian untuk menentukan metode yang sesuai dengan kondisi evaluasi tertentu. Penelitian ini bertujuan membandingkan hasil evaluasi dan temuan usability IUT dan GUT pada Canva, mengidentifikasi karakteristik pembeda, serta mengembangkan framework pemilihan metode berdasarkan kesesuaian terhadap kebutuhan evaluasi usability. Penelitian menggunakan desain between-subjects dengan 20 mahasiswa sebagai partisipan. Sepuluh partisipan mengikuti IUT dengan protokol concurrent thinkaloud, sedangkan sepuluh partisipan lainnya mengikuti GUT. Pengujian dilakukan menggunakan 12 tugas pada Canva untuk pembuatan slide presentasi akademik. Data yang dikumpulkan meliputi Task Success Rate, Time-Based Efficiency, skor System Usability Scale (SUS), dan permasalahan usability. Data dianalisis menggunakan pengujian statistik, analisis temuan, serta decision matrix berbasis Simple Additive Weighting (SAW). Hasil penelitian menunjukkan tidak terdapat perbedaan signifikan pada Task Success Rate, Time-Based Efficiency, dan skor SUS antara IUT dan GUT. Meskipun demikian, IUT membutuhkan waktu 109 menit 29 detik, sedangkan GUT membutuhkan 21 menit 17 detik. IUT menghasilkan 14 usability problem dengan enam unique issues, sedangkan GUT menghasilkan sembilan usability problem dengan satu unique issue. Perbedaan ini menunjukkan IUT lebih unggul dalam kedalaman dan variasi temuan, sedangkan GUT lebih unggul dalam efisiensi waktu pelaksanaan. Berdasarkan perbandingan tersebut, disusun tiga kriteria kesesuaian metode, yaitu keterbatasan waktu pelaksanaan, kebutuhan informasi individual, dan kebutuhan cakupan temuan usability. Framework dikembangkan menggunakan decision matrix dengan bobot kriteria yang dapat disesuaikan oleh pengguna. Pada kondisi baseline, IUT memperoleh nilai preferensi (V) sebesar 0,799, sedangkan GUT memperoleh nilai preferensi (V) sebesar 0,666. Framework merekomendasikan GUT ketika keterbatasan waktu pelaksanaan menjadi prioritas dominan, dan merekomendasikan IUT ketika kebutuhan informasi individual atau cakupan temuan menjadi prioritas dominan. Dengan demikian, framework dapat membantu evaluator memilih IUT atau GUT berdasarkan karakteristik empiris dan kebutuhan evaluasi.