Evaluasi merupakan salah satu aspek penting yang diperlukan untuk menentukan keberhasilan implementasi suatu sistem informasi. Melalui evaluasi akan diperoleh informasi mengenai sejauh mana keberhasilan pencapaian tujuan sistem tersebut dan juga umpan balik untuk meningkatkan kualitas sistem di masa mendatang. Kendala terbesar dalam melakukan evaluasi adalah menentukan kriteria evaluasi, parameter evaluasi serta metode yang dipilih dalam membangun kerangka kerja evaluasi. Bahkan, lebih spesifik lagi, evaluasi sistem informasi dapat dipandang dari dua sisi yaitu segi efisiensi dan efektivitas. Segi efisiensi menekankan evaluasi atas kualitas ketersediaan sistem yang meliputi misalnya kehandalan sistem, jumlah waktu akses, jumlah waktu down-time dan sebagainya. Sedangkan segi efektivitas mengkaji sistem informasi dari sisi kualitas sistem dibandingkan dengan ekspektasi yang diharapkan atas sistem tersebut.
Pada saat ini terdapat banyak kerangka kerja evaluasi sistem informasi yang sebagian besar berfokus pada aspek efisiensi. Tetapi, dari sekian banyak kerangka tersebut, belum ada yang secara spesifik mengacu pada sistem informasi pendidikan. Salah satu kerangka kerja yang pernah diajukan dengan mengambil kajian khusus pada sistem informasi akademik adalah kerangka kerja Bytheway dan Whyte, dengan sudut pandang lebih menekankan pada penggunaan sistem dari sisi internal organisasi. Di lain pihak, sistem informasi pendidikan juga melibatkan pihak luar / konsumen. Oleh karena itu, dipandang perlu untuk mengkaji ulang kerangka kerja Bytheway dan Whyte dengan melibatkan aspek eksternal yaitu konsumennya sendiri. Salah satu model pengukuran kepuasan konsumen adalah Servqual (Service Quality). Servqual tidak spesifik ditujukan pada produk sistem informasi, tetapi pada kualitas layanan secara umum yang mampu diberikan oleh suatu organisasi kepada konsumennya.
Penelitian pada tesis ini difokuskan untuk mencari dan mengusulkan sebuah kerangka kerja evaluasi yang merupakan gabungan antara kerangka kerja Bytheway dan Whyte dengan konsep evaluasi Servqual. Tujuan penggabungan kedua kerangka tersebut adalah sebagai upaya memberikan gambaran menyeluruh atas kondisi sistem yang dievaluasi. Dasar pertimbangan kombinasi kedua kerangka kerja tersebut adalah keunggulan Servqual sebagai sebuah kerangka kerja yang sudah banyak diadopsi untuk mengevaluasi kualitas layanan di beberapa sektor, khususnya jasa, dan atribut-atribut yang digunakan pada kerangka kerja Bytheway dan Whyte cukup mencerminkan aspek evaluasi internal. Penggabungan kedua kerangka kerja ini diharapkan dapat memberikan gambaran mengenai kondisi sistem dari dua sisi yaitu internal dan eksternal.
Tahapan pengembangan kerangka kerja evaluasi dimulai dengan membuat pemetaan antara kerangka kerja Bytheway dan Whyte dengan aspek penilaian Servqual, yaitu melakukan identifikasi elemen-elemen Servqual apa saja yang terdapat pada satu atribut. Hasil pemetaan ini kemudian digunakan sebagai pedoman dalam menyusun kuisioner sehingga diharapkan dapat memberikan hasil yang lebih representatif dari kedua sudut pandang.
Penggabungan kedua kerangka kerja tesebut menghasilkan sebuah usulan kerangka kerja yang memandang sistem dari tiga dimensi utama yang saling berinteraksi, yang menyatakan kualitas sebagai sebuah gabungan antara kualitas produk, layanan dan proses. Sebuah produk yang baik tidak mungkin dapat dinikmati oleh penggunanya jika tidak disertai dengan layanan yang baik. Kualitas layanan dan produk akan sangat bergantung pada proses pengelolaan produk dan layanan tersebut. Pihak luar (eksternal) akan memandang kualitas sistem secara keseluruhan dari lima aspek kualitas layanan (Servqual) yaitu tangible, reliable, responsive, emphaty dan assurance. Pihak eksternal diwakili oleh konsumen organisasi tersebut dan pihak internal adalah karyawan yang menggunakan sistem tersebut.
Konsep kerangka kerja tersebut kemudian dijadikan landasan untuk membangun kerangka kerja yang lebih aplikatif dan dilengkapi dengan langkah-langkah aktivitas yang lebih realistis yang meliputi pengumpulan opini terhadap 3 dimensi sistem informasi (diukur melalui atribut-atributnya) dan 5 aspek kualitas layanan dengan cara penyebaran kuisioner, menganalisis data hasil opini dengan melihat kesenjangan antara dua sudut penilaian (ekspektasi dan kenyataan), dan menyusun peringkat atribut berdasarkan nilai kesenjangan yang paling besar. Besarnya kesenjangan ini kemudian dijadikan alat identifikasi adanya masalah pada sistem yang sedang berjalan, serta untuk membuat rekomendasi prioritas penanganan masalah.
Kerangka kerja tersebut kemudian dicoba diterapkan untuk mengevaluasi sistem informasi akademik di STMIK AMIK BANDUNG. Dari penerapan kerangka kerja ini diperoleh beberapa temuan menarik, diantaranya sebagian besar responden menganggap keakuratan dan kecepatan informasi menjadi prioritas utama untuk diperbaiki karena kualitasnya dianggap belum sesuai kebutuhan. Sedangkan masalah-masalah lain tidak terlalu signifikan. Hasil ini tentunya sangat spesifik tergantung kondisi tempat penelitian dilaksanakan. Masalah-masalah yang berpotensi menjadi prioritas penyelesaian juga sangat bergantung pada kondisi lingkungan dan profil responden.