Model enterprise architecture penting untuk mengelola kompleksitas struktur organisasi, teknologi informasi&lingkungan bisnis, dan memfasilitasi integrasi strategi, personil, bisnis &TI untuk mencapai tujuan bersama. Model EA merupakan model struktural (design) yang memberikan pandangan menyeluruh dari sebuah organisasi dan dapat digunakan sebagai dokumentasi, komunikasi, diagnosis, analisis, diskusi, dan pedoman bagi perusahaan yang dinamis. Oleh karena itu banyak organisasi mengalokasikan sumber daya dan berinvestasi pada proyek EA untuk memahami dan mewujudkan bisnis mereka. Sayangnya enterprise seringkali gagal mendapatkan manfaat dari model EA karena tidak memenuhi harapan dari stakeholder. Dalam konteks produk dan layanan EA, seberapa baik produk atau layanan EA memenuhi kebutuhan stakeholder disebut sebagai kualitas. Kualitas adalah totalitas features dan karakteristik yang berhubungan dengan kemampuan dalam memenuhi kebutuhan yang tersurat maupun tersirat. Oleh karena itu diperlukan evaluasi terhadap kualitas karena akan berguna dan membawa nilai bagi enterprise. Hal ini disebabkan karena persepsi positif tentang nilai EA sangat penting untuk memastikan komitmen berkelanjutan dari stakeholder.
Studi terkait evaluasi EA sendiri cukup banyak dilakukan dan sebagian besar berfokus pada perencanaan dan proses pemodelan EA. Disi lain, penelitian terkait evaluasi model EA sendiri masih terbatas dan secara umum masih dilakukan secara manual melalui kuisioner dan wawancara. Tetapi dengan karakteristik model EA yang komplek dan dinamis maka evaluasi membutuhkan waktu lama dengan sumber daya yang harus memiliki keahlian tertentu. Hasilnya juga akan sangat bergantung pada interpretasi manusia. Untuk itu diperlukan proses otomasi dalam melakukan evaluasi. Pendekatan verifikasi formal akan digunakan untuk teknik evaluasi yang dibangun. Teknik evaluasi yang dilakukan secara otomatis memungkinkan manajemen menjalankan evaluasi yang hemat biaya dan waktu serta mendapatkan hasil yang objektif. Mengatasi isu tersebut, penelitian ini mengusulkan faktor kualitas yang tepat untuk model EA dan teknik evaluasi kualitas yang dapat dilakukan secara otomastis.
Faktor kualitas untuk evaluasi model Enterprise Architecture (EA) telah diidentifikasi melalui systematic literature review dan juga diklasifikasikan menggunakan framework Sequal. Terdapat 17 faktor kualitas yang diusulkan dan dipetakan ke dalam 6 type dari framework Sequal yaitu semantik, sintaksis, pragmatis, fisik, deontik dan empiris. Untuk mengetahui tingkat relevansi faktor yang telah diidentifikasi terhadap kualitas model EA dilakukan dengan studi kuantitatif. Studi kuantitatif dianalisis secara statistik menggunakan uji validitas dan reliabilitas. Uji validitas dilakukan menggunakan metode korelasi pearson product momment
antara setiap item pernyataan dengan total skornya, dimana sebuah item pernyataan dinyatakan valid jika koefisien validitas lebih besar atau sama dengan 0,300. Sedangkan uji reliabilitas data bertujuan untuk menguji konsistensi dari satu set alat ukur pada setiap tipe kualitas. Metode yang digunakan untuk menguji reliabilitas kuesioner adalah croncbach alpha, dimana sebuah tipe kualitas dinyatakan reliabel jika menghasilkan croncbach alpha lebih besar atau sama dengan 0,700. Hasilnya setiap indikator dinyatakan valid karena memiliki koefisien validitas diatas 0,300 sehingga mampu menjelaskan masing-masing tipe kualitas dengan baik. Demikian pula croncbach alpha yang dihasilkan semuanya lebih besar dari titik kritis yang diperbolehkan yaitu 0,700 sehingga setiap instrument tipe kualitas dinyatakan reliabel atau handal dalam mengukur masing-masing tipe kualitas yang telah diusulkan.
Faktor kualitas selanjutnya di evaluasi untuk menilai tingkat kepentingan setiap faktor dalam praktek nyata melalui survey kepada expert dan sekelompok praktisi di bidang EA. Survey dilakukan dengan metode wawancara dan kuisioner. Hasilnya dari 17 faktor, terdapat 16 faktor kualitas yang relevan dan penting untuk digunakan pada praktek nyata sedangkan faktor attractiveness di pandang tidak terlalu meyakinkan. Dengan mempertimbangkan kebutuhan simplifikasi dan prioritas beberapa faktor memiliki tingkat kepentingan yang lebih tinggi dibanding faktor lain. Hasil survey menentukan 6 faktor kualitas yang paling penting adalah completeness, correctness, interpretability, alignment, integration dan readability&understanbility.
Teknik evaluasi faktor kualitas dikembangkan menggunakan pendekatan verifikasi formal dengan teknik model checking. Kakas untuk model checking yang dipilih adalah Alloy. Pengembangan teknik evaluasi akan mengikuti 3 fase yang ada pada teknik model checking yaitu modelling, formal specification dan verification. Di fase modelling, plugin Archimate2Alloy di customize dan selanjutnya digunakan untuk mentransformasi model EA yang dikembangkan menggunakan bahasa Archimate ke format alloy. Metamodel untuk bahasa Archimate juga dibangun sesuai dengan ArchiMate specification 3.0 sehingga verifikasi dapat dilakukan. Sedangkan untuk fase specification, karena faktor kualitas alignment yang akan diverifikasi maka spesifikasi untuk faktor kualitas alignment dikembangkan. Spesifikasi akan dikembangkan berdasarkan rules alignment yang diidentifikasi menggunakan pendekatan heuristic alignment. Dari 52 rules alignment yang berhasil diidentifikasi selanjutnya dianalisa dan menghasilkan 21 spesifikasi formal. Teknik verifikasi selanjutnya di uji cobakan pada 4 model EA yang dikembangkan oleh Open Group. Hasilnya teknik evaluasi yang dikembangkan dapat menemukan pelangaran yang ada pada model EA yang dapat digunakan sebagai rekemendasi untuk memperbaiki model EA.
Otomasi penggunaan teknik evaluasi model kualitas dan kecepatan memperoleh hasil evaluasi diharapkan dapat meningkatkan partisipasi arsitek dan stakeholder dalam melakukan proses evaluasi. Dengan ini diharapkan kualitas model EA lebih mudah untuk dicapai sehingga akan meningkatkan persepsi positif stakeholder terhadap nilai dari model EA.