Perpustakaan Digital ITB

Proses web scraping dilakukan dengan menggunakan aplikasi yang disebut scraper. Berbagai kakas telah dibangun untuk mempermudah proses pembangunan scraper, namun kakas – kakas tersebut hanya dapat digunakan oleh programmer, sedangkan pengguna yang membutuhkan web scraping tidak hanya programmer namun juga non programmer. Non programmer yang dimaksud dalam penelitian ini adalah seseorang yang mampu memjalankan komputer melalui shell dan kurang berpengalaman dalam programming. Dibutuhkan suatu pendekatan yang cocok dalam pembangunan scraper oleh non programmer. Oleh karena itu, pada penelitian ini dibangun scrapingDSL, yaitu domain specific language yang dapat digunakan oleh non programmer untuk membangun scraper. Scraper yang dibangun menggunakan scrapingDSL harus mampu melakukan web scraping terhadap semua jenis website dengan struktur yang berbeda – beda dan harus mudah dipahami, ditulis, dan diubah. Untuk membangun scrapingDSL yang dapat memenuhi kebutuhan tersebut, peneliti melakukan analisis terhadap kakas - kakas yang digunakan dalam web scraping untuk menentukan kakas yang tepat sebagai engine scrapingDSL, melakukan analisis terhadap struktur website untuk menentukan kebutuhan scrapingDSL dan aplikasi penerjemah yang dibangun, serta melakukan analisis terhadap alur pengambilan konten website untuk menentukan elemen bahasa scrapingDSL yang dibutuhkan. Pada akhir penelitian dilakukan pengujian untuk mengetahui apakah scrapingDSL dapat digunakan oleh non programmer untuk membangun scraper. Pengujian dilakukan dengan meminta 12 orang responden non programmer untuk membangun scraper menggunakan scrapingDSL.