Perpustakaan Digital ITB

Tugas Akhir ini berisi rekomendasi arsitektur data untuk manajemen big data dengan jenis Data Lakehouse yang kompatibel dengan Apache Iceberg. Arsitektur data ini dirancang untuk menyelesaikan permasalahan yang timbul dari pendekatan two-tier architecture yang digunakan oleh PT. Bank X dalam memanajemen big data. Penelitian dilakukan dengan terlebih dahulu memahami arsitektur data yang digunakan di PT. Bank X beserta dengan melakukan analisis kebutuhan PT. Bank X untuk melakukan manajemen big data. Selanjutnya, arsitektur data secara spesifik didesain sesuai dengan kebutuhan PT. Bank X. Arsitektur yang direkomendasikan dirancang berdasarkan dua basis storage, MinIO dan HDFS, dengan beberapa komponen lain yaitu catalog, table format, file format, compute engine, dan storage engine. Kemudian, arsitektur yang telah direkomendasikan akan dibandingkan kinerjanya terbatas pada lingkup regulatory reporting, pembatasan lingkup dilakukan karena manajemen big data memiliki cakupan kegunaan yang luas dan kompleks. Perbandingan kinerja dilakukan melalui beberapa proses pengujian dan evaluasi untuk memastikan bahwa arsitektur data memenuhi standar minimum sebuah Data Lakehouse dan juga memenuhi kebutuhan PT. Bank X. Setelah dilakukan evaluasi dan pengujian, hasil menunjukkan bahwa kedua arsitektur baik dengan basis MinIO maupun HDFS masing-masing memiliki kelebihan dan kekurangan. Akan tetapi, arsitektur berbasis MinIO memiliki kinerja yang lebih baik pada mayoritas kasus uji. Maka dari itu, arsitektur berbasis MinIO adalah arsitektur data yang paling baik untuk lingkup regulatory reporting pada PT. Bank X.