Analisis Peningkatan Performa Proses ETL (Extract, Transform, Dan Loading) Pada Data Warehouse Dengan Menerapkan Delta Extraction Menggunakan Historical Table

Abstrak

Dalam jangka waktu tertentu, umumnya instansi pendidikan menghasilkan data dengan kapasitas yang sangat besar dari kegiatan operasionalnya. Dari data tersebut akan muncul kebutuhan untuk mendapatkan informasi tertentu yang berguna sebagai bahan evaluasi kinerja atau bahkan sebagai bahan untuk mengambil keputusan manajemen kedepannya. Data warehouse merupakan salah satu solusi dari kebutuhan tersebut. Dengan bertambahnya kapasitas dan kompleksitas suatu data warehouse yang dimiliki maka teknik full extract dalam proses Extract Transform Loading (ETL) menjadi tidak memadai bahkan pada kasus tertentu proses ini tidak bisa diaplikasikan, salah satunya dikarenakan teknik ini menyebabkan cost yang besar. Delta extraction dapat menjadi salah satu solusi dari permasalahan tersebut dikarenakan prosesnya yang hanya meng-extract data yang mengalami perubahan saja pada proses ETL. Teknik delta extraction ini akan diuji coba pada DBMS MySQL dengan menggunakan historical table dan trigger. Dari hasil uji coba beban didapatkan kesimpulan bahwa pengimplementasian trigger memberikan beban terhadap tabel parent-nya, namun waktu tunggu yang dibutuhkan masih dapat ditoleransi.