Analisis Perbandingan Efisiensi Metode Trigger, Timestamp dan Log-based dalam Implementasi Change Data Capture (CDC) pada Database PostgreSQL dan MySQL

Rafli Ardiansyah; Aryo Pinnandito

Analisis Perbandingan Efisiensi Metode Trigger, Timestamp dan Log-based dalam Implementasi Change Data Capture (CDC) pada Database PostgreSQL dan MySQL

Penulis

Rafli Ardiansyah Universitas Brawijaya
Aryo

Kata Kunci:

Change data capture, trigger, timestamp, log-based, database, efisiensi

Abstrak

Perkembangan integrasi sistem informasi mendorong kebutuhan sinkronisasi data secara real-time. Change Data Capture (CDC) merupakan solusi untuk menangkap dan mereplikasi perubahan data pada database relasional. Penelitian ini bertujuan untuk mengetahui metode yang lebih baik dalam hal efisiensi tiga metode CDC, yaitu trigger-based, timestamp-based, dan log-based, pada dua sistem manajemen basis data (DBMS), yaitu PostgreSQL dan MySQL. Evaluasi dilakukan terhadap waktu eksekusi, penggunaan memori, dan latensi dalam berbagai skenario operasi data (INSERT, UPDATE, dan DELETE) dengan ukuran kueri yang berbeda, yaitu 100, 300, dan 500. Penelitian ini menggunakan pendekatan eksperimen dengan mengimplementasikan setiap metode CDC pada dataset yang sama, diikuti oleh pengukuran metrik kinerja secara terpisah untuk setiap skenario. Pengujian dilakukan sebanyak 100 kali per skenario untuk memastikan hasil yang representatif. Data dianalisis menggunakan statistik deskriptif serta uji statistik non-parametrik guna mengevaluasi perbedaan kinerja antar metode. Hasil penelitian menunjukkan bahwa metode log-based unggul dalam efisiensi waktu eksekusi, penggunaan memori, dan latensi pada mayoritas skenario pengujian yang dilakukan. Keunggulan ini tercermin dalam kemampuannya menyelesaikan proses transaksi dengan lebih cepat, mengoptimalkan alokasi sumber daya memori selama operasi berlangsung, dan memberikan respons sistem yang lebih rendah dalam hampir semua kondisi pengujian, baik pada skala data kecil maupun besar, serta pada berbagai jenis operasi.

Referensi

Bin, Z., Shuai, S., Zhi-chun, G., & Jian-feng, H. (2021). Design and Implementation of Incremental Data Capturing in Wireless Network Planning based on Log Mining. 2021 IEEE 5th Advanced Information Technology, Electronic and Automation Control Conference (IAEAC), 5, 2757–2761. https://doi.org/10.1109/IAEAC50856.2021.9390978

Chandra, H. (2018). Analysis of Change Data Capture Method in Heterogeneous Data Sources to Support RTDW. 2018 4th International Conference on Computer and Information Sciences (ICCOINS), 1–6. https://doi.org/10.1109/ICCOINS.2018.8510574

DB-Engines. (2024, September 8). DB-Engines Ranking Open Source vs. Commercial DBMS. Https://Db-Engines.Com/En/Ranking_osvsc.

Denny, Atmaja, I. P. M., Saptawijaya, A., & Aminah, S. (2017). Implementation of change data capture in ETL process for data warehouse using HDFS and apache spark. 2017 International Workshop on Big Data and Information Security (IWBIS), 49–55. https://doi.org/10.1109/IWBIS.2017.8275102

Framiñan, J., & Fernandez-Viagas, V. (2021). Exploring the benefits of scheduling with advanced and real-time information integration in Industry 4.0: A computational study. J. Ind. Inf. Integr., 27, 100–281.

Hu, Y., & Plonsky, L. (2019). Statistical assumptions in L2 research: A systematic review. Second Language Research, 37, 171–184.

Hu, Y., & Stefan, D. (2013). Extracting Deltas from Column Oriented NoSQL Databases for Different Incremental Applications and Diverse Data Targets.

Lande, O. B. S.-, Johnson, E., Adeleke, G. S., Amajuoyi, C. P., & Simpson, B. D. (2024). Enhancing business intelligence in e-commerce: Utilizing advanced data integration for real-time insights. International Journal of Management & Entrepreneurship Research. https://doi.org/10.51594/ijmer.v6i6.1207

Qlik. (2024). What is Change Data Capture (CDC)? Definition, Best Practices. Https://Www.Qlik.Com/Us/Change-Data-Capture/Cdc-Change-Data-Capture.

Schmidt, F. M., Geyer, C., Schaeffer-Filho, A., DeBloch, S., & Hu, Y. (2015). Change data capture in NoSQL databases: A functional and performance comparison. 2015 IEEE Symposium on Computers and Communication (ISCC), 562–567. https://doi.org/10.1109/ISCC.2015.7405574

The Economist Intelligence Unit. (2018). From data overload to effective decision-making. Https://Impact.Economist.Com/Perspectives/Strategy-Leadership/Data-Overload-Effective-Decision-Making-0/Article/Data-Overload-Effective-Decision-Making.

Thulasiram, S., & Ramaiah, N. (2020). Real Time Data Warehouse Updates Through Extraction-Transformation-Loading Process Using Change Data Capture Method. In S. Smys, T. Senjyu, & P. Lafata (Eds.), Second International Conference on Computer Networks and Communication Technologies (pp. 552–560). Springer International Publishing.

Winnetou, A. B., Wicaksono, S. A., & Pinandito, A. (2017). Analisis Peningkatan Performa Proses ETL (Extract, Transform, Dan Loading) Pada Data Warehouse Dengan Menerapkan Delta Extraction Menggunakan Historical Table. Jurnal Pengembangan Teknologi Informasi Dan Ilmu Komputer, 2(4), 1366–1371. https://j-ptiik.ub.ac.id/index.php/j-ptiik/article/view/1172

Yao, X., Li, J., Tao, Y., & Ji, S. (2022). Relational Database Query Optimization Strategy Based on Industrial Internet Situation Awareness System. 7th International Conference on Computer and Communication Systems (ICCCS), 152–155.

Analisis Perbandingan Efisiensi Metode Trigger, Timestamp dan Log-based dalam Implementasi Change Data Capture (CDC) pada Database PostgreSQL dan MySQL