Rancang Bangun Infrastruktur Pemrosesan Big Data Menggunakan Apache Drill (Studi Kasus: SIRCLO)

Abstrak

Berkembangnya penggunaan teknologi di masyarakat sangat mempengaruhi intensitas masyarakat dalam melakukan transaksi jual beli online, termasuk juga persaingan dari setiap penyedia jasa jual beli online. Agar dapat bersaing dengan semakin banyak competitor yang muncul, SIRCLO sebagai sebuah perusahaan e-commerce, membutuhkan analisis dari data-data yang SIRCLO dapatkan melalui segala aktifitas jual beli pada toko yang ada di SIRCLO. Tetapi untuk melakukan analisis tersebut, dibutuhkan sebuah sistem yang mampu membaca data mentah tersebut. Berdasarkan dari permasalahan tersebut, perlu adanya penelitian terkait rancangan infrastruktur. Penelitian ini menggunakan Apache Drill, HDFS sebagai tempat penyimpanan data, dan script berbasis Python untuk mengkonversi data dari MySQL ke JSON. Penelitian ini dimulai dari proses mengkonveri data dari sumber data (dalam penelitian ini menggunakan MySQL) ke JSON. Setelah itu dilakukan penyimpanan ke HDFS dan dilakukan query file menggunakan Apache Drill. Apache Drill sendiri dipilih karena fleksibilitasnya yang mampu melakukan query dengan syntax MySQL ke plain text, dan menggunakan konsep schema free. Untuk penyimpanan digunakan HDFS, diharapkan agar pengambilan data dari Apache Drill bisa lebih efektif dan manajemen data lebih baik, karena HDFS adalah penyimpanan data secara terdistribusi. Pengujian dilakukan dengan beberapa skenario, yaitu dari jumlah server yang digunakan dan besaran file yang digunakan. Parameter pengujian yang diambil mulai dari resource usage dari server dan lama waktu proses. Setelah penelitian ini selesai dilakukan terdapat beberapa kesimpulan, yaitu, didapatkan rancangan, komponen yang dapat memproses data milik SIRCLO, data dari MySQL berhasil diambil dan dinormalisasi menjadi JSON agar lebih mudah diolah, dan setelah rancangan diimplementasikan, infrastruktur ini dapat memproses data milik SIRCLO.