Sistem Tanya Jawab Closed-Domain terhadap Dokumen Fatwa menggunakan Retrieval Augmented Generation dan Large Language Model

Abstrak

Agama Islam menjunjung tinggi kesesuaian antara hukum serta prinsip syariah dengan pengambilan keputusan dan tanggapan seorang Muslim terhadap setiap masalah atau fenomena sosial yang terjadi. Permasalahan dan berbagai fenomena sosial baru seiring berkembangnya teknologi serta peradaban memunculkan kebutuhan fatwa sebagai dasar pengambilan keputusan seorang Muslim dalam menghadapi kedua hal tersebut. Berbagai figur religi serta Majelis Ulama Indonesia (MUI) berupaya memenuhi permintaan ini dengan sejumlah aktivitas dakwah, namun permintaan masif dan berulang dari masyarakat memunculkan risiko penyampaian materi dakwah secara dangkal, inkonsistensi materi terhadap sumber, misinformasi, dan minimnya etika dalam menyampaikan materi. Solusi yang diusulkan dalam penelitian ini berupa rancangan sistem tanya jawab yang menghasilkan jawaban komprehensif berdasarkan dokumen fatwa yang sudah ada. Solusi ini dapat diwujudkan menggunakan rangka kerja Retrieval Augmented Generation (RAG) yang terdiri dari Large Language Model (LLM) sebagai generator, yaitu penghasil jawaban, serta retriever sebagai pencari dokumen sumber dari jawaban. Untuk memastikan sistem dapat membentuk jawaban dengan kemiripan yang tinggi terhadap dokumen fatwa, penelitian ini juga membandingkan metode pencarian untuk information retrieval seperti cosine similarity dan Maximum Inner Product Search (MIPS). Hasil pengujian terhadap komponen retriever menunjukkan bahwa metode pencarian cosine similarity dan MIPS mencapai nilai kinerja terbaik pada setiap metrik pada jumlah K sebanyak 25, salah satunya F1-Score@K dengan nilai 0,52. Nilai rerata terbaik dari dua metrik kinerja generator tercapai dengan integrasi RAG, yaitu 0,67 untuk P-BERT dan 0,63 untuk F-BERT.