Penerapan Arsitektur BERT2BERT pada Model Respon Dialog Chatbot Berbahasa Indonesia dengan Dataset Berukuran Terbatas
Kata Kunci:
natural language processing, BERT2BERT, text generation, chatbot, BERT, encoder-decoderAbstrak
Efisiensi yang ditawarkan menjadikan chatbot sebagai salah satu solusi yang populer untuk beragam permasalahan. Misalnya, dalam konteks layanan akademik, chatbot dapat berperan menghemat sumber daya yang diperlukan dalam menyediakan jawaban pertanyaan yang bersifat rutin, tetapi masih sulit diterapkan karena kurangnya data. Arsitektur yang populer dalam tugas text generation diantaranya encoder-decoder dan decoder-only. Menggunakan arsitektur encoder-decoder, BERT2BERT memanfaatkan BERT pre-trained model yang digunakan untuk inisialisasi komponen encoder dan decoder (Rothe et al., 2020). Arsitektur ini telah digunakan dalam penelitian untuk membangun conversational model berbahasa Arab dan merupakan solusi yang baik untuk permasalahan kurangnya dataset (Naous et al., 2021). Penelitian ini mencoba menggunakan arsitektur BERT2BERT untuk membangun model respon chatbot berbahasa Indonesia dengan data terbatas dan untuk keperluan layanan akademik. Hasil dari penelitian ini adalah arsitektur BERT2BERT memberikan performa yang kurang dengan perplexity score yang diperoleh adalah 573.0654, sementara perplexity score dari model GPT2 adalah 61.2645. Skor cosine similarity juga lebih rendah di angka 0.4009 dibandingkan dengan model GPT2 dengan skor cosine similarity 0.7037. Meskipun begitu, model BERT2BERT memberikan hasil yang lebih baik dibandingkan dengan model encoder-decoder sejenis, BERT2GPT. Model dengan arsitektur encoder-decoder seperti BERT2BERT tidak unggul dalam penelitian ini kemungkinan dikarenakan sulitnya mendapatkan konteks dari data yang berukuran terbatas.
Referensi
Devlin, J., Chang, M.W., Lee, K., Toutanova, K., 2019. BERT: Pre-training of deep bidirectional transformers for language understanding. NAACL HLT 2019 - 2019 Conf. North Am. Chapter Assoc. Comput. Linguist. Hum. Lang. Technol. - Proc. Conf. 1, 4171–4186.
Kandpal, N., Deng, H., Roberts, A., Wallace, E., Raffel, C., 2022. Large Language Models Struggle to Learn Long-Tail Knowledge.
Keukeleire, P., Viering, T., Makrodimitris, S., Naseri Jahfari, A., Loog, M., Tax, D., Delft PKeukeleire, T., 2020. Correspondence Between Perplexity Scores and Human Evaluation of Generated TV-Show Scripts.
Koto, F., Rahimi, A., Lau, J.H., Baldwin, T., 2020. IndoLEM and IndoBERT: A Benchmark Dataset and Pre-trained Language Model for Indonesian NLP. COLING 2020 - 28th Int. Conf. Comput. Linguist. Proc. Conf. 757–770.
Lahitani, A.R., Permanasari, A.E., Setiawan, N.A., 2016. Cosine similarity to determine similarity measure: Study case in online essay assessment. Proc. 2016 4th Int. Conf. Cyber IT Serv. Manag. CITSM 2016 1–6.
Naous, T., Antoun, W., Mahmoud, R.A., Hajj, H., 2021. Empathetic BERT2BERT Conversational Model: Learning Arabic Language Generation with Little Data. WANLP 2021 - 6th Arab. Nat. Lang. Process. Work. Proc. Work. 164–172.
Puri, R., Spring, R., Shoeybi, M., Patwary, M., Catanzaro, B., 2020. Training question answering models from synthetic data. EMNLP 2020 - 2020 Conf. Empir. Methods Nat. Lang. Process. Proc. Conf. 5811–5826.
Rothe, S., Narayan, S., Severyn, A., 2020. Leveraging pre-trained checkpoints for sequence generation tasks. Trans. Assoc. Comput. Linguist. 8, 264–280.
von Platen, P., 2020. Leveraging Pre-trained Language Model Checkpoints for Encoder-Decoder Models [WWW Document]. Hugging Face. URL https://huggingface.co/blog/warm-starting-encoder-decoder
Devlin, J., Chang, M.W., Lee, K., Toutanova, K., 2019. BERT: Pre-training of deep bidirectional transformers for language understanding. NAACL HLT 2019 - 2019 Conf. North Am. Chapter Assoc. Comput. Linguist. Hum. Lang. Technol. - Proc. Conf. 1, 4171–4186.
Kandpal, N., Deng, H., Roberts, A., Wallace, E., Raffel, C., 2022. Large Language Models Struggle to Learn Long-Tail Knowledge.
Keukeleire, P., Viering, T., Makrodimitris, S., Naseri Jahfari, A., Loog, M., Tax, D., Delft PKeukeleire, T., 2020. Correspondence Between Perplexity Scores and Human Evaluation of Generated TV-Show Scripts.
Koto, F., Rahimi, A., Lau, J.H., Baldwin, T., 2020. IndoLEM and IndoBERT: A Benchmark Dataset and Pre-trained Language Model for Indonesian NLP. COLING 2020 - 28th Int. Conf. Comput. Linguist. Proc. Conf. 757–770.
Lahitani, A.R., Permanasari, A.E., Setiawan, N.A., 2016. Cosine similarity to determine similarity measure: Study case in online essay assessment. Proc. 2016 4th Int. Conf. Cyber IT Serv. Manag. CITSM 2016 1–6.
Naous, T., Antoun, W., Mahmoud, R.A., Hajj, H., 2021. Empathetic BERT2BERT Conversational Model: Learning Arabic Language Generation with Little Data. WANLP 2021 - 6th Arab. Nat. Lang. Process. Work. Proc. Work. 164–172.
Puri, R., Spring, R., Shoeybi, M., Patwary, M., Catanzaro, B., 2020. Training question answering models from synthetic data. EMNLP 2020 - 2020 Conf. Empir. Methods Nat. Lang. Process. Proc. Conf. 5811–5826.
Rothe, S., Narayan, S., Severyn, A., 2020. Leveraging pre-trained checkpoints for sequence generation tasks. Trans. Assoc. Comput. Linguist. 8, 264–280.
von Platen, P., 2020. Leveraging Pre-trained Language Model Checkpoints for Encoder-Decoder Models [WWW Document]. Hugging Face. URL https://huggingface.co/blog/warm-starting-encoder-decoder
Diterbitkan
Cara Mengutip
Terbitan
Bagian
Lisensi
Hak Cipta (c) 2024 Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
Artikel ini berlisensiCreative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
