Studi Perbandingan pada Metode CNN-LSTM dan LSTM dalam Mendeteksi Emosi pada Data Teks Berbahasa Indonesia pada Media Sosial Twitter

Alwan Fauzul Azhim Kustiwa; Muhammad Aminul Akbar; Aryo Pinandito

Studi Perbandingan pada Metode CNN-LSTM dan LSTM dalam Mendeteksi Emosi pada Data Teks Berbahasa Indonesia pada Media Sosial Twitter

Penulis

Alwan Fauzul Azhim Kustiwa Universitas Brawijaya
Muhammad Aminul Akbar
Aryo Pinandito

Kata Kunci:

Deteksi Emosi, Klasifikasi, Bahasa Indonesia, CNN-LSTM, LSTM, Uji T Berpasangan, K-Fold Cross Validation

Abstrak

Model deteksi emosi pada data teks memiliki banyak fungsi seperti sentimen analisis hingga cara untuk mengekstrak emosi dari teks yang kemudian di konfigurasikan pada text-to-voice. Salah satu model yang banyak digunakan dalam NLP deteksi emosi adalah LSTM. Menurut beberapa penelitian performa dari LSTM ini bisa ditingkatkan dengan menggabungkannya dengan CNN menjadi CNN-LSTM. Dalam penelitian ini kami akan meneliti perbandingan antara CNN-LSTM dan LSTM dalam mendeteksi emosi ketika dilatih dan dievaluasi menggunakan data Bahasa Indonesia sehari-hari. Penelitian dilakukan dengan melatih dan mengevaluasi model CNN-LSTM dan LSTM dengan menggunakan metode stratified K-Fold Cross Validation untuk melihat konsistensi performa model. Dataset yang digunakan merupakan Bahasa Indonesia sehari-hari yang bersumber dari media sosial. CNN-LSTM dan LSTM akan dilatih dan diuji menggunakan pasangan train-test yang sama pada setiap fold sehingga data performa dari kedua model akan saling berpasangan pada setiap fold. Performa yang diuji antara lain akurasi, precision, recall, f1-score dan loss yang berupa cross entropy loss. Distribusi data performa dari setiap model dilakukan uji hipotesis beda antara kedua model pada setiap metrik. Dari hasil pengujian statistik yang dilakukan, dari 5 metrik yang diuji menunjukan CNN-LSTM hanya memiliki loss yang signifikan lebih rendah daripada LSTM. Sedangkan pada 4 metrik lainnya menunjukan tidak ada perbedaan yang signifikan.

Referensi

Akbarianto Wibowo, H., Nindyatama Nityasya, M., Feyza AkyürekAky, A., Suci Fitriany, A., Fikri Aji, A., Eko Prasojo, R., & Tanti Wijaya, D. (2021). IndoCollex: A Testbed for Morphological Transformation of Indonesian Colloquial Words. www.kaggle.com/grikomsn/lazada-indonesian-reviews

Alfat, L., Nasucha, M., Uddin, N., Salleh, K. A., & Baharun, N. (2023). Sentiment Classification of Indonesian Emotion Related to Vaccination Event using LSTM. 2023 IEEE World AI IoT Congress, AIIoT 2023, 825–829. https://doi.org/10.1109/AIIoT58121.2023.10174581

Anguita, D., Ghelardoni, L., Ghio, A., Oneto, L., & Ridella, S. (2012). The “K” in K-fold Cross Validation. http://www.i6doc.com/en/livre/?GCOI=28001100967420.

Ankita, Rani, S., Bashir, A. K., Alhudhaif, A., Koundal, D., & Gunduz, E. S. (2022). An efficient CNN-LSTM model for sentiment detection in #BlackLivesMatter. Expert Systems with Applications, 193. https://doi.org/10.1016/j.eswa.2021.116256

Bojanowski, P., Grave, E., Joulin, A., & Mikolov, T. (2016). Enriching Word Vectors with Subword Information. http://arxiv.org/abs/1607.04606

Brigato, L., & Iocchi, L. (2020). A close look at deep learning with small data. Proceedings - International Conference on Pattern Recognition, 2490–2497. https://doi.org/10.1109/ICPR48806.2021.9412492

Chopra, A., Prashar, A., & Sain, C. (2013). Natural Language Processing. INTERNATIONAL JOURNAL OF TECHNOLOGY ENHANCEMENTS AND EMERGING ENGINEERING RESEARCH, 1(4). http://en.wikipedia.org/wiki/

Haddi, E., Liu, X., & Shi, Y. (2013). The role of text pre-processing in sentiment analysis. Procedia Computer Science, 17, 26–32. https://doi.org/10.1016/j.procs.2013.05.005

Hanusz, Z., Tarasinska, J., & Zielinski, W. (2016). SHAPIRO-WILK TEST WITH KNOWN MEAN. In REVSTAT-Statistical Journal (Vol. 14, Issue 1).

Heldiansyah, M. F., & Winarko, E. (2022). Emotion Detection on Indonesian Tweets Using CNN and Contextualized Word Embedding. Proceedings of 2022 International Conference on Data and Software Engineering, ICoDSE 2022, 53–58. https://doi.org/10.1109/ICoDSE56892.2022.9972229

Ho, Y., & Wookey, S. (2020). The Real-World-Weight Cross-Entropy Loss Function: Modeling the Costs of Mislabeling. IEEE Access, 8, 4806–4813. https://doi.org/10.1109/ACCESS.2019.2962617

Hochreiter, S., & Schmidhubber, J. (1997). LONG SHORT-TERM MEMORY. Neural Computation, 9(8), 1735–1780.

Hsu, H., & Lachenbruch, P. A. (2005). Paired t Test.

Mrhar, K., Benhiba, L., Bourekkache, S., & Abik, M. (2021). A Bayesian CNN-LSTM Model for Sentiment Analysis in Massive Open Online Courses MOOCs. International Journal of Emerging Technologies in Learning, 16(23), 216–232. https://doi.org/10.3991/ijet.v16i23.24457

Nisa, R., Amriza, S., & Supriyadi, D. (2021). Komparasi Metode Machine Learning dan Deep Learning untuk Deteksi Emosi pada Text di Sosial Media Klasifikasi Loyalitas Pengguna Sistem E-Learning Menggunakan Net Promoter Score dan Machine Learning View project. JUPITER (Jurnal Pendidikan Teknik Elektro). https://doi.org/10.5281/3603.jupiter.2021.10

Pradana Rachman, F., Santoso, H., & History, A. (2021). Jurnal Teknologi dan Manajemen Informatika Perbandingan Model Deep Learning untuk Klasifikasi Sentiment Analysis dengan Teknik Natural Languange Processing Article Info ABSTRACT. 7(2), 103–112. http://http://jurnal.unmer.ac.id/index.php/jtmi

Riccosan, Saputra, K. E., Pratama, G. D., & Chowanda, A. (2022). Emotion dataset from Indonesian public opinion. Data in Brief, 43. https://doi.org/10.1016/j.dib.2022.108465

Riza, M. A., & Charibaldi, N. (2021). Emotion Detection in Twitter Social Media Using Long Short-Term Memory (LSTM) and Fast Text. International Journal of Artificial Intelligence & Robotics (IJAIR), 3(1), 15–26. https://doi.org/10.25139/ijair.v3i1.3827

Rong, X. (2014). word2vec Parameter Learning Explained. http://arxiv.org/abs/1411.2738

Salsabila, N. A., Winatmoko, Y. A., Septriandri, A. A., & Jamal, A. (2018). Colloquial Indonesian Lexicon. International Conference on Asian Language Processing (IALP).

Savigny, J., & Purwarianti, A. (2017). Emotion Classification on Youtube Comments using Word Embedding.

Sehu Mohamad, Z., & Mohd Hashim, I. H. (2020). EMOTIONAL EXPERIENCES DURING HAJJ: A LITERATURE. International Journal of Education, Psychology and Counseling, 5(34), 01–09. https://doi.org/10.35631/ijepc.534001

Tri Hermanto, D., Setyanto, A., & Luthfi, E. T. (2021). Algoritma LSTM-CNN untuk Sentimen Klasifikasi dengan Word2vec pada Media Online. Citec Journal, 8.

Ullah, F., Chen, X., Shah, S. B. H., Mahfoudh, S., Hassan, M. A., & Saeed, N. (2022). A Novel Approach for Emotion Detection and Sentiment Analysis for Low Resource Urdu Language Based on CNN-LSTM. Electronics (Switzerland), 11(24). https://doi.org/10.3390/electronics11244096

Vujović, Ž. (2021). Classification Model Evaluation Metrics. International Journal of Advanced Computer Science and Applications, 12(6), 599–606. https://doi.org/10.14569/IJACSA.2021.0120670

Wang, B., Wang, A., Chen, F., Wang, Y., & Kuo, C. C. J. (2019). Evaluating word embedding models: Methods and experimental results. In APSIPA Transactions on Signal and Information Processing (Vol. 8). Cambridge University Press. https://doi.org/10.1017/ATSIP.2019.12

Yang, F., Du, C., Huang, L., Yang, F., & Huang, L. (2019). Ensemble Sentiment Analysis Method based on R-CNN and C-RNN with Fusion Gate. In INTERNATIONAL JOURNAL OF COMPUTERS COMMUNICATIONS & CONTROL (Vol. 14, Issue 2).

Yu, Y., Si, X., Hu, C., & Zhang, J. (2019). A review of recurrent neural networks: Lstm cells and network architectures. In Neural Computation (Vol. 31, Issue 7, pp. 1235–1270). MIT Press Journals. https://doi.org/10.1162/neco_a_01199

Studi Perbandingan pada Metode CNN-LSTM dan LSTM dalam Mendeteksi Emosi pada Data Teks Berbahasa Indonesia pada Media Sosial Twitter