Implementasi Ekstraksi Gammatone-Frequency Cepstral Coefficient dan Klasifikasi Hidden Markov Model dalam Identifikasi Emosi Menggunakan Suara Jantung

Implementasi Ekstraksi Gammatone-Frequency Cepstral Coefficient dan Klasifikasi Hidden Markov Model dalam Identifikasi Emosi Menggunakan Suara Jantung

Penulis

  • Dimas Resha Putra Pamungkas Universitas Brawijaya
  • Barlian Henryranu Prasetio Universitas Brawijaya

Kata Kunci:

Suara Jantung, Emosi, Gammatone-Frequency Cepstral Coefficients, Hidden Markov Model, Signal-to-Noise Ratio

Abstrak

Kondisi emosional seseorang merupakan faktor penting dalam interaksi antar manusia, dan memengaruhi beberapa aspek di dalam komunikasi. Penelitian ini dilakukan untuk membuat sebuah sistem identifikasi emosi melalui suara jantung dengan implementasi ekstraksi Gammatone-Frequency Cepstral Coefficient (GFCC) dan klasifikasi Hidden Markov Model (HMM). Pada penelitian ini, kondisi emosi manusia akan dikelompokkan menjadi dua kelas berdasarkan nilai Beat Per Minute (BPM) dengan kelas tinggi untuk emosi senang, sedih, marah, takut, cemas, dan kelas rendah terkait dengan emosi santai dan bosan. Implementasi dilakukan melalui sebuah stetoskop elektronik yang terintegrasi dengan sebuah aplikasi android. Penelitian ini penting karena dapat memberikan informasi terkait efektivitas penggunaan GFCC pada pemrosesan suara jantung dalam identifikasi emosi. Pengujian Signal-to-Noise Ratio (SNR) yang dilakukan untuk mengetahui pengaruh ekstraksi GFCC dalam mengurangi noise pada suara jantung memperoleh hasil 93,33% yang membuktikan bahwa GFCC dapat mengurangi noise dengan baik. Selain itu, tingkat akurasi yang diperoleh sistem ini mencapai 75% pada akurasi validasi sistem dan 73,33% pada akurasi pengujian. Hasil tersebut membuktikan bahwa sistem mampu memprediksi label atau kelas dengan baik menggunakan suara jantung sebagai input utama sistem. Integrasi antara perangkat keras stetoskop elektronik dengan smartphone melalui aplikasi android membuat sistem ini mudah digunakan oleh pengguna. Penelitian ini memberikan kontribusi bagi pengguna dalam melakukan identifikasi emosi seseorang secara non-verbal melalui analisis suara jantung. Selain itu, penelitian ini juga diharapkan mampu membantu orang dengan keterbatasan komunikasi verbal serta mengurangi angka penderita gangguan kesehatan mental akibat ketidakstabilan emosional.

Referensi

Aini, Y. K., Santoso, T. B., & Dutono, T. (2021). Pemodelan CNN Untuk Deteksi Emosi Berbasis Speech Bahasa Indonesia. Jurnal Komputer Terapan, 7(1), 143–152. https://doi.org/10.35143/jkt.v7i1.4623

Aljufri, M. N., & Prasetio, B. H. (2022). Sistem Deteksi Tingkat Stress Menggunakan Suara dengan Metode Jaringan Saraf Tiruan dan Ekstraksi Fitur MFCC berbasis Raspberry Pi. Jurnal Pengembangan Teknologi Informasi Dan Ilmu Komputer, 6(11), 5278–5285. https://j-ptiik.ub.ac.id/index.php/j-ptiik/article/view/11842

Akour, M. (2020). Mobile Voice Recognition Based for Smart Home Automation Control. International Journal of Advanced Trends in Computer Science and Engineering, 9(3), 3788–3792. https://doi.org/10.30534/ijatcse/2020/196932020

Bimo, A., Kombinasi, G. :, Multi, F., Bimo Gumelar, A., Yuniarno, E. M., Anggraeni, W., Sugiarto, I., Kristanto, A. A., & Purnomo, M. H. (2020). Kombinasi Fitur Multispektrum Hilbert dan Cochleagram untuk Identifikasi Emosi Wicara (Spectrum Features Combination of Hilbert and Cochleagram for Speech Emotions Identification). Jurnal Nasional Teknik Elektro Dan Teknologi Informasi |, 9(2), 180–189.

Deng, M., Meng, T., Cao, J., Wang, S., Zhang, J., & Fan, H. (2020). Heart sound classification based on improved MFCC features and convolutional recurrent neural networks. Neural Networks, 130, 22–32. https://doi.org/10.1016/j.neunet.2020.06.015

Egger, M., Ley, M., & Hanke, S. (2019). Emotion Recognition from Physiological Signal Analysis: A Review. Electronic Notes in Theoretical Computer Science, 343, 35–55. https://doi.org/10.1016/j.entcs.2019.04.009

Fitria, L., Muttaqin, K., & Nasution, M. S. (2021). Implementasi Speech Recognition Pada Kata Kerja Dasar Menggunakan Metode MFCC. J-ICOM-Jurnal Informatika Dan Teknologi Komputer, 02(01), 43–50. https://ejurnalunsam.id/index.php/jicom/article/view/4076%0Ahttps://ejurnalunsam.id/index.php/jicom/article/download/4076/2715

Harper, R., & Southern, J. (2022). A Bayesian Deep Learning Framework for End-To-End Prediction of Emotion from Heartbeat. IEEE Transactions on Affective Computing, 13(2), 985–991. https://doi.org/10.1109/TAFFC.2020.2981610

Helmiyah, S., Fadlil, A., & Yudhana, A. (2019). Pengenalan Pola Emosi Manusia Berdasarkan Ucapan Menggunakan Ekstraksi Fitur Mel-Frequency Cepstral Coefficients (MFCC). CogITo Smart Journal, 4(2), 372–381. https://doi.org/10.31154/cogito.v4i2.129.372-381

Jha, V., Prakash, N., & Sagar, S. (2018). Wearable anger-monitoring system. ICT Express, 4(4), 194–198. https://doi.org/10.1016/j.icte.2017.07.002

Julian, T. S., Utaminingrum, F., & Syauqy, D. (2022). Sistem Voice Command pada Kursi Roda Pintar menggunakan MFCC dan CNN berbasis Jetson TX2. … Teknologi Informasi Dan Ilmu …, 6(11), 5505–5510. https://j-ptiik.ub.ac.id/index.php/j-ptiik/article/view/11917%0Ahttp://j-ptiik.ub.ac.id/index.php/j-ptiik/article/download/11917/5290

Li, F., Liu, M., Zhao, Y., Kong, L., Dong, L., Liu, X., & Hui, M. (2019). Feature extraction and classification of heart sound using 1D convolutional neural networks. Eurasip Journal on Advances in Signal Processing, 2019(1). https://doi.org/10.1186/s13634-019-0651-3

Muttaqin, D., & Suyanto, S. (2020). Speech Emotion Detection Using Mel-Frequency Cepstral Coefficient and Hidden Markov Model. 2020 3rd International Seminar on Research of Information Technology and Intelligent Systems, ISRITI 2020, 463–466. https://doi.org/10.1109/ISRITI51436.2020.9315433

Prasetio, B. H. (2023). … Melalui Ucapan menggunakan Ekstraksi Gammatone-Frequency Cepstral Coefficients dan Klasifikasi Random Forest Classifier berbasis Raspberry Pi 4. Jurnal Pengembangan Teknologi Informasi Dan …, 7(2), 1003–1011. https://jptiik.multi.web.id/index.php/j-ptiik/article/view/12364%0Ahttps://j-ptiik.ub.ac.id/index.php/j-ptiik/article/download/12364/5620

Renna, F., Oliveira, J., & Coimbra, M. T. (2019). Deep Convolutional Neural Networks for Heart Sound Segmentation. IEEE Journal of Biomedical and Health Informatics, 23(6), 2435–2445. https://doi.org/10.1109/JBHI.2019.2894222

REVISITING HIDDEN MARKOV MODELS FOR SPEECH EMOTION RECOGNITION Shuiyang Mao , Dehua Tao , Guangyan Zhang , P . C . Ching and Tan Lee. (2019). 6715–6719.

Shing-Tai Pan, Zong-Hong Huang, Sheng-Syun Yuan, Xu-Yu Li, Yu-De Su, & Jia-Hua Li. (2020). Application of Hidden Markov Models in Speech Command Recognition. Journal of Mechanics Engineering and Automation, 10(2), 41–45. https://doi.org/10.17265/2159-5275/2020.02.001

Singh, P., Nayak, P., Datta, A., Sani, D., Raghav, G., & Tejpal, R. (2019). Voice Control Device using Raspberry Pi. Proceedings - 2019 Amity International Conference on Artificial Intelligence, AICAI 2019, February, 723–728. https://doi.org/10.1109/AICAI.2019.8701409

Torad, M. A., Bouallegue, B., & Ahmed, A. M. (2022). A voice controlled smart home automation system using artificial intelligent and internet of things. Telkomnika (Telecommunication Computing Electronics and Control), 20(4), 808–816. https://doi.org/10.12928/TELKOMNIKA.v20i4.23763

Ullah, I., Ahmad, R., & Kim, D. H. (2018). A prediction mechanism of energy consumption in residential buildings using hidden markov model. Energies, 11(2), 1–20. https://doi.org/10.3390/en11020358

Uma, S., Eswari, R., Bhuvanya, R., & Kumar, G. S. (2019). IoT based Voice/Text Controlled Home Appliances. Procedia Computer Science, 165(2019), 232–238. https://doi.org/10.1016/j.procs.2020.01.085

Xiefeng, C., Wang, Y., Dai, S., Zhao, P., & Liu, Q. (2019). Heart sound signals can be used for emotion recognition. Scientific Reports, 9(1), 1–11. https://doi.org/10.1038/s41598-019-42826-2

Xiyun Liu, Yang Yang, Lijun Yang, Xiaohui Yang, C. Z. (2024). Heart Sound Classification Based on Improved GFCC Feaures and Multi-attention Fusion Convolutional NEural Network.

Zamani Khanghah, S., & Maghooli, K. (2024). Emotion Recognition From Heart Rate Variability Using a Hybrid System Combined With a Hidden Markov Model and Poincare Plot. Applied Computer Science, 20(1), 106–121. https://doi.org/10.35784/acs-2024-07

Unduhan

Diterbitkan

10 Jan 2025

Cara Mengutip

Putra Pamungkas, D. R., & Prasetio, B. H. (2025). Implementasi Ekstraksi Gammatone-Frequency Cepstral Coefficient dan Klasifikasi Hidden Markov Model dalam Identifikasi Emosi Menggunakan Suara Jantung . Jurnal Pengembangan Teknologi Informasi Dan Ilmu Komputer, 9(3). Diambil dari https://j-ptiik.ub.ac.id/index.php/j-ptiik/article/view/14533

Terbitan

Bagian

Artikel
Loading...