Sistem Pintu Cerdas Berbasis Pengenalan Wajah dan Kartu Identitas Menggunakan YOLOv8 dan Optical Character Recognition (OCR)
Kata Kunci:
serangan spoofing, pintu cerdas, pengenalan wajah, YOLOv8, OCRAbstrak
Serangan spoofing telah menjadi ancaman serius pada sistem pintu cerdas berbasis pengenalan wajah. Serangan ini memungkinkan pengguna yang tidak sah untuk mendapatkan akses untuk mesuk ke dalam area yang dilindungi pada sebuah fasilitas. Untuk mengatasi permasalahan ini, penelitian ini mengusulkan solusi berupa implementasi autentikasi multi-faktor pada sistem cerdas berbasis pengenalan wajah dengan menambahkan faktor autentikasi kedua berbasis pengenalan teks kartu identitas. Penelitian ini bertujuan untuk mengetahui apakah penambahan autentikasi berbasis pengenalan teks kartu identitas dapat meningkatkan keamanan sistem pintu cerdas berbasis pengenalan wajah terhadap ancaman serangan spoofing. Untuk autentikasi pengenalan wajah, penelitian ini menggunakan metode dan algoritma yang telah ada sebelumnya dan menggunakan model pengenalan wajah yang telah dilatih melalui pustaka face_recognition pada Python. Sedangkan untuk autentikasi pengenalan teks kartu identitas, sistem ini menggunakan deteksi objek menggunakan model YOLOv8 yang dilatih menggunakan data primer, pengenalan teks menggunakan Tesseract OCR, serta ekstraksi informasi menggunakan regular expression. Kartu identitas yang digunakan adalah kartu identitas khusus dengan data fiktif yang dirancang khusus hanya untuk penelitian ini. Penelitian ini menggunakan 4 kelas pada pengujian dengan masing-masing kelas sebanyak 10 kali percobaan, dimana 1 kelas merepresntasikan pengguna sah sedangkan 3 kelas yang lainnya merepresentasikan pengguna tidak sah dengan 3 skenario yang berbeda. Hasil pengujian menunjukkan bahwa penambahan autentikasi berbasis pengenalan teks kartu identitas dapat meningkatkan keamanan sistem pintu cerdas berbasis pengenalan wajah terhadap serangan spoofing. Hal ini ditunjukkan dengan kemampuan sistem untuk mencegah terjadinya false postive oleh serangan spoofing yang dilambangkan dengan nilai spesifitas, dimana nilai ini meningkat dari 0.15 menjadi 1. Selain itu, hasil pengujian juga menunjukkan bahwa penambahan autentikasi berbasis pengenalan teks kartu identitas juga meningkatkan nilai akurasi sistem secara keseluruhan dari 0.575 menjadi 0.775. Dengan ini, diharapkan penelitian ini dapat menjadi solusi untuk mengatasi ancaman serangan spoofing pada sistem pintu cerdas berbasis pengenalan wajah.
Referensi
Adjabi, I., Ouahabi, A., Benzaoui, A. and Taleb-Ahmed, A., 2020. Past, present, and future of face recognition: A review. Electronics, 9(8), p.1188.
Adusumalli, H., Kalyani, D., Sri, R.K., Pratapteja, M. and Rao, P.P., 2021, February. Face mask detection using OpenCV. In 2021 Third International Conference on Intelligent Communication Technologies and Virtual Mobile Networks (ICICV) (pp. 1304-1309). IEEE.
Alfarizi, D.N., Pangestu, R.A., Aditya, D., Setiawan, M.A. and Rosyani, P., 2023. Penggunaan Metode YOLO Pada Deteksi Objek: Sebuah Tinjauan Literatur Sistematis. AI dan SPK: Jurnal Artificial Intelligent dan Sistem Penunjang Keputusan, 1(1), pp.54-63.
Braim, A.A.B., El Gourari, A., Raoufi, M. and Skouri, M., 2024, April. Autonomous Door with Face Recognition for Enhanced Security Systems of Educational Institutions. In 2024 International Conference on Global Aeronautical Engineering and Satellite Technology (GAST) (pp. 1-5). IEEE.
Ganjoo, R. and Purohit, A., 2021, January. Anti-spoofing door lock using face recognition and blink detection. In 2021 6th international conference on inventive computation technologies (ICICT) (pp. 1090-1096). IEEE.
Ghael, H.D., Solanki, L. and Sahu, G., 2020. A review paper on raspberry pi and its applications. International Journal of Advances in Engineering and Management (IJAEM), 2(12), p.4.
Halim, M.A.A., Othman, M.F.I., Abidin,
A.Z.Z., Hamid, E., Harum, N. and Shah, W.M., 2021, November. Face recognition-based door locking system with two-factor authentication using opencv. In 2021 Sixth International Conference on Informatics and Computing (ICIC) (pp. 1-7). IEEE.
Khalimov, R., Rakhimbayeva, Z., Shokayev, A., Kamalov, B. and Ali, M.H., 2020, July. Development of intelligent door locking system based on face recognition technology. In 2020 11th International Conference on Mechanical and Aerospace Engineering (ICMAE) (pp. 244-248). IEEE.
Manurung, D.T., 2020. Designing of user authentication based on multi-factor authentication on wireless networks. Jour of Adv Research in Dynamical & Control Systems, 12(1), pp.201-209.
Sharif, M., Naz, F., Yasmin, M., Shahid, M.A. and Rehman, A., 2017. Face Recognition: A Survey. Journal of Engineering Science & Technology Review, 10(2).
Srivastava, S., Verma, A. and Sharma, S., 2022, February. Optical character recognition techniques: A review. In 2022 IEEE International Students' Conference on Electrical, Electronics and Computer Science (SCEECS) (pp. 1-6). IEEE.
Wangean, D.A., Setyawan, S., Maulana, F.I., Pangestu, G. and Huda, C., 2023,
February. Development of Real-Time Face Recognition for Smart Door Lock Security System using Haar Cascade and OpenCV LBPH Face Recognizer. In 2023 International Conference on Computer Science, Information Technology and Engineering (ICCoSITE) (pp. 506-510). IEEE.
Yu, Z., Qin, Y., Li, X., Zhao, C., Lei, Z. and Zhao, G., 2022. Deep learning for face anti-spoofing: A survey. IEEE transactions on pattern analysis and machine intelligence, 45(5), pp.5609-5631.
Yu, Z., Zhao, C., Wang, Z., Qin, Y., Su, Z., Li,
X., Zhou, F. and Zhao, G., 2020. Searching central difference convolutional networks for face anti-spoofing. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (pp. 5295-5305).
Adjabi, I., Ouahabi, A., Benzaoui, A. and Taleb-Ahmed, A., 2020. Past, present, and future of face recognition: A review. Electronics, 9(8), p.1188.
Adusumalli, H., Kalyani, D., Sri, R.K., Pratapteja, M. and Rao, P.P., 2021, February. Face mask detection using OpenCV. In 2021 Third International Conference on Intelligent Communication Technologies and Virtual Mobile Networks (ICICV) (pp. 1304-1309). IEEE.
Alfarizi, D.N., Pangestu, R.A., Aditya, D., Setiawan, M.A. and Rosyani, P., 2023. Penggunaan Metode YOLO Pada Deteksi Objek: Sebuah Tinjauan Literatur Sistematis. AI dan SPK: Jurnal Artificial Intelligent dan Sistem Penunjang Keputusan, 1(1), pp.54-63.
Braim, A.A.B., El Gourari, A., Raoufi, M. and Skouri, M., 2024, April. Autonomous Door with Face Recognition for Enhanced Security Systems of Educational Institutions. In 2024 International Conference on Global Aeronautical Engineering and Satellite Technology (GAST) (pp. 1-5). IEEE.
Ganjoo, R. and Purohit, A., 2021, January. Anti-spoofing door lock using face recognition and blink detection. In 2021 6th international conference on inventive computation technologies (ICICT) (pp. 1090-1096). IEEE.
Ghael, H.D., Solanki, L. and Sahu, G., 2020. A review paper on raspberry pi and its applications. International Journal of Advances in Engineering and Management (IJAEM), 2(12), p.4.
Halim, M.A.A., Othman, M.F.I., Abidin,
A.Z.Z., Hamid, E., Harum, N. and Shah, W.M., 2021, November. Face recognition-based door locking system with two-factor authentication using opencv. In 2021 Sixth International Conference on Informatics and Computing (ICIC) (pp. 1-7). IEEE.
Khalimov, R., Rakhimbayeva, Z., Shokayev, A., Kamalov, B. and Ali, M.H., 2020, July. Development of intelligent door locking system based on face recognition technology. In 2020 11th International Conference on Mechanical and Aerospace Engineering (ICMAE) (pp. 244-248). IEEE.
Manurung, D.T., 2020. Designing of user authentication based on multi-factor authentication on wireless networks. Jour of Adv Research in Dynamical & Control Systems, 12(1), pp.201-209.
Sharif, M., Naz, F., Yasmin, M., Shahid, M.A. and Rehman, A., 2017. Face Recognition: A Survey. Journal of Engineering Science & Technology Review, 10(2).
Srivastava, S., Verma, A. and Sharma, S., 2022, February. Optical character recognition techniques: A review. In 2022 IEEE International Students' Conference on Electrical, Electronics and Computer Science (SCEECS) (pp. 1-6). IEEE.
Wangean, D.A., Setyawan, S., Maulana, F.I., Pangestu, G. and Huda, C., 2023,
February. Development of Real-Time Face Recognition for Smart Door Lock Security System using Haar Cascade and OpenCV LBPH Face Recognizer. In 2023 International Conference on Computer Science, Information Technology and Engineering (ICCoSITE) (pp. 506-510). IEEE.
Yu, Z., Qin, Y., Li, X., Zhao, C., Lei, Z. and Zhao, G., 2022. Deep learning for face anti-spoofing: A survey. IEEE transactions on pattern analysis and machine intelligence, 45(5), pp.5609-5631.
Yu, Z., Zhao, C., Wang, Z., Qin, Y., Su, Z., Li,
X., Zhou, F. and Zhao, G., 2020. Searching central difference convolutional networks for face anti-spoofing. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (pp. 5295-5305).
Unduhan
Diterbitkan
Cara Mengutip
Terbitan
Bagian
Lisensi
Hak Cipta (c) 2025 Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
Artikel ini berlisensiCreative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
