딥러닝 및 기계학습 활용 반려견 얼굴 정면판별 방법

국문 초록 (Abstract)

반려견을 키우는 가구 수가 급격하게 증가함에 따라 유기, 유실견도 많이 증가하고 있다. 국내에서는 2014년부터 반려동물 등록제를 시행하고 있지만, 안전성과 실효성 문제로 등록률이 높지 않은 실정이다. 이러한 문제를 해결할 방법으로 반려견 생체인식 기술이 주목을 받고 있다. 생체인식률을 높이기 위해서는 최대한 정면에서 같은 형태로 생체정보 이미지를 수집해야 한다. 하지만 반려견은 사람과 달리 비협조적이기 때문에 생체정보 이미지 수집이 어렵다. 본 논문에서는 반려견 생체인식에 적합한 생체정보 이미지 수집을 위해 실시간 영상에서 반려견 얼굴 방향이 정면인지를 판별하는 방법을 제안한다. 제안 방법은 딥러닝을 활용하여 반려견 눈과 코를 검출하고, 검출된 눈과 코의 상대적 크기와 위치를 통해 5가지의 얼굴 방향 정보를 추출하여 기계학습 분류기로 정면 여부를 판별한다. 2,000개의 반려견 이미지를 분류하여 학습, 검증 및 테스트에 사용하였다. 눈과 코 검출에는 YOLOv3와 YOLOv4를 사용하였고, 분류기는 MLP(Multi-layer Perceptron), RF(Random Forest), SVM(Support Vector Machine)을 사용하였다. YOLOv4와 RF 분류기를 사용하고 제안하는 5가지 얼굴 방향 정보 모두를 적용하였을 때 얼굴 정면 판별 성능이 95.25%로 가장 좋았으며, 실시간 처리도 가능한 것으로 나타났다.

다국어 초록 (Multilingual Abstract)

As pet dogs rapidly increase in number, abandoned and lost dogs are also increasing in number. In Korea, animal registration has been in force since 2014, but the registration rate is not high owing to safety and effectiveness issues. Biometrics is attracting attention as an alternative. In order to increase the recognition rate from biometrics, it is necessary to collect biometric images in the same form as much as possible-from the face. This paper proposes a method to determine whether a dog is facing front or not in a real-time video. The proposed method detects the dog"s eyes and nose using deep learning, and extracts five types of directional face information through the relative size and position of the detected face. Then, a machine learning classifier determines whether the dog is facing front or not. We used 2,000 dog images for learning, verification, and testing. YOLOv3 and YOLOv4 were used to detect the eyes and nose, and Multi-layer Perceptron (MLP), Random Forest (RF), and the Support Vector Machine (SVM) were used as classifiers. When YOLOv4 and the RF classifier were used with all five types of the proposed face orientation information, the face recognition rate was best, at 95.25%, and we found that real-time processing is possible.

목차 (Table of Contents)

• 요약
• Abstract
• 1. 서론
• 2. 재료 및 방법
• 3. 실험결과
• 4. 결론
• References

참고문헌 (Reference)

1 A. Bochkovskiy, "Yolov4 : Optimal speed and accuracy of object detection"

2 J. Redmon, "Yolov3 : An incremental improvement"

3 "Tzutalin LabelImg GitHub"

4 Pedregosa, "Scikit-learn: Machine Learning in Python" 12 : 2825-2830, 2011

5 V. Drouard, "Robust head-pose estimation based on partially-latent mixture of linear regressions" 26 (26): 14281440-, 2017

6 Ministry of Agriculture, Food and Rural Affairs, "Rescue and protection of 100,000 lost and abandoned animals in 2017"

7 H. Wilson, "Perception of Head Orientation" 40 (40): 459-472, 2000

8 A. F. Abate, "Near real-time three axis head pose estimation without training" 7 : 2019

9 J. Xia, "Head pose estimation in the wild assisted by facial landmarks based on convolutional neural networks" 7 : 2019

10 E. Murphy-Chutorian, "Head pose estimation in computer vision: A survey" 31 (31): 607-626, 2009

11 N. Ruiz, "Fine-grained head pose estimation without keypoints" 2074-2083, 2018

12 A. Nikolaidis, "Facial Feature Extraction and Pose Determination" 33 (33): 1783-1791, 2000

13 J. -G. Wang, "EM Enhancement of 3D Head Pose Estimated by Point at Infinity" 25 (25): 1864-1874, 2007

14 A. Gee, "Determining the Gaze of Faces in Images" 12 (12): 639-647, 1994

15 D. Krstajic, "Cross-validation pitfalls when selecting and assessing regression and classification models" 6 (6): 10-, 2014

16 T. Horprasert, "Computing 3-D Head Orientation from a Monocular Image Sequence" 242-247, 1996

17 "AlexeyAB darknet GitHub"

18 S. Arlot, "A survey of cross-validation procedures for model selection" 4 : 40-79, 2010