2018 한이음 : 머신러닝 기반의 셀카 도우미 프로젝트 프로젝트 멘토: 정좌연 멘토님
-opencv와 머신러닝을 활용한 이미지 처리 부문 담당자: 서원진 , 임보람 멘티
목표 기능 : 1.얼굴 부위별 인식 & 추적 2.부위별 구도 분석을 통한 현재 표정 유추 3.이상적인 표정과 구도 비교 & 가이드
작업 계획:
- 얼굴 인식 & 추출: 텐서 플로우 기반의 YOLO Detection 모델 생성
- 분류기와 학습 모델에 얼굴을 학습시켜서 얼굴 영역을 검출하는 모델을 생성하고, 디텍션을 수행한다.
2)특징점 산출: Harris Corner Detector
-
Yolo에서 검출한 얼굴영역에서 눈 코 입을 다시 detection을 통해 검출한 후, 각 부위 영역에서 harris corner detector을 통해 특징점들을 산출한다
-
특징점의 x좌표의 최대, 최소값을 구하고,
-
해당 양 x값 기준 끝점의 x,y 값 평균을 구해서 입술의 중앙 위치를 알아낸다.
-
이 중앙값에서 양 끝점의 y 좌표가 얼마나 떨어져 있는지를 구함으로써 현재 입꼬리의 위치를 유추하고 , 입술 모양을 도출할 수 있다.
3)얼굴 각도 추정:
위의 지역 기술자에서 얻은 좌표값들을 전역 기술자로 좌표계를 변환하고, 좌표계에서 world 좌표계로의 변환을 수행한 후, 사진 전체에서 특정 특짐점들의(ex: 입술이나 눈의 양끝, 콧등) 위치변화를 추적하고 종합적으로 분석하여, 얼굴 각도의 변화를 알아낸다
+) 지속적으로 디텍션을 하는 것은 꽤 많은 성능을 요구하기에, 트래커를 이용하여 이미 디텍션된 영역들을 지속적으로 추적하고, 추적이 정상적으로 되는 상황에서는 디텍션을 중지하도록 한다.(검수중)