http://chineseinput.net/에서 pinyin(병음)방식으로 중국어를 변환할 수 있습니다.
변환된 중국어를 복사하여 사용하시면 됩니다.
후면 영상 합성을 활용한 단일 영상으로부터의 일반화 가능한 휴먼 Neural Radiance Fields
김도엽(Do Yeop Kim),장주용(Ju Yong Chang) 한국방송·미디어공학회 2023 한국방송공학회 학술발표대회 논문집 Vol.2023 No.11
최근 고품질의 자유 시점 렌더링을 가능하게 하는 neural radiance fields(NeRF)의 빠른 발전과 함께, 휴먼객체에 대한 자유 시점 렌더링 기술 또한 큰 주목을 받고 있다. 본 논문에서 우리는 단일 비디오 또는 다시점 영상집합으로부터 휴먼 객체에 대한 NeRF 를 학습하는 기존 방법에서 나아가, 단일 영상을 기반으로 일반적인 휴먼객체를 렌더링할 수 있는 모델을 제안한다. 제안 방법에서는 단일 영상의 제한적인 외양 정보로부터 새로운 시점의 영상을 렌더링하는 경우에 발생하는 한계를 극복하기 위하여 후면 영상을 생성할 수 있는 모델이 활용된다. 생성된 후면 영상은 단일 휴먼 영상으로부터의 자유 시점 렌더링에 필요한 추가 정보를 제공하여 제안 방법이 효과적인 렌더링을 수행할 수 있도록 도와준다. 본 논문에서 제안된 방법의 효과를 증명하기 위해, 휴먼 객체에 대한 렌더링 시 단일 영상만을 활용한 모델과 생성된 후면 영상을 함께 활용한 모델들을 실험하고 비교한다. 실험 결과로부터, 제안하는 방법이 정량적, 정성적으로 우수한 결과를 산출함이 실험을 통해 증명된다.
김도엽(Do Yeop Kim),장주용(Ju Yong Chang) 한국방송·미디어공학회 2021 한국방송공학회 학술발표대회 논문집 Vol.2021 No.11
3 차원 휴먼 자세 추정 모델은 다시점 모델과 단시점 모델로 분류될 수 있다. 일반적으로 다시점 모델은 단시점 모델에 비하여 뛰어난 자세 추정 성능을 보인다. 단시점 모델의 경우 3 차원 자세 추정 성능의 향상은 많은 양의 학습 데이터를 필요로 한다. 하지만 3 차원 자세에 대한 참값을 획득하는 것은 쉬운 일이 아니다. 이러한 문제를 다루기 위해, 우리는 다시점 모델로부터 다시점 휴먼 자세 데이터에 대한 의사 참값을 생성하고, 이를 단시점 모델의 학습에 활용하는 방법을 제안한다. 또한, 우리는 각각의 다시점 영상으로부터 추정된 자세의 일관성을 고려하는 다시점 일관성 손실함수를 제안하여, 이것이 단시점 모델의 효과적인 학습에 도움을 준다는 것을 보인다.
얼굴 생성 오토인코더를 이용한 단일 영상으로부터의 Valence 및 Arousal 추정
김도엽(Do Yeop Kim),박민성(Min Seong Park),장주용(Ju Yong Chang) 한국방송·미디어공학회 2020 한국방송공학회 학술발표대회 논문집 Vol.2020 No.11
얼굴 영상으로부터의 사람의 감정을 예측하는 연구는 최근 딥러닝의 발전과 함께 주목받고 있다. 본 연구에서 우리는 연속적인 변수를 사용하여 감정을 표현하는 dimensional model에 기반하여 얼굴 형상으로부터 감정 상태를 나타내는 지표인 valance/arousal(V/A)을 예측하는 딥러닝 네트워크를 제안한다. 그러나 V/A 예측 모델의 학습에 사용되는 기존의 데이터셋들은 데이터 불균형(data imbalance) 문제를 가진다. 이를 해소하기 위해, 우리는 오토인코더 구조를 가지는 얼굴 영상 생성 네트워크를 학습하고, 이로부터 얻어지는 균일한 분포의 데이터로부터 V/A 예측 네트워크를 학습한다. 실험을 통해 우리는 제안하는 얼굴 생성 오토인코더가 in-the-wild 환경의 데이터셋으로부터 임의의 valance, arousal 에 대응하는 얼굴 영상을 성공적으로 생성함을 보인다. 그리고, 이를 통해 학습된 V/A 예측 네트워크가 기존의 under-sampling, over-sampling 방법들과 비교하여 더 높은 인식 성능을 달성함을 보인다. 마지막으로 기존의 방법들과 제안하는 V/A 예측 네트워크의 성능을 정량적으로 비교한다.