Virtual Try-On Model with Relearning Method by Validation of Dress Feature Clusters : 드레스 특성 클러스터별 검증을 통한 재학습 기반 가상 착의 모델|RISS 상세보기

국문 초록 (Abstract)

이미지 기반 가상 착의 기술은 사람과 의상 이미지만 있으면 신경망 학습을 통해 사람이 의상을 착용한 이미지를 생성하는 인공지능 모델이다. 이 기술은 빠르게 생산, 유통되는 패션 의상들을 온라인 쇼핑몰 피팅 모델이 모두 착용하기 어려운 점을 해소하고 소비자에게는 자신의 사진으로 가상 착용하는 체험을 제공한다. 그러므로 가상 착용 결과는 의상을 입는 사람의 체형이나 자세, 신체 부위를 유지하고 의상의 색상, 패턴, 장식과 같은 세부 속성을 표현할 수 있어야 한다.
하지만 드레스는 의상 길이와 형태가 다양하여 가상 착의 변환이 잘 안 되고 특히 의상 색상이 배경색과 비슷한 페일 톤이나 복잡한 패턴의 드레스는 신경망 학습이 어려워 가상 착의 성능이 낮은 문제가 있었다. 데이터 측면에서는 의상 속성을 수작업으로 라벨링을 해야 하므로 의상 데이터의 품질 검증 과정이 오래 걸리고 의상의 특징별로 테스트 셋을 구성하기 어려운 점이 있었다.
이를 해소하고 가상 착의 모델의 성능을 높이기 위해서 다음 세 가지 연구를 수행하였다. 첫째, 기존 가상 착의 모델의 구조를 개선하여 드레스 특징을 반영하는 DC-VTON 모델을 연구하였다. 핵심 과제로 페일 톤을 포함한 다양한 색상과 패턴의 드레스를 가상 착의 결과로 변환하는 정확도를 높이기 위해, 의상 변환 단계와 가상 착의 단계의 손실 함수를 개선하였다. 드레스의 길이 특성이 가상 착의에 반영되도록 의상 상대 길이 변환기를 모델의 구조에 추가하였다. 둘째, 드레스의 속성을 편향 없이 반영한 테스트 셋을 생성하고 모델 검증에 적용하였다. 해결 방법으로 드레스의 속성을 비지도 기계 학습을 통해서 분류하여 사람의 개입을 줄이고 세분화된 테스트 셋을 제공하였다. 셋째, 가상 착의 모델의 학습 데이터를 증가시키면서 가상 착의 모델의 품질을 점진적으로 개선하였다. 해결 과제로 모델의 목표 품질 성능 지표를 정의하고 목표에 도달할 때까지 학습 데이터를 드레스 특징별로 증강하고 모델을 재학습 하였다.
실험 평가로 첫째, 제안한 가상 착의 모델인 DC-VTON(a), DC-VTON(b)와 기존의 CP-VTON 모델을 비교 실험하였다. 전체 의상 데이터 셋, 블랙 톤, 원색 톤, 복잡한 패턴 드레스, 페일 톤 드레스에서 DC-VTON(a)가 가장 성능이 높았다. 둘째, 테스트 셋을 구성하는 군집화 방법을 비교 실험하였다. 합성곱 신경망 기반 군집화 방법이 이미지 RGB 기반 군집화보다 군집간의 성능 편차가 높았기 때문에 이 방법을 통해 최고 또는 최저 성능의 의상 특성을 파악할 수 있었다. 마지막으로 모델의 품질 성능 지수 EV가 목표 값EVT에 도달할 때까지 재학습 데이터를 군집별로 증강하는 실험을 하였다. 군집별로 차등하여 학습 데이터를 추가하는 방법이 균등하게 추가하는 방법보다 성능이 더 높아졌고 특히 품질 성능이 낮은 군집은 학습 데이터를 보완하면 성능이 향상되는 결과를 보였다
본 연구에서는 이미지 기반 가상 착의 모델의 구조 개선, 학습 데이터 품질 관리, 편향 없는 테스트 셋의 구성, 신경망 모델의 재학습 관리 방안을 체계화 하였다. 이러한 연구 결과를 바탕으로 가상 착의 모델의 품질을 향상시킬 것을 기대한다. 활용 면에서는 온라인 쇼핑몰이 낮은 비용과 빠른 속도로 더 많은 의상의 가상 착의 이미지를 소비자에게 제공하여 쇼핑 이용을 촉진하고 일반 소비자의 쇼핑 만족도를 높일 것으로 기대한다.

번역하기

이미지 기반 가상 착의 기술은 사람과 의상 이미지만 있으면 신경망 학습을 통해 사람이 의상을 착용한 이미지를 생성하는 인공지능 모델이다. 이 기술은 빠르게 생산, 유통되는 패션 의상...

목차 (Table of Contents)

1. Introduction 1
1.1 Motivation and Background 2
1.2 Problems and Approach 4
1.3 Contributions 7
1.4 Organization 11

1. Introduction 1
1.1 Motivation and Background 2
1.2 Problems and Approach 4
1.3 Contributions 7
1.4 Organization 11
2. Related Work 13
2.1 Background Technology 13
2.2 Virtual Try-On Model 17
2.3 Data and Model Quality Validation 25
2.4 Clothes Attributes Estimation 30
3. Dress Clothes Virtual Try-On Model 33
3.1 Virtual Try-On Requirements 34
3.2 VTON Model Preserving Dress Features 36
3.3 Virtual Try-On Service 43
4. VTON Model Relearning Method 47
4.1 Human Image Quality Validation 47
4.2 Dress Feature based Clustering 50
4.3 Quality Performance Index based Relearning 53
5. Development of DC-VTON Model 57
5.1 DC-VTON Model Implementation 57
5.2 Relearning Method Implementation 64
6. Evaluation and Analysis 73
6.1 Experiment and Evaluation 73
6.2 Experiment and Evaluation of Relearning Model 90
7. Conclusion 112
References 116
Abstract 124

참고문헌 (Reference)

1. Generative adversarial nets, I . Goodfellow, B. Xu, M. Mirza and, J. Pouget-Abadi, Communications of ACM, vol. 63, no. 11, pp. 139-144, , 2020

2. A review of K-mean algorithm,, M. Sharma, J . Yadav and, International Journal of Engineering Trends and Technology, vol. 4, no. 7, pp. 2972-2976, , 2013

3. Sampling: why and how of it?,, P. Anupam and, S. Pikee, A . Anita S, Indian Journal of Medical Specialities, vol. 4, no. 2, pp. 330-333, , 2013

4. Image quality metrics: PSNR vs SSIM, D. Ziou, H . Alain and, IEEE International Conference on Pattern Recognition, pp. 2366-2369, , 2010

5. Data Validation for Machine Learning, S. Roy, M. Zinkevich, E . Breck, N. Polyzotis, S. Whang and, Machine Learning and Systems, pp. 334-347, , 2019

6. Online shopping trends in January 2023, Statistics Korea, Statistics Korea Web, 2023Online Available https://www. kostat. go. kr/board. es?mid=a10301120300 &bid=241, , 2023

7. Conditional generative adversarial net,, M . Mirza and, S. Osindero, arXiv:1411.1784Online Available https//doi. org/10.48550/ rXiv.1411.1784, , 2014

8. SMPL: A skinned multi-person linear model, J. Romero, N. Mahmood, M . Loper, M. J. Black, G. Pons-Moll and, ACM Transactions on Graphics, vol. 2, pp. 851-866, , 2015

9. VITON: An image-based virtual try-on network, Z. Wu, X. Han, L. S, R. Yu and, Z. Wu, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 7543-7552, , 2018

10. Image segmentation using deep learning: a survey, D. Terzopoulos, S . Minaee, F. Porikli, A. Plaza, Y. Boykov, N. Kehtarnavaz and, vol. 44, no. 7, pp. 3523-3542, , 2022