http://chineseinput.net/에서 pinyin(병음)방식으로 중국어를 변환할 수 있습니다.
변환된 중국어를 복사하여 사용하시면 됩니다.
GAN 기반 초해상화 기법을 활용한 MIV 데이터셋 화질 개선 연구
김아로(Aro Kim),김동휘(Dong-hwi Kim),박상효(Sang-hyo Park) 한국방송·미디어공학회 2024 한국방송미디어공학회 학술발표대회 논문집 Vol.2024 No.6
본 논문에서는 GAN 기반의 초해상화 모델의 훈련과정을 조정하여 기존 모델에서 제시하는 훈련 iteration 보다 적은 횟수로도 더 나은 퀄리티의 고해상도 이미지를 생성하는 방법에 대한 실험을 다룬다. 이를 통해 GAN 기반 모델의 과매개변수화의 가능성을 보이고 기존 GAN 기반 모델 훈련과정에서 변화를 통해 최적화의 여지를 보였다. 또한 제안 모델을 활용하여 다 시점 데이터셋인 MPEG MIV 데이터를 초해상화를 하여 메타버스 컨텐츠의 화질 개선을 통해서 사용자의 실감도를 높이도록 하였다. 제안 모델을 통해서 MIV 데이터셋을 초해상화한 경우 기존 모델 대비 PSNR 1.42dB SSIM 은 0.0317 개선이 되었다.
김재홍(Jaehong Kim),강다빈(Dabin Kang),송민지(Minji Song),홍지수(Jisoo Hong),김동휘(Dong-hwi Kim),이동훈(Dong-hun Lee),김아로(Aro Kim),박상효(Sang-hyo Park) 한국방송·미디어공학회 2023 한국방송공학회 학술발표대회 논문집 Vol.2023 No.6
본 논문에서는 생성된 이미지에 대한 객체 인식률이 디노이징 여부에 따라 어떻게 변화하는지를 살펴본다. 최근 객체 인식의 성능을 저하하는 적대적 공격과 방어 기법이 활발히 연구되며 객체 인식의 성능이 현저히 떨어지는 상황이 발생하고 있다. 이에 선행 연구에서는 DALL-E 2를 이용해 생성한 이미지에 대한 객체 인식률을 점검하는 연구만을 진행하였으나, 본 연구에서는 stable diffusion을 이용해 생성한 이미지 데이터 세트에 디노이징 모델 NAFNet, PNGAN을 적용해 객체 인식률을 점검하였다. 그 결과 NAFNet은 93.8%, PNGAN은 92.7%로 기존 생성 이미지에 대한 객체 인식률인 96.4%보다 낮음을 확인하였다. 또한 생성 모델을 이런 딥러닝 모델로 디노이징하는 경우 심각한 화질 저하가 발생함을 보고한다.
장명진(Myeong-jin Jang),김아로(Aro Kim),우승택(Seung-taek Woo),장재윤(Jaeyun Jang),황효석(Hyosoek Hwang),최재열(Jaeyeol Choi),류영일(Yeongil Ryu),류은석(Eun-Seok Ryu),박상효(Sang-hyo Park) 한국방송·미디어공학회 2024 한국방송미디어공학회 학술발표대회 논문집 Vol.2024 No.6
본 논문은 다시점 정보를 활용하여 다시점 동영상의 초해상화를 수행하는 다시점 퓨전 동영상 초해상화 모델을 제안한다. 기존 동영상 초해상화 모델은 하나의 시점에서 볼 수 있는 정보만 사용하기 때문에 다양한 시점의 정보를 활용하지 않는다. 따라서 다시점 정보를 활용하기 위해 BasicVSR을 기본 모델로 사용하고 초해상화된 다시점 동영상 데이터를 1x1 컨볼루션 신경망을 통해 퓨전하는 모델을 사용하여 다양한 시점의 정보를 혼합하였다. 다시점 데이터셋인 MIV, 경희대 Multi-agent 기반 RGB+D 데이터셋의 일부를 사용하여 모델을 학습하였으며, 학습에 사용되지 않은 데이터셋과 성균관대 VRroom 데이터셋을 테스트셋으로 사용하였다. 성능 측정을 위해 정량적 지표인 PSNR과 LPIPS를 사용하였고, 가장 높은 성능의 퓨전 모델은 기본 모델에 비해 평균 PSNR은 2.10dB, LPIPS는 0.0312 성능 향상을 보였다. 따라서, 제안된 다시점 퓨전 모델이 다시점 동영상 초해상화에서 효과적으로 작동하는 것을 확인할 수 있다.
GAN 압축 기법을 활용한 효율적인 ESRGAN 가지치기 기법
백보성(Bosung Baek),김아로(Aro Kim),장재윤(Jaeyun Jang),황효석(Hyosoek Hwang),최재열(Jaeyeol Choi),류영일(Yeongil Ryu),류은석(Eun-Seok Ryu),박상효(Sang-hyo Park) 한국방송·미디어공학회 2024 한국방송미디어공학회 학술발표대회 논문집 Vol.2024 No.6
최근 초해상화 연구에서 생산적 적대 신경망 모델(GAN)을 활용한 사례가 많이 나오고 있다. 하지만 생산적 적대 신경망 기반 모델들은 복잡하고 많은 파라미터를 가지고 있어 한정된 하드웨어 자원 환경에서 적용하는데 많은 어려움이 있다. 따라서 본 논문에는 생산적 적대 신경망 기반 초해상화 모델을 지식 증류 기법을 이용하여 모델의 크기를 효과적으로 줄이고자 한다. 또한 지식 증류의 주체가 되는 교사 모델에 가지치기 방식을 적용하여 지식 증류 과정에서 필요한 지식들만 전달할 수 있는 방식을 제안한다. 실험 결과 더 적은 양의 파라미터를 가지는 학생모델이 오히려 교사 모델보다 평균 PSNR 과 SSIM 이 각각 1.1793dB, 0.0415 만큼 더 높은 지표를 나타내어 더 가벼운 모델로 더 고화질의 초해상화된 이미지를 생성할 수 있음을 보였다.