계층적 보조 경계 추출을 이용한 단일 영상의 초해상도 기법

한현호 한국디지털정책학회 2022 디지털정책학회지 Vol.1 No.2

본 논문에서는 단일 영상을 기반으로 초해상도를 생성하는 과정에서 계층 구조를 거쳐 추출된 보조 경계 특징을 이용한 방법을 제안하였다. 초해상도의 품질을 향상시키기 위해서는 영상 내 경계 영역을 선명하게 표현하 면서도 각 영역의 형태를 명확하게 구분하여야 한다. 제안하는 방법은 초해상도 과정에서 품질을 결정하는 중요한 요인인 경계 영역을 입력 영상의 구조적 형태를 유지하면서 개선된 초해상도 결과를 생성하기 위해 딥러닝 기반의 초해상도 방법에서 영상의 경계 영역 정보를 보조적으로 활용하는 구조를 사용하였다. 딥러닝 기반의 초해상도를 수행하기 위한 그룹 컨볼루션 구조에 더해 보조 경계 추출을 위한 고주파 대역의 정보를 기반으로 별도의 계층적 구조의 경계 누적 추출 과정을 수행하여 이를 보조 특징으로써 활용하는 방법을 제안하였다. 실험 결과 기존 초해 상도 대비 PSNR과 SSIM에서 약 1%의 성능 향상을 보였다. In this paper, we proposed a method using sub-edge information extracted through a hierarchical structure in the process of generating super resolution based on a single image. In order to improve the quality of super resolution, it is necessary to clearly distinguish the shape of each area while clearly expressing the boundary area in the image. The proposed method assists edge information of the image in deep learning based super resolution method to create an improved super resolution result while maintaining the structural shape of the boundary region, which is an important factor determining the quality in the super resolution process. In addition to the group convolution structure for performing deep learning based super resolution, a separate hierarchical edge accumulation extraction process based on high-frequency band information for sub-edge extraction is proposed, and a method of using it as an auxiliary feature is proposed. Experimental results showed about 1% performance improvement in PSNR and SSIM compared to the existing super resolution.

초해상도 현장사진의 증거능력

이세훈 서울대학교 기술과법센터 2020 Law & technology Vol.16 No.2

디지털 기술의 발전에 따라 여러 방식의 무인 감시카메라가 상용화되었지만 기술상의 한계로 식별에 하자가 있는 디지털 증거들이 많은 것이 현실이다. 이러한 증거에 저해상도 사진의 식별력을 높여주는 초해상도 기술을 적용하면 증거의 가용범위를 확장할 수 있다. 초해상도 기술의 정확도가 일정 수준 이상으로 보장되기 시작한 지 얼마 되지 않은 관계로 해당 기술의 결과물에 증거능력을 인정할 수 있을지 여부에 대한 논의가 전무하다. 이 기술의 결과물은 현장의 정보를 그대로 담고 있는 것은 아닌바, 일반적인 증거능력 요건의 만족만으로 증거능력이 긍정되기는 어려울 것이다. 그러나 초해상도 기계학습 전문가가 작성한 검사기록 보고서라는 진술증거로서 증거능력이 인정될 여지가 있다. 이러한 방식으로 증거능력을 인정받기 위해서는 증거능력의 기본 요건인 적법성과 임의성이 갖추어져야 한다. 그리고 여타 전 문증거와 마찬가지로 진술에 대해 전문법칙의 예외의 요건인 필요성과 신뢰성까지 인정되는 경우 에 한하여 증거능력이 긍정될 수 있다. 전문법칙의 예외의 요건 중 신뢰성까지 전문가와 기술 양자에 대하여 요구될 것이다. 본지에서는 기술에 대한 신뢰성을 갖추기 위한 구체적인 기준을 기술적인 관점에서 제시한다. With the development of digital technology, various types of surveillance cameras have been commercialized, increasing the number of digital evidence. However, many of these digital evidences have a flaw in identification due to systematic limitations. The use of super-resolution technology to enhance the identification of low-resolution photographs and images can extend the available range of evidence. It is not too long since the accuracy of super-resolution technology began to be guaranteed. Thus, there is no discussion on whether evidence can be established in the output of super-resolution technology yet. The output of the super-resolution technique does not contain only complete data. Therefore, even if the general evidence requirements are met, they may not be sufficient. However, there is room for evidence admissibility as evidence of certificated report submitted by super-resolution machine learning experts. To be recognized in this way, it is necessary to have legality and spontaneity(anti-compulsory), which are the basic requirements for evidence. And as with any other hearsay evidence, the admissibility of evidence can be recognized only if the need and reliability of the statement are further recognized. Reliability, among the requirements of exceptions to hearsay rules, is required for both experts and technology. In this paper, we present specific criteria for securing technology reliability from a technical point of view.

인식기반 초해상도 영상복원

박규로(Gyu-Ro Park),김인중(In-Jung Kim) 한국정보과학회 2009 한국정보과학회 학술발표논문집 Vol.36 No.1

본 논문에서는 인식기반 초해상도 영상복원 방법을 제안한다. 기존의 초해상도 영상복원 방법이 인식모듈과는 독립적으로 수행되었던 반면, 제안하는 방법은 초해상도 복원 과정과 인식 과정을 통합함으로써 시스템 전체적인 관점에서의 최적화를 수행한다. 초해상도 복원 과정에 클래스 별 선행모델을 사용하고, 인식기의 반응을 참조하여 최적 클래스를 선택함으로써 영상복원과 인식을 동시에 수행한다. 실험에서 제안하는 방법으로 복원과 인식을 동시에 실시한 결과 영상복원과 인식을 독립적으로 수행하는 기존의 방법에 비하여 화질과 인식성능 면에서 모두 개선된 결과를 얻었다.

채널 강조와 공간 강조의 결합을 이용한 딥 러닝 기반의 초해상도 방법

이동우,이상훈,한현호 한국융합학회 2020 한국융합학회논문지 Vol.11 No.12

본 논문은 채널 강조(Channel Attentin)와 공간 강조(Spatial Attention) 방법을 결합한 딥 러닝 기반의 초해상 도 방법을 제안하였다. 초해상도 과정에서 질감, 특징과 같은 주변 픽셀의 변화량이 큰 고주파 성분의 복원이 중요하다. 채널 강조와 공간 강조를 결합한 특징 강조를 이용한 초해상도 방법을 제안하였다. 기존의 CNN(Convolutional Neural Network) 기반의 초해상도 방법은 깊은 네트워크의 학습이 어려우며, 고주파 성분의 강조가 부족하여 윤곽선 이 흐려지거나 왜곡이 발생한다. 문제를 해결하기 위해 스킵-커넥션(Skip Connection)을 적용한 채널 강조와 공간 강조를 결합한 강조 블록과 잔차 블록(Residual Block)을 사용하였다. 방법으로 추출한 강조된 특징 맵을 부-픽셀 컨볼 루션(Sub-pixel Convolution)을 통해 특징맵을 확장하여 초해상도를 진행하였다. 이를 통해 기존의 SRCNN과 비교 하여 약 PSNR는 5%, SSIM은 3% 향상되었으며 VDSR과 비교를 통해 약 PSNR는 2%, SSIM은 1% 향상된 결과를 보였다. In this paper, we proposed a deep learning based super-resolution method that combines Channel Attention and Spatial Attention feature enhancement methods. It is important to restore high-frequency components, such as texture and features, that have large changes in surrounding pixels during super-resolution processing. We proposed a super-resolution method using feature enhancement that combines Channel Attention and Spatial Attention. The existing CNN (Convolutional Neural Network) based super-resolution method has difficulty in deep network learning and lacks emphasis on high frequency components, resulting in blurry contours and distortion. In order to solve the problem, we used an emphasis block that combines Channel Attention and Spatial Attention to which Skip Connection was applied, and a Residual Block. The emphasized feature map extracted by the method was extended through Sub-pixel Convolution to obtain the super resolution. As a result, about PSNR improved by 5%, SSIM improved by 3% compared with the conventional SRCNN, and by comparison with VDSR, about PSNR improved by 2% and SSIM improved by 1%.

단일이미지에서의 초해상도 영상 생성을 위한 패치 정보 기반의 선형 보간 연구

한현호,이종용,정계동,이상훈 한국융합학회 2018 한국융합학회논문지 Vol.9 No.6

본 논문은 단일 이미지에서 초해상도 영상 생성을 위해 저해상도 이미지에서 생성한 패치정보를 기반으로 선형 보간하는 방법을 제안하였다. 기존의 초해상도 생성 방법인 전역 공간의 회귀 모델을 사용하면 특정 영역에 대해 참조할 정보가 부족하여 일반적으로 품질이 떨어지는 결과가 나타난다. 이러한 결과를 보완하기 위해 제안하는 방법은 초해상도 이미지 생성 과정에서 영상을 패치 단위로 지역을 분할하여 의미있는 정보를 수집하고, 수집된 정보를 기반으로 초해상도 이미지 생성을 위해 확장시킨 이미지 매트릭스 영역의 구성정보를 분석하여 선형 보간 과정을 거치고 패치정보를 대응시켜 탐색한 최적의 패치 정보를 기준으로 선형 보간하는 방법을 제안하였다. 실험을 위해 원본 이미지를 복원된 영상과 PSNR, SSIM으로 비교 평가하였다. In this paper, we propose a linear interpolation method based on patch information generated from a low - resolution image for generating a super resolution image in a single image. Using the regression model of the global space, which is a conventional super resolution generation method, results in poor quality in general because of lack of information to be referred to a specific region. In order to compensate for these results, we propose a method to extract meaningful information by dividing the region into patches in the process of super resolution image generation, analyze the constituents of the image matrix region extended for super resolution image generation, We propose a method of linear interpolation based on optimal patch information that is searched by correlating patch information based on the information gathered before the interpolation process. For the experiment, the original image was compared with the reconstructed image with PSNR and SSIM.

초해상도 영상복원과 인식기 연동학습에 의한 저해상도 문자 영상 인식

류상진(Sang-Jin Ryu),박규로(Gyu-Ro Park),김인중(In-Jung Kim) 한국정보과학회 2009 한국정보과학회 학술발표논문집 Vol.36 No.2A

저해상도 문자 영상을 인식하는 것은 아직까지도 어려운 문제이다. 본 논문에서는 초해상도 영상복원과 인식기의 연동학습에 의한 저해상도 문자 영상 인식 방법을 제안한다. 현재까지의 시스템에서는 초해상도 복원영상의 특성이 잘 반영되지 않았던 것에 반해 제안하는 시스템은 입력된 저해상도 영상과 초해상도 복원 영상의 특징 벡터를 결합한 후 인식기 학습 및 인식에 함께 사용한다. 그 결과 두 가지 영상의 상호 보완적인 정보를 모두 활용하여 인식을 수행한다. 실험을 통해 초해상도 영상복원과 무관하게 학습된 인식기와 비교한 결과 77.66%에서 98.79%로 개선되어 21.13%의 성능 개선 효과를 얻었다.

번호판 인식 향상을 위한 번호판 검출과 초해상도 융합 방법

송태엽(Tae-Yup Song),이영현(Young-Hyun Lee),김민재(Min-Jae Kim),구본화(Bon-Hwa Ku),고한석(Han-Seok Ko) 한국컴퓨터정보학회 2011 韓國컴퓨터情報學會論文誌 Vol.16 No.4

본 논문에서는 저해상도 영상에서 번호판 인식 성능 향상을 위해 번호판 검출 기술과 초해상도 복원 기술의 융합 방법을 제안한다. 제안된 알고리즘에서 번호판 검출 부분은 구조적 패턴 특징을 기반으로 하였으며, 초해상도 부분은 칼만 필터 기반 순차적 데이터 방법으로 구성된다. 제안한 융합 방법은 입력 영상에서 번호판 검출 여부에 따라 (i) 전체 영상에 대한 초해상도 복원 과정을 거친 후 고해상도 번호판 영상을 얻는 방법과, (ii) 번호판 검출 후 검출된 번호판 영역에 대해 초해상도 복원을 수행하여 고해상도 번호판 영상을 얻는 방법으로 나뉜다. 다양한 환경에서의 모의 실험을 통해 제안된 융합 방법의효용성을 입증하였다. 다양한 환경에서의 모의 실험을 통해 제안된 융합 방법의 효용성을 입증하였다. This paper proposes fusion methods of license plate detection and super-resolution for improving license plate recognition in low-resolution images. In the proposed method, we apply the license plate detection based on local structure pattern feature and the sequential super-resolution based on Kalman filter. The proposed fusion methods are divided into two according to whether the license plate is detected or not in the input image : (i) performing license plate detection after restoring whole image through super resolution, and (ii) restoring only the detected region through super-resolution after detecting the license plate. We demonstrated effectiveness of the proposed methods in various environments.

손실 영역 분석 기반의 학습데이터 매핑 기법을 이용한 초해상도 연구

한현호,이상훈 한국융합학회 2020 한국융합학회논문지 Vol.11 No.3

본 논문에서는 학습된 사전 기반 초해상도 결과를 개선하기 위해 분석한 손실 영역을 기반으로 학습 데이터를 적용하는 방법을 제안하였다. 기존의 학습된 사전 기반 방법은 입력 영상의 특징을 고려하지 않는 학습된 영상의 형태로 출력할 수 있으며, 이 과정에서 인공물이 발생할 수 있다. 제안하는 방법은 입력 영상과 학습된 영상의 일치하지 않는 특징으로 인한 인공물 발생을 줄이기 위해 1차 복원 결과를 분석함으로써 손실 정보를 추정하였다. 추정된 결과의 잡음 및 화소 불균형을 가우시안 기반의 커널로 개선하여 생성된 특징 맵에 따라 학습 데이터를 매핑하였다. 결과 비교를 위해 기존의 초해상도 방법과 제안 방법의 결과를 고화질 영상과 PSNR(Peak Signal to Noise Ratio), SSIM(Structural SIMilarity Index) 으로 비교한 결과 각각 4%와 3%의 향상된 결과를 확인하였다. In this paper, we propose a method to analyze the loss region of the dictionary-based super resolution result learned for image quality improvement and to map the learning data according to the analyzed loss region. In the conventional learned dictionary-based method, a result different from the feature configuration of the input image may be generated according to the learning image, and an unintended artifact may occur. The proposed method estimate loss information of low resolution images by analyzing the reconstructed contents to reduce inconsistent feature composition and unintended artifacts in the example-based super resolution process. By mapping the training data according to the final interpolation feature map, which improves the noise and pixel imbalance of the estimated loss information using a Gaussian-based kernel, it generates super resolution with improved noise, artifacts, and staircase compared to the existing super resolution. For the evaluation, the results of the existing super resolution generation algorithms and the proposed method are compared with the high-definition image, which is 4% better in the PSNR (Peak Signal to Noise Ratio) and 3% in the SSIM (Structural SIMilarity Index).

초해상도 모델 경량화를 위한 특징 영역에서의 대조 손실 기반 지식 증류 기법

문현철(HyeonCheol Moon),김명균(MyeongKyun Kim),정진우(JinWoo Jeong),김성제(SungJei Kim) 한국HCI학회 2023 한국HCI학회 학술대회 Vol.2023 No.2

CNN 의 등장으로 단일 이미지 초해상도 분야에서 뛰어난 성능을 보여주고 있으나, 성능이 높아짐에 따라 모델의 복잡도가 크게 증가하였다. 이에 모바일 및 엣지 디바이스 같은 저전력 디바이스에 인공신경망 모델이 추론되기 위해서는 모델의 경량화의 필요성이 증가하고 있다. 본 논문에서는 초해상도 모델 중 하나인 EDSR(Enhanced Deep Residual Network)에 특징 영역에서의 대조 손실기반 지식 증류를 적용한 모델 경량화 기법을 제안한다. 실험 결과 제안한 지식 증류 기법이 기존의 다른 특징 영역에서의 지식 증류 기법보다 성능이 향상되는 것을 확인하였다.

고해상도 텍스처 맵 생성을 위한 딥러닝 기반 초해상도 기법들의 비교 분석 연구

김혜주,나재호 (사)한국컴퓨터그래픽스학회 2023 컴퓨터그래픽스학회논문지 Vol.29 No.5

디스플레이의 해상도의 증가에 따라 고해상도 텍스처 맵을 내장한 앱들도 함께 증가하는 추세에 있다. 최근 딥러닝 기반이미지 초해상도 기법들의 발전은 이러한 고해상도 텍스처 생성 작업을 자동화할 수 있는 가능성을 만들고 있다. 하지만이러한 적용 사례에 대해 심층적으로 분석한 연구는 아직 부족한 상태이다. 그래서 본 논문에서는 최신 초해상도 기법들중 BSRGAN, Real-ESRGAN, SwinIR(classical 및 real-world image SR)을 택하여 텍스처 맵의 업스케일링(upscaling)에 적용한 후 그 결과를 정량적, 정성적으로 비교, 분석하였다. 실험 결과 업스케일링 후 나타나는 다양한 아티팩트(artifact)들을발견할 수 있었으며, 이를 통해 기존 초해상도 기법들을 텍스처 맵 업스케일링에 곧바로 적용하기에는 일부 미흡한 부분이존재한다는 점을 확인하였다. As display resolution increases, many apps also tend to include high-resolution texture maps. Recent advancements in deeplearning-based image super-resolution techniques make it possible to automate high-resolution texture generation. However, there is still a lack of comprehensive analysis of the application of these techniques to texture maps. In this paper, we selected three recent super-resolution techniques, namely BSRGAN, Real-ESRGAN, and SwinIR (classical and real-world image SR), and applied them to upscale texture maps. We then conducted a quantitative and qualitative analysis of the experimental results. The findings revealed various artifacts after upscaling, which indicates that there are still limitations in directly applying superresolution techniques to texture-map upscaling