LAT: Local area transform for cross modal correspondence matching

Ryu, Seungchul,Kim, Seungryong,Sohn, Kwanghoon Elsevier 2017 Pattern recognition Vol.63 No.-

<P><B>Abstract</B></P> <P>Establishing correspondences is a fundamental task in many image processing and computer vision applications. In particular, finding the correspondences between a non-linearly deformed image pair induced by different modality conditions is a challenging problem. This paper describes a simple but powerful image transform called local area transform (LAT) for modality-robust correspondence estimation. Specifically, LAT transforms an image from the intensity domain to the local area domain, which is invariant under nonlinear intensity deformations, especially radiometric, photometric, and spectral deformations. Experimental results show that LATransformed images provide a consistency for nonlinearly deformed images, even under random intensity deformations. LAT reduces the mean absolute difference by approximately 0.20 and the different pixel ratio by approximately 58% on average, as compared to conventional methods. Furthermore, the reformulation of descriptors with LAT shows superiority to conventional methods, which is a promising result for the tasks of cross-spectral and modality correspondence matching. LAT gains an approximately 23% improvement in the correct detection ratio and a 10% improvement in the recognition rate for the tasks of RGB-NIR cross-spectral template matching and cross-spectral feature matching, respectively. LAT reduces the bad pixel percentage by approximately 15% and the root mean squared errors by 13.5 in the task of cross-radiation stereo matching. LAT also improves the cross-modal dense flow estimation task in terms of warping error, providing 50% error reduction.</P> <P><B>Highlights</B></P> <P> <UL> <LI> This paper describes a simple but powerful image tranform called local area transform (LAT) for modality-robust correspondence estimation. </LI> <LI> LAT transforms an image from the intensity domain to the local area domain, which is invariant under nonlinear intensity deformation, especially radiometric, photometric, and spectral deformations. </LI> <LI> Experimental results show that LA-transformed images provide consistency for nonlinearly deformed input images, even under random intensity deformations. </LI> </UL> </P>

No-Reference Quality Assessment for Stereoscopic Images Based on Binocular Quality Perception

Seungchul Ryu,Kwanghoon Sohn Institute of Electrical and Electronics Engineers 2014 IEEE Transactions on Circuits and Systems for Vide Vol. No.

<P>Quality perception of 3-D images is one of the most important parameters for accelerating advances in 3-D imaging fields. Despite active research in recent years for understanding the quality perception of 3-D images, binocular quality perception of asymmetric distortions in stereoscopic images is not thoroughly comprehended. In this paper, we explore the relationship between the perceptual quality of stereoscopic images and visual information, and introduce a model for binocular quality perception. Based on this binocular quality perception model, a no-reference quality metric for stereoscopic images is proposed. The proposed metric is a top-down method modeling the binocular quality perception of the human visual system in the context of blurriness and blockiness. Perceptual blurriness and blockiness scores of left and right images were computed using local blurriness, blockiness, and visual saliency information and then combined into an overall quality index using the binocular quality perception model. Experiments for image and video databases show that the proposed metric provides consistent correlations with subjective quality scores. The results also show that the proposed metric provides higher performance than existing full-reference methods even though the proposed method is a no-reference approach.</P>

향상된 중간 시점 합성 영상을 위한 깊이 영상 부호화

류승철(Seungchul Ryu),서정동(Jungdong Seo),Xingang Liu,손광훈(Kwanghoon Sohn) 한국방송·미디어공학회 2011 한국방송공학회 학술발표대회 논문집 Vol.2011 No.7

본 논문에서는 향상된 중간 시점 합성 영상을 위한 깊이 영상 부호화 방식을 제안한다. 깊이 영상은 실제 영상과 다르게 날카로운 경계를 기준으로 완만한 변화를 가지는 픽셀 값을 가지는 특성이 있다. 따라서 깊이 영상의 부호화에서는 경계 영역을 효율적으로 부호화하는 것이 중요하다. 기존의 다시점 비디오 부호화기(Multiview Video Coding)가 하나의 프레임 내에서 고정된 양자화 파라미터 값을 사용하는 것에 반해, 제안된 방식에서는 경계 영역을 효율적으로 부호화하기 위해 블록의 특성에 따라 적응적으로 양자화 파라미터를 할당한다. 2 차 미분 영상의 분포에 기반해 각 블록을 경계 블록, 평탄 블록, 일반 블록으로 구분하고 이에 따라 양자화 파라미터를 할당한다. 실험결과로서, 제안하는 방법의 성능이 다시점 비디오 부호화기 참조 소프트웨어 JMVC 8.3 에 비하여 BD-PSNR 이 평균 0.18dB 향상되고, BD-BR 은 평균 4.03% 감소되어 부호화 효율이 우수함을 확인할 수 있었다.

다시점 비디오 영상 부호화기를 위한 시점 간 PSNR 분산 감소 비트율 제어 알고리즘

류승철(Seungchul Ryu),서정동(Jungdong Seo),Xingang Liu,Zheng Yan,손광훈(Kwanghoon Sohn) 한국방송·미디어공학회 2010 한국방송공학회 학술발표대회 논문집 Vol.2010 No.7

다시점 영상 비디오를 부호화하기 위해 다시점 영상 부호화기(MVC)가 제안되었다. MVC가 다시점 영상 비디오를 효율적으로 압축함에도 불구하고 여전히 제한된 대역폭의 채널을 통해 다시점 영상을 전송하기에는 한계가 있다. 따라서 제한된 대역폭을 효과적으로 활용할 수 있도록 효율적인 비트율 제어 알고리즘이 요구된다. 2D 영상 부호화를 위한 비트율 제어 알고리즘은 활발한 연구가 이루어졌지만 다시점 영상 부호화를 위한 비트율 제어 알고리즘은 아직 충분히 연구되어지지 않았다. 본 논문에서는 시점 간 화질 분산과 계층적 B 픽처 구조를 고려한, 다시점 영상 부호화를 위한 비트율 제어 알고리즘을 제안한다. 제안된 알고리즘은 부호화 전 단계, 시점 레벨 비트율 제어, GOP 레벨 비트율 제어, 픽처 레벨 비트율 제어의 네 단계로 이루어진다. 부호화 전 단계에서 시점 간 비트율의 비중과 계층 레벨 간의 비중을 계산한다. 그리고 시점의 목표 비트율, GOP의 목표 비트율, 픽처의 목표 비트율이 각각 시점 레벨 비트율 제어단계, GOP 레벨 비트율 제어단계, 픽처 레벨 비트율 제어 단계에서 계산된다. 실험 결과는 제안된 방식이 시점 간 화질(PSNR)의 분산을 줄이면서 비트율을 제어하는데 효과적이라는 것을 보여준다.

다시점 비디오 부호화기를 위한 효율적인 참조 영상 선택 알고리즘

류승철(Seungchul Ryu),서정동(Jungdong Seo),김동현(Donghyun Kim),손광훈(Kwanghoon Sohn) 한국방송·미디어공학회 2010 한국방송공학회 학술발표대회 논문집 Vol.2010 No.11

다시점 비디오 부호화기(MVC)는 다양한 블록 크기 기반의 움직임 추정과 변이 추정을 수행한다. 또한 2개 이상의 다중 참조영상 움직임 추정 기술을 사용한다. 이 기술들을 통해 MVC는 높은 부호화 효율을 얻을 수 있지만 실제 적용하기에는 너무 높은 부호화 복잡도가 걸림돌로 작용한다. 본 논문에서는 MVC의 부호화 복잡도를 감소시키기 위하여 효율적인 참조 영상선택 알고리즘을 제안한다. 부호화에 사용된 참조 영상들은 인접한 블록들 간에 높은 상호 연관성을 가지므로, 부호화된 이웃블록들의 참조 영상 정보를 기반으로 현재 블록의 참조 영상을 효율적으로 선택할 수 있다. 실험을 통해 제안된 알고리즘이 부호화 시간을 기존의 MVC에 비해 최대 73.3%, 평균 57.3% 감소시키며 부호화 효율의 감소는 무시할 만한 수준임을 확인하였다.

Depth boundary reconstruction based on similarity of adjacent pixels for efficient 3-D video coding

Donghyun Kim,Seungchul Ryu,Kwanghoon Sohn IEEE 2013 IEEE TRANSACTIONS ON CONSUMER ELECTRONICS - Vol.59 No.2

<P>This paper proposes an efficient technique to improve 3-D video coding performance by taking into account coding artifacts and spatial resolution. Although a conventional video coding standard is used to compress the 3-D video such as multi-view plus depth data, it often introduces serious coding artifacts around object boundaries where signal abruptly changes in color and depth images. In this paper, to suppress the coding artifacts around object boundaries in compressed depth map, a depth boundary reconstruction method is proposed by using the similarity between a target pixel and its adjacent pixels. Since the proposed method provides the improved quality of synthesized view, it is used as in-loop for improving 3-D video coding performance. In addition, the depth down/up-sampling coding approaches are used to further reduce the bit-rates. To verify the excellence of the proposed method, it was applied to compress the multi-view plus depth data which is well-known as an efficient data format for representing the 3-D video. Experimental results show that the proposed method is helpful for improving the 3-D video coding performance and obtaining the quality of synthesized view in terms of both objective and subjective measures.</P>

간호사 인식개선을 위한 간호학-미디어학 융합 PBL 수업의 중재효과 연구: 수업 참여 학생들 및 PBL 성과발표회 참석 학생들의 인식 변화를 중심으로

유승철(Yoo, Seungchul),강승미(Kang, Seungmi),유주연(Ryu, Jooyeon) 한국간호교육학회 2021 한국간호교육학회지 Vol.27 No.1

Purpose: The purpose of this study is to examine the effectiveness of Problem-based Learning (PBL) in an interdisciplinary college class. This class was run under the theme of ‘Nurse Social Content Creators’ (NSCC) in the Korean Nurses Association (KNA)’s industry-university collaborative project designed to promote a positive image of nurses among the public. Methods: Study 1 examined changes in perception about nurses among the PBL participants before and after the program. A one-group pre-post test experimental design was applied, and the data were analyzed using a Wilcoxon signed-rank test. Study 2 identified differences of perceptions of nurses between people who had observed the PBL final presentation and people who had not. A post-test-only with nonequivalent group experimental design was used, and the data were analyzed using a Mann-Whitney U test. Results: Study 1 revealed a significant increase of positive perceptions towards nurses. Study 2 revealed a significant difference between the PBL presentation audience group and the control group. Students who had observed the PBL program showed more positive perceptions of nurses than students who had not. Conclusion: This research is an important study with high practicality in the area of media studies as well as in nursing. The PBL teaching method was proven to be effective in enhancing perceptions of nurses.

장면 분류를 위한 클래스 기반 클러스터링

김준형(Kim, Junhyung),류승철(Ryu, Seungchul),김승룡(Kim, Seungryong),손광훈(Sohn, Kwanghoon) 한국방송·미디어공학회 2013 한국방송공학회 학술발표대회 논문집 Vol.2013 No.6

컴퓨터 비전에서 BoW를 이용한 장면 분류 기법에 대한 연구가 활발히 진행되고 있다. BoW 기법의 장면 분류는 K-means 클러스터링을 통하여 코드북을 생성하는 과정에서 트레이닝 이미지의 클래스 정보를 활용하지 않기 때문에 성능이 제한적이라는 문제점을 가지고 있다. 본 논문에서는 BoW를 이용한 장면 분류 과정에서 코드북 생성을 위하여 각각 특징 기술자들의 유클리디안 거리뿐만이 아니라 클래스 확률 밀도 함수들의 히스토그램 교차값을 최소화 하는 최적화 K-means 클러스터링 기법을 제안한다. 장면의 SIFT 특징 기술자 정보뿐만 아니라 장면이 속해있는 클래스 정보를 결합하여 클러스터링을 수행함으로써 장면 분류의 정확도를 높일 수 있다. 장면 분류 정확도 실험에서 제안하는 클러스터링을 사용한 BoW 장면 분류 기법은 기존의 K-means을 사용한 BoW 장면 분류 기법보다 높은 정확도를 보여준다.

SIFT 특징점 정합과 필터 기반 확장성을 이용한 기하학적 왜곡에 강인한 영상 정합

최한길(Hangill Choi),류승철(Seungchul Ryu),김승룡(Seungryong Kim),박기홍(Kihong Park),손광훈(Kwanghoon Sohn) 대한전자공학회 2015 대한전자공학회 학술대회 Vol.2015 No.6

This paper introduces efficient dense correspondence approach to estimate matching for images as varying photometric and geometric variations, such as tone, scale and rotation. Our approach employs filter-based propagation technique. To estimate reliable scale and rotation on overall image domain, we assume that similar pixels of same object have similar scale and rotation values. We propagate sparse scales and rotations with detected feature points by the edge-aware filtering technique. Finally, we find dense correspondence field by using belief propagation and coarse-to-fine scheme. Our method shows outperforming results compared to conventional dense matching algorithms, such as SIFT flow, DAISY, and Scale-Less SIFT.

공조장치 소음 및 음질개선에 관한 연구

최원도(Wondo Choi),정승철(Seungchul Jung),이인광(Inkwang Lee),유신(Ryu Shin) 한국자동차공학회 2004 한국자동차공학회 춘 추계 학술대회 논문집 Vol.- No.-

We are making continuous efforts to improve the agreeableness of a car HVAC system. As interior noise level of the car is improved and the requirement of the customer is enlarged, the Sound Quality improvement has been desired more. In this research we understood the influence of the factors at the HAVC SYSTEM on the sound pressure level and the sound quality by the use of Taguchi Method. We could enhance the sound quality through improvement of the main factors.