Space-Time Hole Filling With Random Walks in View Extrapolation for 3D Video

Sunghwan Choi,Bumsub Ham,Kwanghoon Sohn IEEE 2013 IEEE TRANSACTIONS ON IMAGE PROCESSING - Vol.22 No.6

<P>In this paper, a space-time hole filling approach is presented to deal with a disocclusion when a view is synthesized for the 3D video. The problem becomes even more complicated when the view is extrapolated from a single view, since the hole is large and has no stereo depth cues. Although many techniques have been developed to address this problem, most of them focus only on view interpolation. We propose a space-time joint filling method for color and depth videos in view extrapolation. For proper texture and depth to be sampled in the following hole filling process, the background of a scene is automatically segmented by the random walker segmentation in conjunction with the hole formation process. Then, the patch candidate selection process is formulated as a labeling problem, which can be solved with random walks. The patch candidates that best describe the hole region are dynamically selected in the space-time domain, and the hole is filled with the optimal patch for ensuring both spatial and temporal coherence. The experimental results show that the proposed method is superior to state-of-the-art methods and provides both spatially and temporally consistent results with significantly reduced flicker artifacts.</P>

Case-based context ontology construction using fuzzy set theory for personalized service in a smart home environment

Sohn, Mye,Jeong, Sunghwan,Lee, Hyun Jung Springer-Verlag 2014 SOFT COMPUTING Vol.18 No.9

Predictors of Permanent Stoma in Mid or Low Rectal Cancer Patients

Sunghwan Kim,Kwang Seop Song,Min-hyun Kim,Sung-Chan Park,Dae Kyung Sohn,Jae Hwan Oh,Ji Won Park,Seung-Yong Jeong,Kyu Joo Park,Heung-Kwon Oh,Duck-Woo Kim,Sung-Bum Kang 대한외과학회 2018 대한외과학회 학술대회 초록집 Vol.2018 No.11

Unsupervised Texture Flow Estimation Using Appearance-Space Clustering and Correspondence

Sunghwan Choi,Dongbo Min,Bumsub Ham,Kwanghoon Sohn IEEE 2015 IEEE TRANSACTIONS ON IMAGE PROCESSING - Vol.24 No.11

<P>This paper presents a texture flow estimation method that uses an appearance-space clustering and a correspondence search in the space of deformed exemplars. To estimate the underlying texture flow, such as scale, orientation, and texture label, most existing approaches require a certain amount of user interactions. Strict assumptions on a geometric model further limit the flow estimation to such a near-regular texture as a gradient-like pattern. We address these problems by extracting distinct texture exemplars in an unsupervised way and using an efficient search strategy on a deformation parameter space. This enables estimating a coherent flow in a fully automatic manner, even when an input image contains multiple textures of different categories. A set of texture exemplars that describes the input texture image is first extracted via a medoid-based clustering in appearance space. The texture exemplars are then matched with the input image to infer deformation parameters. In particular, we define a distance function for measuring a similarity between the texture exemplar and a deformed target patch centered at each pixel from the input image, and then propose to use a randomized search strategy to estimate these parameters efficiently. The deformation flow field is further refined by adaptively smoothing the flow field under guidance of a matching confidence score. We show that a local visual similarity, directly measured from appearance space, explains local behaviors of the flow very well, and the flow field can be estimated very efficiently when the matching criterion meets the randomized search strategy. Experimental results on synthetic and natural images show that the proposed method outperforms existing methods.</P>

Economic Evaluation of Rosuvastatin and Atorvastatin for the Treatment of Dyslipidemia from a Korean Health System Perspective

Suh, Sunghwan,Jung, Chang Hee,Hong, Soon-Jun,Kim, Jung-Sun,Song, Byung Ju,Sohn, Hyun Soon,Choi, Sung Hee Korean Society of Lipidology and Atherosclerosis ( 2016 지질·동맥경화학회지 Vol.5 No.1

Fast Global Image Smoothing Based on Weighted Least Squares

Dongbo Min,Sunghwan Choi,Jiangbo Lu,Bumsub Ham,Kwanghoon Sohn,Do, Minh N. IEEE 2014 IEEE TRANSACTIONS ON IMAGE PROCESSING - Vol.23 No.12

<P>This paper presents an efficient technique for performing a spatially inhomogeneous edge-preserving image smoothing, called fast global smoother. Focusing on sparse Laplacian matrices consisting of a data term and a prior term (typically defined using four or eight neighbors for 2D image), our approach efficiently solves such global objective functions. In particular, we approximate the solution of the memory- and computation-intensive large linear system, defined over a d -dimensional spatial domain, by solving a sequence of 1D subsystems. Our separable implementation enables applying a linear-time tridiagonal matrix algorithm to solve d three-point Laplacian matrices iteratively. Our approach combines the best of two paradigms, i.e., efficient edge-preserving filters and optimization-based smoothing. Our method has a comparable runtime to the fast edge-preserving filters, but its global optimization formulation overcomes many limitations of the local filtering approaches. Our method also achieves high-quality results as the state-of-the-art optimization-based techniques, but runs ~10-30 times faster. Besides, considering the flexibility in defining an objective function, we further propose generalized fast algorithms that perform Lγ norm smoothing (0 <; γ <;2) and support an aggregated (robust) data term for handling imprecise data constraints. We demonstrate the effectiveness and efficiency of our techniques in a range of image processing and computer graphics applications.</P>

Visual Comfort Enhancement for Stereoscopic Video Based on Binocular Fusion Characteristics

Donghyun Kim,Sunghwan Choi,Kwanghoon Sohn IEEE 2013 IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDE Vol.23 No.3

<P>A well-known problem in stereoscopic videos is visual fatigue. However, conventional depth adjustment methods provide little guidance in deciding the amount of depth control or determining the condition for depth control. We propose a depth adjustment method based on binocular fusion characteristics, where the fusion time is used as the parameter for adjustment. Visual comfort enhancement is implemented with the horizontal image shift approach for depth adjustment. The speeded-up robust feature is used to estimate maximum disparity and disparity distribution, while a face detection algorithm is used to estimate the viewing distance with a single web camera. Binocular fusion characteristics are acquired in advance by measuring the time required for fusion under various conditions, including foreground disparity, background disparity, and focal distance for random-dot stereograms. Finally, a subjective evaluation is conducted in fixed and free-to-move viewing conditions, and the results show that comfortable videos were generated based on the proposed depth adjustment method.</P>

안구 운동량 검출을 이용한 스테레오 영상의 시각적 피로도 측정

최성환(Choi Sunghwan),김동현(Kim Donghyun),최재섭(Choi Jaeseob),손광훈(Sohn Kwanghoon) 한국방송·미디어공학회 2010 한국방송공학회 학술발표대회 논문집 Vol.2010 No.11

본 논문에서는 3차원 스테레오 영상에서의 시각적 피로도와 안구의 운동량과의 상관관계를 도출하고 시각적 피로도 측정시스템을 제안한다. 제안한 측정 방법은 3차원 스테레오 영상 시청자의 피로도가 누적되었을 때, 안구의 단속성 운동(saccade)이 감소할 것이라는 가정에 기반을 둔다. 액티브 셔터글라스 방식의 3D 안경을 착용한 시청자의 동공을 검출하고 추적하기 위해 적외선 광원 및 적외선 카메라를 이용한다. 획득한 영상에 대해 이진 임계화를 적용하고 타원 피팅을 수행하여 동공의 위치를 검출한다. 피팅된 타원의 이심률과 크기 및 위치를 제한하여 검출 오류를 줄인다. 검출된 동공의 위치를 바탕으로 안구의 단속성 운동량을 측정한다. 실험에는 변이 정도가 크지 않아 편안하게 시청 가능한 스테레오 영상과 과도한 변이를 가져 시청하는데 불편한 영상이 분리되어 사용되었다. 이들 영상에 대해 각각 실험자의 단속성 운동량을 측정하였다. 실험 결과에서 안구의 단속성 운동량이 변이가 큰 영상에서 그렇지 않은 영상에 비해 감소하는 경향이 나타났다.

가상 시점 생성을 위한 기하학적 제약조건을 이용한 예제 기반 영상 인페인팅

최성환(Choi, Sunghwan),함범섭(Ham, Bumsub),손광훈(Sohn, Kwanghoon) 한국방송·미디어공학회 2011 한국방송공학회 학술발표대회 논문집 Vol.2011 No.7

본 논문에서는 가상 시점 생성 시 발생하는 홀 영역의 메움 기법에 관하여 기하학적 제약조건을 이용한 예제 기반 영상 인페인팅 기술을 제안한다. 생성된 가상 시점이 실제 카메라들의 중간에 위치하는 경우, 이 때 발생하는 홀 영역은 시점 간 보상으로 메울 수 있다. 하지만, 가상 시점이 실제 카메라들의 Field-of-View를 벗어난 경우에는 홀 영역에 대한 정보가 없기 때문에 이를 메우는데 어려운 문제가 따른다. 이러한 문제를 해결하기 위해 제안한 방법은 예제 기반의 영상 인페인팅 기술을 이용하여 홀 영역을 메운다. 제안한 방법은 홀 영역의 기하학적 특성을 제약조건으로 우선순위(Priority)를 계산한다. 최적의 패치를 찾기 위해 컬러 정보뿐만 아니라 깊이 정보(Depth)를 활용한다. 또한, 전경 물체의 텍스쳐로 인하여 잘못된 패치가 선택되는 문제를 해결하기 위해 적응적으로 패치 크기를 변경한다. 실험 결과에서 제안한 방법은 일반적인 홀 메움 방식과 비교하여 객관적 평가와 주관적 평가 모두에서 시각적으로 우수한 결과를 보여주었다.

1차 Radiative Transfer 모델의 입력 변수 민감도 조사를 통한 농림 지역의 간단한 마이크로파 산란 모델 개발

박신명(Sinmyong Park),손성환(SungHwan Sohn),문현욱(Hyun-Wook Moon),유동길(Dong-Gil Yoo),강연덕(Yeon-Duk Kang),오이석(Yisok Oh) 한국전자파학회 2020 한국전자파학회논문지 Vol.31 No.4

본 논문에서는 농림지역에서 마이크로파 후방산란 계산에 사용할 수 있는 1차 RT(radiative transfer) 모델의 입력 변수 민감도 조사를 통해 입력 변수의 수를 줄여 개발한 간단한 마이크로파 산란 모델을 제시한다. 먼저 1차 RT 모델을 사용하여 다양한 초목과 표면 조건에 대한 광범위한 마이크로파 후방산란 계수 데이터베이스를 생성한다. 이 데이터베이스는 COSMO-SkyMed SAR(synthetic aperture radar)와 HPS(Hongik polarimetric scatterometer)에 의해 획득된 농림 지역의 후방 산란 계수와 기존 산란 모델에 의해 계산된 후방산란 계수와 현장 실측 데이터로 구성된다. 현장 실측 데이터를 기반으로 초목이 가질 수 있는 입력 변수의 최소와 최대값을 설정하여 그에 따른 후방산란 계수를 계산하였다. 또한 GSA(global sensitivity analysis) 기법을 사용하여 입력 변수의 민감도를 조사하였다. 초목과 표면, 주파수 등 32개 입력 변수의 다양한 범위에 대해 계산된 민감도를 기반으로 총 32개의 입력 변수 중 12개의 입력 변수를 선택하였다. 선택된 12개의 입력 변수만을 사용하여 1차 RT 모델로 후방산란 계수를 계산하였으며, 측정 데이터와 비교하였다. 측정 데이터와 기존 1차 RT 모델 간의 RMSE(root mean square error)는 약 0.91 dB이며, 간단한 산란 모델 간의 RMSE는 약 0.95 dB이다. 간단한 산란 모델의 입력 변수는 약 1/3로 줄었지만 정확도는 유지되는 것을 확인할 수 있다. This paper presents a simple microwave backscattering model achieved by reducing the number of input parameters, based on sensitivity examinations of the input parameters of the 1<SUP>st</SUP>-order radiative transfer(RT) model. The proposed model can be used to compute the microwave backscattering coefficients in agricultural areas. First, we generated an extensive database of microwave backscattering coefficients corresponding to various vegetation and surface conditions, using the 1<SUP>st</SUP>-order RT technique. This database comprises the backscattering coefficients of agricultural areas acquired via COSMO-SkyMed synthetic aperture radar and the Hongik polarimetric scatterometer and also the backscattering coefficients computed using existing scattering models and in-situ measured ground-truth data corresponding to radar data. Subsequently, we examine the sensitivity of the input parameters based on the difference between backscattering coefficients and global sensitivity analyses. Among a total of 32 input parameters, based on the sensitivities calculated for various vegetation types, frequencies, and ranges, 12 input parameters of the RT model exhibited the highest sensitivity. Thereafter, we verified the accuracy of the proposed simple scattering model for agricultural areas. The root mean square error(RMSE) between the measurement data and the simple model is approximately 0.95 dB, whereas the RMSE between the measurement data and the 1st-order RT model is 0.91 dB. Although the number of input parameters for the simple model is reduced by approximately one third, the accuracy of the scattering model is maintained.