자율주행을 위한 Monocular Depth Estimation에 관한 연구

유지상(Jisang Yoo),전우민(Woomin Jun),이성진(Sungjin Lee) 한국통신학회 2023 韓國通信學會論文誌 Vol.48 No.12

인공지능 병원 안내 로봇에 관한 연구

유지상 ( Jisang Yoo ),박민수 ( Minsu Park ),조성규 ( Sungkyu Cho ),정형준 ( Hyeoungjoon Jeong ),박상욱 ( Sanguk Park ),이성진 ( Sungjin Lee ) 한국정보처리학회 2022 한국정보처리학회 학술대회논문집 Vol.29 No.2

최근 인건비보다 저렴하게 사용할 수 있는 자율주행 로봇에 대한 수요가 증가하고 있다. 팬데믹의 영향으로 마스크 착용과 체온 측정이 의무화되어 키오스크, 체온 측정기와 같은 비대면 서비스의 수요 또한 증가하였다. 하지만 이러한 기능들은 각기 다른 기계에서 독립적으로 사용되며, 현재 보급된 자율주행 로봇을 병원에서 사용하기에는 적합하지 않다고 판단하였다. 본 연구에서 개발한 마스크 착용 여부 확인, 체온 확인, 자율주행을 활용한 안내 기능을 탑재한 인공지능 병원 안내 로봇을 통해 의료진의 업무 효율화 및 잠재적 비용 감소 효과를 기대한다. 본 연구에서는 마스크 착용 여부 확인을 위해 사용한 YOLOv5 알고리즘 훈련 결과를 통하여 높은 성능을 확인하였고 열화상 카메라를 사용한 체온 측정 알고리즘을 개발하였다. 또한, 실내 자율주행 실험을 통하여 Cartographer, Navigation 기능의 정상적으로 작동함을 확인하였다.

인공지능 병원안내 로봇에 관한 연구

유지상(Jisang Yoo),박민수(Minsu Park),조성규(Sungkyu Cho),정형준(Hyeoungjoon Jeong),박상욱(Sanguk Park),이성진(Sungjin Lee) 한국통신학회 2023 한국통신학회 학술대회논문집 Vol.2023 No.2

움직임 추정을 통한 깊이 지도의 시간적 일관성 보상 기법

현지호,유지상,Hyun, Jeeho,Yoo, Jisang 한국정보통신학회 2013 한국정보통신학회논문지 Vol.17 No.2

본 논문에서는 컬러 영상에서 추정된 움직임 벡터를 이용하여 움직이는 객체와 움직이지 않는 객체로 영상을 분리하여 깊이 영상의 시간적 일관성을 보상하는 기법을 제안한다. 제안하는 기법에서는 광류(optical flow) 추정 기법을 이용하여 연속되는 컬러 영상의 움직임 벡터를 추정하고 초기 움직임 객체 영역을 생성한다. 이를 바탕으로 그랩컷(grabcut) 기법을 통해 움직임이 있는 객체와 움직임이 없는 객체 영역을 분리한다. 그리고 움직임이 없는 객체 영역의 깊이 값을 이전 프레임의 깊이 지도와 정합 창 기반 절대평균오차(sum of absolute differences)를 통해 비교하여 일정 임계값보다 클 경우 이전 프레임의 깊이 값으로 현재 프레임의 깊이 값을 대체함으로써 시간적 상관성을 보상한다. 움직임이 있는 객체 영역의 경우 시간 축으로 확장된 결합형 양방향 필터링을 수행하여 시간적 상관성을 보상한다. 제안하는 기법으로 보상된 깊이 지도를 이용하여 가상 시점을 합성할 시 화질 향상 뿐 아니라 최근 표준화가 진행 중인 HEVC에서도 부호화 효율 또한 증가한다는 것을 실험을 통하여 확인하였다. Generally, a camera isn't located at the center of display in a tele-presence system and it causes an incorrect eye contact between speakers which reduce the realistic feeling during the conversation. To solve this incorrect eye contact problem, we newly propose an intermediate view reconstruction algorithm using both a color camera and a depth camera and applying for the depth image based rendering (DIBR) algorithm. In the proposed algorithm, an efficient hole filling method using the arithmetic mean value of neighbor pixels and an efficient boundary noise removal method by expanding the edge region of depth image are included. We show that the generated eye-contacted image has good quality through experiments.

한글 음식 메뉴 인식을 위한 OCR 기반 어플리케이션 개발

이규철,유지상,Lee, Gyu-Cheol,Yoo, Jisang 한국정보통신학회 2017 한국정보통신학회논문지 Vol.21 No.5

In this paper, we design and implement an Android-based Hangul food menu recognition application that recognizes characters from images captured by a smart phone. Optical Character Recognition (OCR) technology is divided into preprocessing, recognition and post-processing. In the preprocessing process, the characters are extracted using Maximally Stable Extremal Regions (MSER). In recognition process, Tesseract-OCR, a free OCR engine, is used to recognize characters. In the post-processing process, the wrong result is corrected by using the dictionary DB for the food menu. In order to evaluate the performance of the proposed method, experiments were conducted to compare the recognition performance using the actual menu plate as the DB. The recognition rate measurement experiment with OCR Instantly Free, Text Scanner and Text Fairy, which is a character recognizing application in Google Play Store, was conducted. The experimental results show that the proposed method shows an average recognition rate of 14.1% higher than other techniques. 본 논문에서는 스마트폰으로 음식 메뉴를 촬영한 영상으로부터 글자를 인식하는 안드로이드 기반의 한글 음식 메뉴 인식 어플리케이션을 설계하고 구현한다. Optical Character Recognition (OCR) 기술은 크게 전처리, 인식 그리고 후처리 과정으로 구분된다. 전처리 과정에서는 Maximally Stable Extremal Regions (MSER) 기법을 이용하여 글자를 추출한다. 인식 과정에서는 무료 OCR 엔진인 Tesseract-OCR을 이용하여 글자를 인식한다. 후처리 과정에서는 음식 메뉴에 대한 사전 DB를 이용하여 잘못된 결과를 수정한다. 제안하는 기법의 성능을 평가하기 위해 실제 메뉴판을 DB로 이용하여 인식 성능을 비교 측정하는 실험을 진행하였다. 구글 플레이스토어에 있는 글자 인식 어플리케이션인 OCR Instantly Free, Text Scanner 그리고 Text Fairy와 인식률 측정 실험을 진행하였으며 실험 결과 제안하는 기법이 다른 기법보다 평균적으로 14.1% 높은 인식률을 보여주는 것을 확인하였다.

각도 변화에 강인한 기하학적 특징 기반의 손가락 인식 기법

안하은,유지상,Ahn, Ha-Eun,Yoo, Jisang 한국정보통신학회 2014 한국정보통신학회논문지 Vol.18 No.7

본 논문에서는 키넥트(Kinect)를 통해 획득한 깊이 영상에서 손가락의 모양을 인식하는 새로운 기법을 제안한다. 각도 변화에 강인하게 하기 위하여 입력 손 영상의 회전 보상 각도를 계산한 뒤 강체(rigid) 변환을 통하여 손 영상을 회전 변환시킨다. 회전 보상 각도를 계산하기 위하여 손 영상의 경계선을 추출한 뒤 경계선을 이루는 화소들의 좌표의 변화를 관찰한다. 제안하는 기법에서는 손가락 모양을 인식하기 위하여 손 영역에서 최 상단, 최 우측, 최 좌측 화소 좌표를 획득한 뒤, 손가락의 기하학적 특징에 착안하여 좌표들 사이의 거리 변화와 좌표들 사이의 각도변화 그리고 손 영역의 화소 면적을 이용하게 된다. 실험을 통해 제안하는 기법이 기존의 기법보다 성능이 우수한 것을 확인하였다. In this paper, a new scheme to recognize a finger shape in the depth image captured by Kinect is proposed. Rigid transformation of an input finger shape is pre-processed for its robustness against the shape angle of input fingers. After extracting contour map from hand region, observing the change of contour pixel location is performed to calculate rotational compensation angle. For the finger shape recognition, we first acquire three pixel points, the most left, right, and top located pixel points. In the proposed algorithm, we first acquire three pixel points, the most left, right, and top located pixel points for the finger shape recognition, also we use geometrical features of human fingers such as Euclidean distance, the angle of the finger and the pixel area of hand region between each pixel points to recognize the finger shape. Through experimental results, we show that the proposed algorithm performs better than old schemes.

Convex-hull을 이용한 기하학적 특징 기반의 손 모양 인식 기법

최인규,유지상,Choi, In-Kyu,Yoo, Jisang 한국정보통신학회 2014 한국정보통신학회논문지 Vol.18 No.8

x본 논문에서는 키넥트(Kinect) 시스템에서 획득한 깊이 영상으로부터 convex-hull을 이용한 기하학적 특징 기반의 손 모양 인식 기법을 제안한다. 키넥트 시스템은 깊이 영상과 사용자의 골격 정보를 제공하는 카메라로 손 영역 검출에 유용하게 활용할 수 있다. 제안하는 기법에서는 키넥트로 획득한 깊이 영상에서 손 영역을 검출하고, 이 손 영역의 convex-hull을 구한다. 손 모양에 따라서 변하는 convex-hull에서 잡음으로 생긴 경계점 및 인식에 불필요한 경계점을 일련의 기법을 통해 제거한다. 추려진 경계점을 통해 재구성된 convex-hull을 특정 다각형으로 판단하고, 이 다각형의 내각의 합을 이용하여 손 모양을 인식하게 된다. 실험을 통해 제안하는 기법이 인식하고자 하는 모델에 대하여 높은 인식률을 보여준다는 것을 확인하였고, 단순히 특정 방향으로 고정된 손 모양뿐만 아니라 같은 모양이나 방향이 틀어진 손 모양에 대해서도 우수한 인식 성능을 확인하였다. In this paper, we propose a new hand shape recognition algorithm based on the geometric features using the convex-hull from the depth image acquired by Kinect system. Kinect is a camera providing a depth image and user's skeleton information and used for detecting hand region. In the proposed algorithm, hand region is detected in a depth image acquired by Kinect and convex-hull of the region is found. Boundary points caused by noise and unnecessary points for recognition are eliminated in the convex-hull that changes depending on hand shape. Hand shape is recognized by the sum of internal angle of a polygon that is matched with convex-hull reconstructed with selected boundary points. Through experiments, we confirm that proposed algorithm shows high recognition rate not only for five models but also those cases rotated.

컷 전환에 적응적인 혼합형 초고해상도 기법

권순찬,임종명,유지상,Kwon, Soon-Chan,Lim, Jong-Myeong,Yoo, Jisang 한국정보통신학회 2013 한국정보통신학회논문지 Vol.17 No.7

본 논문에서는 이산 웨이블릿 변환(discrete wavelet transform: DWT)을 이용한 단일영상 기반의 초고해상도 기법(super-resolution)과, 복수영상 기반의 초고해상도 기법을 제시하고 두 기법을 혼합한 새로운 초고해상도 기법 기법을 제안한다. 기존의 단일 영상 기반의 초고해상도 기법의 경우 처리 시간이 빠르다는 장점이 있으나 영상 보간 시 사용할 수 있는 정보량이 제한적이다. 또한 기존 복수영상 기반의 초고해상도 기법은 단일 영상을 사용했을 경우보다 영상의 보간 시 많은 정보를 사용할 수 있으나 영상의 내용에 따라 기법의 적용이 제한적이고, 컷(cut)의 경계 부근에서 기법의 성능이 매우 떨어지는 단점이 있다. 제안된 기법에서는 컷 검출(cut-detection) 기법을 통해 각 장면의 경계부근에서 적응적으로 단일영상 기반의 초고해상도 기법을 사용한다. 또한 움직임 벡터의 정규화 및 블록 단위의 윤곽선(edge) 패턴 분석을 통해 여러 제한조건에 강한 복수 영상 기반의 초고해상도 기법을 제안한다. 실험을 통하여 제안된 기법이 객관적, 주관적으로 기존의 기법보다 우수한 성능을 보이는 것을 확인하였다. In this paper, we propose a hybrid super-resolution algorithm robust to cut-change. Existing single-frame based super-resolution algorithms are usually fast, but quantity of information for interpolation is limited. Although the existing multi-frame based super-resolution algorithms generally robust to this problem, the performance of algorithm strongly depends on motions of input video. Furthemore at boundary of cut, applying of the algorithm is limited. In the proposed method, we detect a define boundary of cut using cut-detection algorithm. Then we adaptively apply a single-frame based super-resolution method to detected cut. Additionally, we propose algorithms of normalizing motion vector and analyzing pattern of edge to solve various problems of existing super-resolution algorithms. The experimental results show that the proposed algorithm has better performance than other conventional interpolation methods.

깊이 정보를 이용한 영역분할 기반의 다시점 영상 조명보상 기법

강근호,고민수,유지상,Kang, Keunho,Ko, Min Soo,Yoo, Jisang 한국정보통신학회 2013 한국정보통신학회논문지 Vol.17 No.4

본 논문에서는 영상 분할을 이용한 다시점 영상의 조명보상 기법을 제안한다. 제안하는 기법에서는 깊이 정보를 이용하여 일정 거리에 따라 참조 영상의 깊이 영상을 레이어로 분리한다. 분리된 레이어에서 서로 다른 객체를 분리하기 위하여 각 레이어에 레이블링 과정을 수행한다. 레이블링 된 참조 영상의 깊이 영상은 3D 워핑 기법을 통하여 왜곡 영상의 시점으로 변환되고 레이블링 된 영역을 찾아 히스토그램을 이용한 조명 보상을 각 영역에서 독립적으로 수행한다. 3D 워핑으로 발생하는 가려짐 영역은 전역적인 방법을 이용하여 보상하게 된다. 다양한 실험을 통해 제안하는 기법으로 조명보상 전처리를 수행한 다시점 영상의 부호화 효율이 향상되는 것을 확인할 수 있었다. In this paper, a new illumination compensation algorithm by segmentation with depth information is proposed to improve the coding efficiency of multi-view images. In the proposed algorithm, a reference image is first segmented into several layers where each layer is composed of objects with a similar depth value. Then we separate objects from each other even in the same layer by labeling each separate region in the layered image. Then, the labeled reference depth image is converted to the position of the distortion image view by using 3D warping algorithm. Finally, we apply an illumination compensation algorithm to each of matched regions in the converted reference view and distorted view. The occlusion regions that occur by 3D warping are also compensated by a global compensation method. Through experimental results, we are able to confirm that the proposed algorithm has better performance to improve coding efficiency.

FAST를 이용한 파노라마 영상 생성 방법

김종호,고진웅,유지상,Kim, Jong-ho,Ko, Jin-woong,Yoo, Jisang 한국정보통신학회 2016 한국정보통신학회논문지 Vol.20 No.3

본 논문에서는 자연스러운 파노라마 영상 생성을 위해 SIFT와 SURF 방법보다 빠른 FAST(Features from Accelerated Segment Test)를 이용한 특징점 기반의 파노라마 영상 생성 기법을 제안한다. 다수의 영상을 이용해 자연스러운 파노라마 영상을 만들기 위해 실린더 투영을 수행 한 후 추출된 특징점들을 RANSAC(Random Sample Consensus)을 이용해 정합 시 오차율을 최소화한다. 서로 다른 방향에서 얻는 다수의 영상을 합성할 때 정합 경계 주변의 이질감을 보완하기 위해 블렌딩 기법을 사용함으로써 자연스러운 파노라마 영상을 생성한다. 제안하는 기법에서는 영상을 정합할 때 영상의 입력 순서와 방향에 관계없이 파노라마 영상을 만들 수 있다. 또한 기존의 방법보다 빠른 속도로 영상 정합이 가능하다. 다수의 영상으로 실험을 한 결과 왜곡이 보정되고 자연스러운 파노라마 영상을 생성할 수 있었다. In this paper, a feature based panorama image generation algorithm using FAST(Features from Accelerated Segment Test) method that is faster than SIFT(Scale Invariant Feature Transform) and SURF(Speeded Up Robust Features) is proposed. Cylindrical projection is performed to generate natural panorama images with numerous images as input. The occurred error can be minimized by applying RANSAC(Random Sample Consensus) for the matching process. When we synthesize numerous images acquired from different camera angles, we use blending techniques to compensate the distortions by the heterogeneity of border line. In that way, we could get more natural synthesized panorama image. The proposed algorithm can generate natural panorama images regardless the order of input images and tilted images. In addition, the image matching can be faster than the conventional method. As a result of the experiments, distortion was corrected and natural panorama image was generated.