자율주행을 위한 이중초점 스테레오 카메라 시스템을 이용한 깊이 영상 생성 방법

이은경(Eun-Kyung Lee) 한국전자통신학회 2021 한국전자통신학회 논문지 Vol.16 No.6

본 논문에서는 이중시점 스테레오 이미지와 그에 상응하는 깊이맵을 생성하기 위해 서로 다른 초점거리를 가지고 있는 두 카메라를 결합한 이중시점 스테레오 카메라 시스템을 제안한다. 제안한 이중초점 스테레오 카메라 시스템을 이용해 깊이맵을 생성하기 위해서는 먼저 서로 다른 초점을 가진 두 카메라에 대한 카메라 정보를 추출하기 위한 카메라 보정(Camera Calibration)을 수행한다. 카메라 파라미터를 이용해 깊이맵 생성을 위한 공통 이미지 평면을 생성하고 스테레오 이미지 정렬화(Image Rectification)를 수행한다. 마지막으로 정렬화된 스테레오 이미지를 이용하여 깊이맵을 생성하였다. 본 논문에서는 깊이맵을 생성하기 위해서 SGM(Semi-global Matching) 알고리즘을 사용하였다. 제안한 이중초점 스테레오 카메라 시스템은 서로 다른 초점 카메라들이 수행해야 하는 기능을 수행함과 동시에 두 카메라를 이용한 스테레오 정합(Stereo Matching)을 통해서 현재 주행 중인 환경에서의 차량, 보행자, 장애물과의 거리 정보까지 생성할 수 있어서 보다 안전한 자율주행 차량 설계를 가능하게 하였다. In this paper, we present a bifocal stereo camera system combining two cameras with different focal length cameras to generate stereoscopic image and their corresponding depth map. In order to obtain the depth data using the bifocal stereo camera system, we perform camera calibration to extract internal and external camera parameters for each camera. We calculate a common image plane and perform a image rectification for generating the depth map using camera parameters of bifocal stereo camera. Finally we use a SGM(Semi-global matching) algorithm to generate the depth map in this paper. The proposed bifocal stereo camera system can performs not only their own functions but also generates distance information about vehicles, pedestrians, and obstacles in the current driving environment. This made it possible to design safer autonomous vehicles.

깊이 카메라를 활용한 숄더프레스 동작의 신뢰도 및 정확도 검증

김성민,김석범,정광석,이미소,김보경,김지인,문제헌 한국융합과학회 2022 한국융합과학회지 Vol.11 No.11

Purpose The purpose of this study is to identify the accuracy and reliability of the kinematic data of the depth camera based on the infrared camera data for shoulder press. Methods Total 53 male(n = 42) and female(n = 11) healthy students participated in this study. Total 1,272 data of shoulder press were collected to analyze the reliability and accuracy of the two camera data. Angle and angular velocity were calculated from position data, the analysis method used the Pearson correlation coefficient for reliability analysis, Root Mean Square Error(RMSE) for accuracy analysis and max/min difference of angle and angular velocity between two cameras. Result The reliability analysis between the two cameras showed high reliability of the left and right elbow(angle: left - 0.969, right – 0.969; angular velocity: left – 0.899, right – 0.888) and shoulder joint(angle: left - 0.881, right - 0.977) for angle and angular velocity(elbow: left – 0.969, right – 0.969; shoulder: left - 0.848, right: 0.901). In Root Mean Square Error, the left/right elbow for angle and angular velocity appeared 9.587/9.177 °, 50.20, 50.36 °, and the shoulder joint appeared 14.89, 9.927 °, 41.55, 44.45 °/s respectively. Conclusion The pattern of shoulder press analyzed by the depth camera and the infrared camera were similar, but statistical differences were found in joint angle and angular velocity of absolute value. 연구목적 본 연구의 목적은 깊이 카메라를 활용하여 숄더프레스 동작의 운동학적 변인을 추출하고 이를 적외선 카메라와의 비교하여 데이터의 신뢰도와 정확도를 검증하는데 있다. 연구방법 충청북도 청주시 소재 K대학에서 주 2회 이상 웨이트 트레이닝을 하는 20대 일반 남녀 학생 53명(남: 42명, 여: 11명)을 대상으로 숄더프레스 동작의 데이터를 수집하였다. 측정 시 깊이 카메라에서 추출된 각도 및 각속도 데이터들의 신뢰도 및 정확성을 분석하기 위해 3차원 깊이 카메라와 적외선 카메라를 사용하였고 총 1,272회의 데이터를 수집하여 분석하였다. 분석방법으로는 깊이 카메라와 적외선 카메라 간 관절별 운동학적 변인의 피어슨 상관계수와 절대평균 제곱근 오차를 분석하였다. 결과 좌/우 팔꿉관절의 각도는 각각 0.969, 0.973, 어깨관절은 각각 0.881, 0.977로 나타났다. 좌/우측 팔꿉관절의 각속도 신뢰도는 각각 0.899, 0.888으로 나타났고, 어깨관절은 0.848, 0.901으로 나타났다. 절대평균 제곱근 오차에서는 좌/우 팔꿉관절은 9.587, 9.177 °, 어깨관절은 14.89, 9.927 °로 나타났다. 좌/우 팔꿉관절의 각속도는 50.21, 50.37 °/s, 어깨관절은 41.55, 44.45 °/s의 차이가 나타났다. 좌/우 무릎관절은 각각 0.423, 1.909 °/s와 엉덩관절은 1.909, 2.034 °/s가 나타났다. 결론 동적인 운동을 수행하는 관절의 깊이 카메라 데이터는 적외선 카메라와 동일한 수준으로 적용시킬 수 있을 것으로 보인다. 하지만 정밀한 움직임의 관절 데이터에 대해서는 조심스럽게 접근할 필요가 있고 운동학적 데이터의 절대적인 크기는 정확도 측면에서 차이가 있는 것으로 나타났다.

깊이 카메라를 활용한 숄더 프레스 동작의 신뢰도 및 정확도 검증

김성민 ( Sung-min Kim ),정광석 ( Kwang-seok Jeong ),이미소 ( Mi-so Lee ),김보경 ( Bo-kyung Kim ),김지인 ( Ji-in Kim ),문제헌 ( Je-heon Moon ),김석범 ( Suk-bum Kim ) 한국융합과학회 2022 한국융합과학회 국제학술대회자료집 Vol.2022 No.0

목적: 본 연구의 목적은 깊이 카메라를 활용하여 숄더 프레스 동작의 운동학적 변인을 추출하고 이를 적외선카메라와의 비교를 통한 데이터의 신뢰도와 정확도를 검증하는데 있다. 과정: 충청북도 청주시 소재 H대학에서 주 2회 이상 웨이트 트레이닝을 하는 20대 일반 남녀 학생 53명(남: 42명, 여: 11명)을 대상으로 숄더프레스 동작을 실시하였다. 깊이 카메라(D415, Intel) 데이터는 3차원 동작분석 장비인 적외선 카메라(Miqus M3, Qualisys)에서 추출된 변인들을 기준으로 신뢰도 및 정확도를 분석하였고 총 1,272회의 데이터를 수집하여 분석하였다. 두 종류의 카메라에서 추출된 위치좌표 데이터를 통해 각각 인체의 관절각도와 각속도를 산출하였고 신뢰도 분석을 위한 피어슨 상관계수, 정확도 분석을 위한 절대평균 제곱근 오차와 최대 굴곡/신전 각도 및 각속도를 사용하여 분석하였다. 결과: 피어슨 상관계수 분석 결과 좌/우측 팔꿈치 관절각도는 각각 0.969, 0.973, 어깨관절은 각각 0.881, 0.977로 나타났다. 좌/우측 팔꿈치 관절각속도는 0.899, 0.888으로 나타났고, 어깨관절은 0.848, 0.901으로 나타났다. 절대평균 제곱근 오차에서는 좌/우측 팔꿈치관절은 9.587, 9.177 deg, 어깨관절은 14.899, 9.927 deg로 나타났다. 좌/우측 팔꿈치 관절각속도는 50.209, 50.369 deg/s, 어깨관절은 41.556, 44.459 deg/s의 차이가 나타났다. 좌/우측 무릎관절은 각각 0.423, 1.909 deg/s와 엉덩관절은 1.909, 2.034 deg/s가 나타났다. 최대/최소 각도 차이는 대부분 관절에서 통계적인 차이가 나타났고(팔꿈치 좌측: 굴곡 - p = .014, 신전 - p = .000 / 우측: 신전 - p = .021; 어깨 좌측: 굴곡 - p = .000 / 우측: 굴곡 - p = .000, 신전 - p = .000; 엉덩이 좌/우측 굴곡/신전: p = 0.000; 무릎 좌측: 굴곡 - p = .002, 신전 - p = .003 / 우측: 굴곡 - p = .012, 신전 - p = .026) 각속도의 경우 무릎관절을 제외하고 팔꿈치, 어깨, 엉덩관절에서 통계적으로 유의한 차이가 나타났다(p = .000). 결론: 깊이 카메라와 적외선 카메라로 분석한 숄더 프레스 동작의 패턴은 유사한 결과를 보였지만 절대적인 크기를 비교한 각도와 각속도에서는 통계적인 차이가 나타났다. 따라서 깊이 카메라는 움직임 패턴을 인식하는데 활용이 가능할 것으로 판단되며, 정밀 동작에 대한 평가는 조심스럽게 접근해야 할 것으로 보인다. 추후 연구에서는 정상과 비정상 동작을 수집한 후 자동으로 분류하는 알고리즘을 개발하여 실내 트레이닝장의 이용자 안전사고를 예방 측면에서 활용되길 기대한다. Purpose: The purpose of this study is to identify the accuracy and reliability of the kinematic data of the depth camera based on the infrared camera data for shoulder press. Method: A total of 53 male(n = 42) and female(n = 11) healthy students participated in this study. Depth camera (D415, Intel) data were analyzed for reliability and accuracy based on variables extracted from infrared cameras (Miqus M3, Qualisys), and a total of 1,272 data were collected. Angle and angular velocity were calculated from position data. The analysis used the Pearson correlation coefficient for reliability analysis, Root Mean Square Error(RMSE) for accuracy analysis, and max/min angle and angular velocity difference between the two cameras. Result: The reliability analysis through pearson correlation between the two cameras showed high reliability of the left and right elbow(angle: left - 0.969, right - 0.969; angular velocity: left - 0.899, right - 0.888) and shoulder joint(angle: left - 0.881, right - 0.977) for angle and angular velocity(elbow: left - 0.969, right - 0.969; shoulder: 0.848, Right: 0.901). In RMSE, the left/right elbow for angle and angular velocity appeared 9.587/9.177 deg, 50.209, 50.369 deg/s, and the shoulder joint appeared 14.899, 9.927 deg, 41.556, 44.459 deg/s, respectively. The maximum/minimum angle difference was statistically different in most joints(left elbow: flexion - p = .014, extension - p = .000 / right: extension - p = .021; left shoulder: flexion - p = .000 / right: flexion - p = .000, extension - p = .000; left/right hip flexion/extension: p = 0.000; left knee: flexion - p = .002, extension - p = .003 / right: flexion - p = .012, extension - p = .026). The angular velocity was statistically significant in the elbow, shoulder, and hip joints, except for the knee joint(p = .000). Conclusion: The pattern of shoulder press analyzed by the depth camera and the infrared camera were similar, but statistical differences were found in joint angle and angular velocity of absolute value. Therefore, the depth camera can be used to analyze movement patterns, and precise movements should be evaluated carefully. In future studies, developing an algorithm that automatically classifies normal and abnormal movement is necessary. This technology is expected to be used to prevent safety accidents at indoor sports facilities.

깊이 카메라를 이용한 고해상도 변위 정보 획득 방법

강윤석,호요성 에스케이텔레콤 (주) 2011 Telecommunications Review Vol.21 No.4

본 논문에서는 Time-of-Flight(TOF) 원리를 이용한 저해상도 깊이 카메라를 이용하여 장면의 변위 정보를 획득하는 방법을 소개한다. 깊이 카메라는 적외선 센서를 통해 카메라로부터 물체까지의 거리를 측정하여 영상으로 출력하기 때문에 장면의 깊이 정보를 실시간으로 획득할 수 있는 장점이 있다. 하지만 획득되는 깊이 정보가 물체의 표면상태에 민감하며 영상에 잡음과 왜곡이 나타나는 문제를 가지고 있다. 또한 출력 영상의 해상도가 너무 작아 3차원 응용에 직접 이용하기가 어렵다. 따라서 깊이 카메라에서 촬영된 깊이 영상의 품질을 개선하고 해상도를 증가시키는 작업이 필요하다. 제안하는 방법은 깊이 카메라에서 획득한 깊이 정보를 이용하여 함께 사용되는 양안식 카메라에서 촬영된 색상 영상의 변위(disparity) 맵을 생성한다. 이를 위하여 깊이 카메라에서 촬영된 영상에 존재하는 렌즈 왜곡과잡음을 제거하고 색상 영상의 위치로 각 화소의 깊이 정보를 3차원 투영(warping)한다. 색상 영상은 영역 분할된 후각 영역으로 투영되어 온 깊이 카메라의 깊이 정보를 이용하여 변위 정보를 생성한다. 실험결과에서 보듯이 변위 맵과인접 시점으로 복원된 영상을 통하여 제안하는 방법이 효과적으로 장면의 변위 정보를 생성함을 알 수 있다.

복합형 카메라 시스템을 이용한 고화질 3차원 비디오 생성 방법

이은경,호요성 에스케이텔레콤 (주) 2012 Telecommunications Review Vol.22 No.1

본 논문은 다시점 비디오와 그에 상응하는 다시점 깊이영상을 생성하기 위해 다시점 비디오 카메라와 깊이 카메라를 결합한 복합형 카메라 시스템을 제안한다. 제안한 복합형 카메라 시스템을 이용해 3차원 비디오를 생성하기 위해서는 우선 다시점 카메라와 깊이 카메라를 이용해 다시점 비디오와 깊이영상을 획득한다. 획득한 깊이영상을 이용해3차원 워핑(warping)을 적용하여 각 다시점 카메라를 위한 초기 깊이 정보를 예측하고 예측한 초기 깊이 정보를 이용해 세그먼트 기반의 스테레오 정합을 수행하여 초기 깊이영상을 생성한다. 3차원 워핑을 이용해 초기 깊이 정보를 예측하는 것은 다시점 카메라의 각 시점에서의 초기 깊이영상을 계산하기 위한 것이다. 본 논문에서는 물체의 외곽선 영역의 깊이영상 정확도를 높이기 위해 비디오 앞 뒤 영상의 색상 차분 정보를 이용해 움직임 영역을 추출한다. 마지막으로 고화질의 다시점 깊이영상을 생성하기 위해서 제안한 비용함수를 이용해 깊이영상을 정제한다. 제안한 복합형 카메라 시스템은 기존의 깊이영상 예측 방법보다 다시점 깊이영상을 포함하는 3차원 비디오를 빠르고 정확하게 생성할수 있었다. 이는 다양한 3차원 응용 분야를 위해 기존의 방법보다 자연스러운 3차원 영상을 생성할 수 있었다.

깊이 영상 카메라로부터 획득된 3D 영상의 품질 향상 방법

박병서,김동욱,서영호 한국정보통신학회 2021 한국정보통신학회논문지 Vol.25 No.5

일반적으로, 컴퓨터 비전, 로보틱스, 증강현실 분야에서 3차원 공간 및 3차원 객체 검출 및 인식기술의 중요성이 대두되고 있다. 특히, 마이크로소프트사의 키넥트(Microsoft Kinect) 방식을 사용하는 영상 센서를 통하여 RGB 영상과 깊이 영상을 실시간 획득하는 것이 가능해짐으로 인하여 객체 검출, 추적 및 인식 연구에 많은 변화를 가져오고 있다. 본 논문에서는 다시점 카메라 시스템 상에서의 깊이 기반(RGB-Depth) 카메라를 통해 획득된 영상을 처리하여 3D 복원 영상의 품질을 향상하는 방법을 제안한다. 본 논문에서는 컬러 영상으로부터 획득한 마스크 적용을 통해 객체 바깥쪽 잡음을 제거하는 방법과 객체 안쪽의 픽셀 간 깊이 정보 차이를 구하는 필터링 연산을 결합하여 적용하는 방법을 제시하였다. 각 실험 결과를 통해 제시한 방법이 효과적으로 잡음을 제거하여 3D 복원 영상의 품질을 향상할 수 있음을 확인하였다. In general, in the fields of computer vision, robotics, and augmented reality, the importance of 3D space and 3D object detection and recognition technology has emerged. In particular, since it is possible to acquire RGB images and depth images in real time through an image sensor using Microsoft Kinect method, many changes have been made to object detection, tracking and recognition studies. In this paper, we propose a method to improve the quality of 3D reconstructed images by processing images acquired through a depth-based (RGB-Depth) camera on a multi-view camera system. In this paper, a method of removing noise outside an object by applying a mask acquired from a color image and a method of applying a combined filtering operation to obtain the difference in depth information between pixels inside the object is proposed. Through each experiment result, it was confirmed that the proposed method can effectively remove noise and improve the quality of 3D reconstructed image.

복합형 카메라 시스템을 이용한 자율주행 차량 플랫폼

이은경 한국전자통신학회 2023 한국전자통신학회 논문지 Vol.18 No.6

본 논문에서는 자율주행 인지 기술의 핵심 요소인 객체 인식과 거리 측정을 위해 서로 다른 초점거리를 가진 다시점 카메라와 라이다(LiDAR) 센서를 결합한 복합형 카메라 시스템을 제안한다. 제안한 복합형 카메라 시스템을 이용해 장면 안의 객체를 추출하고, 추출한 객체의 정확한 위치와 거리 정보를 생성한다. 빠른 계산 속도와 높은 정확도, 실시간 처리가 가능하다는 장점 때문에 자율주행 분야에서 많이 사용하고 있는 YOLO7 알고리즘을 이용해 장면 안의 객체를 추출한다. 그리고 객체의 위치와 거리 정보를 생성하기 위해 다시점 카메라를 이용해 깊이맵을 생성한다. 마지막으로 거리 정확도를 향상시키기 위해 라이다 센서에서 획득한 3차원 거리 정보와 생성한 깊이맵을 하나로 결합한다. 본 논문에서는 제안한 복합형 카메라 시스템을 기반으로 주행 중인 주변 환경을 더욱 정확하게 인식함과 동시에 3차원 공간상의 정확한 위치와 거리 정보까지 생성할 수 있는 자율주행 차량 플랫폼을 제안하였으며, 이를 통해 자율주행 차량의 안전성과 효율성을 향상시킬 수 있을 것으로 기대한다. In this paper, we propose a hybrid camera system that combines cameras with different focal lengths and LiDAR (Light Detection and Ranging) sensors to address the core components of autonomous driving perception technology, which include object recognition and distance measurement. We extract objects within the scene and generate precise location and distance information for these objects using the proposed hybrid camera system. Initially, we employ the YOLO7 algorithm, widely utilized in the field of autonomous driving due to its advantages of fast computation, high accuracy, and real-time processing, for object recognition within the scene. Subsequently, we use multi-focal cameras to create depth maps to generate object positions and distance information. To enhance distance accuracy, we integrate the 3D distance information obtained from LiDAR sensors with the generated depth maps. In this paper, we introduce not only an autonomous vehicle platform capable of more accurately perceiving its surroundings during operation based on the proposed hybrid camera system, but also provide precise 3D spatial location and distance information. We anticipate that this will improve the safety and efficiency of autonomous vehicles.

깊이영상을 이용한 사람의 키 추정 방법

김흥준(Kim Heung-Jun),박유현(Park Yoo-Hyun),권순각(Kwon Soon-Kak) 한국산업정보학회 2017 한국산업정보학회논문지 Vol.22 No.2

본 논문에서는 깊이센서 카메라를 이용하여 획득된 깊이영상으로부터 사람의 키를 측정하는 방법을 제안한다. 깊이영상을 이용하면 색상영상에 비해 정확한 키의 측정이 가능하다. 본 논문에서는 수직방향으로 사람의 중앙부를 검출하고, 중앙 위치에서 측정된 키의 값을 누적하는 방법을 제안한다. 실험을 통해 제안한 방법이 기존의 방법 보다 성능이 우수한 것을 확인하였다. In This Paper, We Propose a Method to Estimate the Human Height from the Depth Image Obtained using a Depth Camera. Using the depth Image, Accurate Measurement for Human Height is Possible Compared with Color Image. This Paper Presents a Method to Detect the Center of a Person in the Vertical Direction and to Accumulate the Measured Height Values at the Center Position. Simulation Results Show that the Proposed Method has Better Performance than the Conventional Methods.

iOS 기반 실시간 객체 분리 및 듀얼 카메라 합성 개발

장유진 ( Yoo-jin Jang ),김지영 ( Ji-yeong Kim ),이주현 ( Ju-hyun Lee ),황준 ( Jun Hwang ) 한국인터넷정보학회 2021 인터넷정보학회논문지 Vol.22 No.3

본 논문에서는 모바일 환경에서 실시간으로 전면과 후면 카메라의 객체를 인식하여 객체 픽셀의 영역을 분할하고 이미지 처리를 통해 합성하는 방법을 연구하였다. 이를 위해 Apple사의 iOS에서 제공하는 듀얼 카메라에 DeepLabV3 머신러닝 모델을 적용하여 객체를 분할하였다. 또한 이미지 합성 및 후처리를 위해 Apple사의 코어 이미지와 코어 그래픽 라이브러리를 이용하여 영역의 배경 제거 및 합성 방식을 제안하고 구현하였다. 또한, 이전 연구에 비해 CPU 사용량을 개선하였고 깊이와 DeepLabV3의 처리 속도를 비교하여 처리 결과에 영향을 주는 요소를 분석하였다. 마지막으로 이 두 방식을 활용한 카메라 애플리케이션을 개발하였다. In this paper, we study how objects from front and back cameras can be recognized in real time in a mobile environment to segment regions of object pixels and synthesize them through image processing. To this work, we applied DeepLabV3 machine learning model to dual cameras provided by Apple's iOS. We also propose methods using Core Image and Core Graphics libraries from Apple for image synthesis and postprocessing. Furthermore, we improved CPU usage than previous works and compared the throughput rates and results of Depth and DeepLabV3. Finally, We also developed a camera application using these two methods.

표면 모델링을 통한 깊이 영상 내 측정 실패 화소 보정 방법

이동석,권순각 한국산업정보학회 2019 한국산업정보학회논문지 Vol.24 No.5

본 논문에서는 깊이 영상에서 깊이 카메라의 일시적인 오류로 인해 측정이 되지 않은 깊이 화소의 값을 보정하는 방법을 제안한다. 깊이 영상의 한 블록 내에서 측정이 정상적으로 된 화소의 좌표와 깊이 값을 이용하여, 해당 블록의 깊이 값과 제일 오차가 적은 평면과 곡면을 모델링한다. 그 후 각각의 모델링된 표면을 통해 추정된 깊이 값과 원래 측정된 깊이 값을 비교하여 오차를 계산한다. 그 후 오차가 제일 작게 계산된 표면을 선택한 후, 측정에 실패한 깊이 화소를 선택된 모델링 표면을 통해 깊이 값을 추정함으로써 보정한다. 모의실험 결과 제안된 방법을 통한 보정방법은 5×5 영역의 중간 값을 이용한 보정방법에 비해 보정 성능이 평균 20% 개선되었음을 확인하였다.