3D 영화에서의 P.O.V 연구

유재응(Yoo, Jae Eung) 청운대학교 방송예술연구소 2015 미디어와 공연예술연구 Vol.10 No.1

1930년대 초 뤼미에르 형제가 그들의 <열차의 도착>을 3D 입체영화로 다시 촬영한 이래 영화의 역사를 살펴보면 <브와나 데블>(1952)등이 만들어진 1960년대의 산업적으로 크게 성공을 거둔 황금기와 <죠스3>(1983)등이 만들어진 1980년대를 거쳐 2009년 <아바타>(2009)의 성공 이후 3D 영화 제작은 지금까지 이어져 오고 있다. 국내에서도 발 빠르게 <나탈리>(2010)와 <7광구>(2011)가 제작되었으나 작품성과 흥행 모두에서 참담한 실패를 겪는다. 이후 3D 입체영화 제작에 대한 부정적인 시선과 불신이 팽배해지게 되고 여러 작품들의 제작이 중단되는 결과를 가져오게 된다. 영화 <미스터 고>(2013)는 오랜 준비 기간을 거쳐 고릴라의 털을 사실적인 CG로 만드는 기술을 개발하고 3D 촬영 카메라를 직접 구입해 우리나라 영화 제작 환경에 최적화해 사용하는 방법을 직접 개발하는 등의 노력을 기울이며 3D 입체효과 면에서 진일보한 성과를 이루어 낸다. <미스터 고>에서 검증된 국내 3D 입체영상 기술의 신뢰도를 바탕으로 필자가 기획한 <터널 3D>(2014)에서는 Z축으로의 확장이라는 3D 영화의 속성을 최대한 고려한 깊이감 있는 공간과 특히 등장인물의 주관적인 시선에 해당되는 시점 쇼트를 적극적으로 도입해 관객들이 주인공이 느끼고 있는 공간에 대한 공포를 함께 ‘체험’할 수 있도록 노력했다. 3D 입체영상의 핵심은 축간격과 컨버전스에서 나오며 컨버전스를 연출자의 의도대로 조절함으로써 공간감을 다르게 표현할 수 있다. 본 연구에서는 3D 영화의 P.O.V에서 피사체가 돌출 또는 후퇴되는 입체감이 기술적으로 어떻게 표현되는지 살펴보고 그러한 효과들이 관객에게 어떻게 다가갈 수 있는지 고찰한다. 그리고 그러한 것들을 바탕으로 어떤 연출과 기술적인 접근이 P.O.V 콘텐츠 연구에 효과적인지 탐구해 보고자 한다. 기존 2D 영화와 다르게 관객에게 수용되는 3D 영화의 특성을 통해 P.O.V라는 영화 언어가 어떻게 변화해 가고 있는지 고찰하고자 한다. Since Lumiere brothers re-shot L Arrivée d un train en gare de La Ciotat that they shot in 1985 for stereoscopic 3D short film in early 1900s, there are three golden ages of stereoscopic 3D film, which include Bwana Devil in 1952, Jaws 3-D in 1983, Avatar in 2009 until now, the era of Digital technology. In case of Korea, several digital stereoscopic 3D films are made recently like Natalie (2010), Sector 7 (2011). However, those films disappointed Korean audience both in production and commercial value. and Korean audience did not want to see stereoscopic film anymore after then. Mr. Go (2013) was made in tough situation with Korean audience’s chill gaze. Mr. Go was not in success for commercial goal but in success for technical goal of 3D film which are shot with stereoscopic camera and made realistic CG for fur of gorillas. The technical progress of Mr. Go supplied Tunnel 3D (2014) which I produced and shot a lot of inspiration to provide audience the experience of Z-axis and point of view(P.O.V) of characters. Especially, P.O.V is designed for maximizing experience of fear. Depth in stereoscopic 3D film is controled by interaxial distance and convergence. we could control convergence in director’s intention to manipulate depth and roundness. In this study, I focused on variation of depth and roundness in various situation of P.O.V. and difference in audience’s experience level. In addition, I tried to discover the strongest way of use of stereoscopic 3D factor in film for maximizing audience’s experience and develop new grammar of P.O.V in stereoscopic 3D film.

3차원 공간의 인식을 위한 블록기반 3D맵

이정수,김준성 大韓電子工學會 2012 電子工學會論文誌-CI (Computer and Information) Vol.49 No.4

지능형 서비스 분야에 있어 3D맵은 유용하고 다양한 정보를 제공할 수 있다. 기존의 삼차원 공간에 대한 연구 방법들은 제공하는 데이터가 원초적이고 처리량이 방대하여 지능형 서비스의 실시간 처리에는 적절하지 못하다. 본 논문에서는 전방의 공간에 대하여 스테레오 정합 연산의 결과인 거리정보 이미지를 바탕으로 블록 기반의 맵을 구성하여 해당 공간의 다양한 정보를 제공할 수 있는 방안을 제안한다. 블록기반 3D맵은 객체율과 블록크기의 2개의 중요한 변수를 가진다. 객체율은 하나의 블록에서 공간대비 객체의 픽셀수의 비율로써 블록종류를 결정한다. 블록크기는 정육면체로 구성되는 개별 블록의 한 변의 픽셀수를 나타내며, 블록의 크기를 결정한다. 실험을 통하여 블록기반 3D맵은 기존의 거리정보 이미지에 비하여 노이즈와 데이터양을 효과적으로 감소시키는 것을 확인하였다. 320×240크기의 거리정보 이미지에 대하여 블록크기는 40×40, 객체율은 30%에서 50%로 설정하였을 때 가장 정합율이 높은 블록기반 3D맵을 취득할 수 있음을 확인하였다. 블록기반 3D맵은 지능형 서비스 분야에서 사용하기 용이하고 다양한 새로운 서비스를 도출할 수 있는 고부가가치를 갖는 정보를 제공할 수 있다. A 3D map provides useful information for intelligent services. Traditional 3D maps, however, consist of a raw image data and are not suitable for real-time applications. In this paper, we propose the Block-based 3D map, that represents three dimensional spaces in a collection of square blocks. The Block_based 3D map has two major variables: an object ratio and a block size. The object ratio is defined as the proportion of object pixels to space pixels in a block and determines the type of the block. The block size is defined as the number of pixels of the side of a block and determines the size of the block. Experiments show the advantage of the Block-based 3D map in reducing noise, and in saving the amount of processing data. With the block size of 40×40 and the object ratio of 30% to 50% we can get the most matched Block-based 3D map for the 320×240 depthmap. The Block-based 3D map provides useful information, that can produce a variety of new services with high added value in intelligent environments.

2D와 3D 영상 시청 후 나타난 사위도 및 자각증상의 변화

김동수,이욱진,김재도,유동식,정의태,손정식 한국안광학회 2012 한국안광학회지 Vol.17 No.2

Purpose: The changes of phoria and subjective asthenopia before and after viewing were compared based on 2D image and two ways of 3D images, and presented for references of 3D image watching and production. Methods: Change in phoria was measured before and after watching 2D image, 3D-FPR and 3D-SG images for 30 minutes with a target of 41 university students at 20-30 years old (male 26, female 15). Paired t-test and Pearson correlation between changed phoria and subjective symptoms which were measured using questionnaires were evaluated by before and after watching each images. Results: Right after watching 2D image, exophoria was increased by 0.5 Δ‚ in distance and near, but it was not a significant level. Right after watching 3D image,exophoria was increased by 1.0~1.5 Δ‚ and 1.5~2.0 Δ‚ in distance and near, respectively when compared with before watching. In the significant level, exophoria tended to increase. Changes in near was increased more by 0.5 Δ‚ compared with those in distance. Changes based on way of 3D-FPR and 3D-SG image were less than 0.5Δ‚ and there was almost no difference. In terms of visual subjective symptoms, eye strain was increased in 3D image compared with that in 2D image. In addition, there was no difference depending on way of image. In terms of Pearson correlation between phoria change and eye strain, as exophoria was increased, eye strain was increased. Conclusions: Watching 3D image increased eye strain compared with watching 2D image, and accordingly exophoria tended to increase. 목적: 2D 영상과 2가지의 방식의 3D 영상을 이용하여 시청 전·후의 사위도 변화와 자각적 안정피로를 비교하였고, 3D 영상 시청과 제작의 참고자료로 활용하고자 하였다. 방법: 20~30세의 대학생 41명(남 26명, 여 15명)을 대상으로 30분간 시청한 2D 영상, 3D-FPR과 3D-SG 영상의 시청 전후의 사위도와 자각증상을 측정하였다. 각 영상시청 전후에 측정한 사위도 변화와 설문조사로 얻은 자각증상 자료는 대응비교와 Pearson 상관관계로 분석하였다. 결과: 2D 영상 시청 직후의 원거리와 근거리에서 0.5 Δ 정도 외사위도가 증가하였지만 유의적 수준은 없었으며, 3D 영상 시청 직후에는 시청 전과 비교하여 원거리에서 1.0~1.5 Δ 정도, 근거리에서는 1.5~2.0 Δ 정도 유의적 수준에서 외사위도가 증가하는 경향을 보였으며, 원거리사위도보다 근거리사위도에서의 변화가 0.5 Δ 정도 더 많았다. 3DFPR과3D-SG 영상 방식에 따른 변화는 0.5 Δ 미만으로 차이는 없었다. 시각적 자각 증상에서도 2D 영상에 비해3D 영상에서 안정피로가 증가하였다. 3D 영상 방식에 따른 차이는 없는 것으로 나타났다. 사위도의 변화와 안정피로의 상관관계에서는 외사위로 증가할수록 안정피로가 증가하는 상관관계를 보였다. 결론: 3D 영상을 시청함에 따라서 안정피로가 증가되며, 이에 따라서 사위도의 변화에서는 외사위로 증가하는 경향을 보였다.

3차원 물체 재구성 과정이 통합된 실시간 3차원 특징값 추출 방법

홍광진(Kwangjin Hong),이철한(Chulhan Lee),정기철(Keechul Jung),오경수(Kyoungsu Oh) 한국정보과학회 2008 정보과학회논문지 : 소프트웨어 및 응용 Vol.35 No.12

상호작용이 가능한 컴퓨팅 환경에서 사람과 컴퓨터 사이의 자연스러운 정보 교환을 위해 동작인식과 관련한 연구가 활발하게 이루어지고 있다. 기존의 2차원 특징값을 이용하는 인식 알고리즘은 특징값 추출과 인식 속도는 빠르지만, 정확한 인식을 위해서 많은 환경적인 제약이 따른다. 또한 2.5차원 특징값을 이용하는 알고리즘은 2차원 특징값에 비해 높은 인식률을 제공하지만 물체의 회전 변화에 취약하고, 3차원 특징값을 이용하는 인식 알고리즘은 특징값 추출을 위해 3차원 물체를 재구성하는 선행 과정이 필요하기 때문에 인식 속도가 느리다. 본 논문은 3차원 물체 재구성 단계와 특징값 추출 단계를 통합하여 실시간으로 3차원 정보를 가지는 특징값 추출 방법을 제안한다. 제안하는 방법은 기존의 GPU 기반 비주얼 헐 생성 방법의 세부 과정 중에서 동작 인식에 필요한 데이타 생성 부분만을 수행하여 임의의 시점에서 3차원 물체에 대한 3종류의 프로젝션 맵을 생성하고, 각각의 프로젝션 맵에 대한 후-모멘트(Humoment)를 계산한다. 실험에서 우리는 기존의 방법들과 단계별 수행 시간을 비교하고, 생성된 후-모멘트에 대한 혼동 행렬(confusion matrix)을 계산함으로써 제안하는 방법이 실시간 동작 인식 환경에 적용될 수 있음을 확인하였다. For the communication between human and computer in an interactive computing environment, the gesture recognition has been studied vigorously. The algorithms which use the 2D features for the feature extraction and the feature comparison are faster, but there are some environmental limitations for the accurate recognition. The algorithms which use the 2.5D features provide higher accuracy than 2D features, but these are influenced by rotation of objects. And the algorithms which use the 3D features are slow for the recognition, because these algorithms need the 3d object reconstruction as the preprocessing for the feature extraction. In this paper, we propose a method to extract the 3D features combined with the 3D object reconstruction in real-time. This method generates three kinds of 3D projection maps using the modified GPU-based visual hull generation algorithm. This process only executes data generation parts only for the gesture recognition and calculates the Hu-moment which is corresponding to each projection map. In the section of experimentalresults, we compare the computational time of the proposed method with the previous methods. And the result shows that the proposed method can apply to real-time gesture recognition environment.

단사진 기반 3차원 공간정보 제작을 위한 기술연구

한성만(Han, Soung Man),유충현(Yoo, Chung Hyeon),위광재(Wie, Gwang Jae) 대한공간정보학회 2018 한국지형공간정보학회 학술대회 Vol.2018 No.5

3차원 가상현실, 실감정사영상 등을 제작하기 위해서는 건물 및 구조물에 대한 정밀한 3차원 공간정보제작이 중요하다. 최근 급격한 도시발달로 인해 요구되는 공간정보는 정밀도, 정확도 외에 신속성까지 요구하고 있다. 신속한 3차원 공간정보 제작을 위해서는 제작Tool에 대한 사용자의 접근성 및 편의성이 무엇보다 중요하다. 기존의 방법으로 3차원공간정보 제작 작업을 수행하기 위해서는 고가의 3차원 입체시 장비와 다년간의 사업 수행경험이 있는 숙련된 기술자가 필요했다. 최근 낱장의 항공사진을 이용해 3차원공간정보를 구축할 수 있는 소프트웨어가 해외에서 출시되었으나 적지 않은 금액의 라이선스 비용, 꾸준한 기술지원의 어려움 때문에 현장에서 폭넓게 쓰이지는 못하고 있다. 본 연구는 3차원 공간정보를 구축함에 있어 경험이 적은 기술자도 간단한 기술교육만으로도 쉽게 접근할 수 있고 고가의 입체시 장비 없이도 3차원 공간정보 제작을 할 수 있으며, 데이터를 신속하게 만들어 낼 수 있으나 제작된 성과는 국토지리정보원의 ‘항공사진측량 작업규정’ 및 ‘3차원 국토공간정보구축 작업규정’을 준수하며 성과의 정확도는 작업규정 내의 묘사오차 허용범위 안에 들어오는 기술을 개발하는 것을 목표로 연구를 진행하였다. 연구지역은 다양한 모습의 빌딩이 존재하는 여의도로 선정했으며 본 소프트웨어로 생성한 건물을 DXF포맷으로 내보내기 한 후 도화데이터와 비교분석하는 방법으로 정확도를 검증해 보았다. 검증 결과 국토지리정보원 수치지도 작업규정에 만족하는 정확도를 확인할 수 있었다. It is important to produce precise three-dimensional spatial information about buildings and structures in order to produce 3D virtual reality, real sense orthoimages, etc. We require not only precision and accuracy of spatial information but also promptness of it, because of rapid urban development recently. In order to produce 3D spatial information quickly, user’s accessibility and convenience about the production tool are crucial. It is necessary to have expensive 3D stereoscopic equipment and skilled technicians who have a lot of experiences about projects in order to perform 3D spatial information production in the conventional ways. Although the software for building 3D spatial information using a single aerial photograph has been released overseas, it has not been used widely in the field due to high-priced license and difficulty of steady technical support. The goal of this study was to develop technologies that the accuracy of the result is within the permissible error tolerance range and the result complies with the "Aeronautical Photogrammetric Survey Regulations" and the "3D Geospatial Information Construction Regulations" of the National Geographic Information Institute. The advantages of these technologies are that skilled experts can access easily with data and produce 3D spatial information rapidly without expensive stereoscopic equipment. The study area was selected as Yeouido where various buildings are located, and the buildings created by this software was exported as DXF format. The accuracy of data was compared and verified with drawing data. As a result of the verification, it was confirmed that the accuracy satisfying with the digital map production regulations of the National Geographic Information Institute.

로봇 팔과 컴퓨터 비전을 활용한 어댑티브 건축 3D 프린팅 - 객체인식 알고리즘 YOLOv7을 통한 실시간 모니터링

박태경(Park, Tae-Kyung),이황(Yi, Hwang) 대한건축학회 2023 대한건축학회 학술발표대회 논문집 Vol.43 No.1

This paper addresses a responsive or adaptive computational control framework in architectural 3D printing. The adaptive 3D printing with an artificial intelligence(AI)-enabled computer vision system automatically recognizes print errors or operational faults and allows informed correction of the printing process. Using a robot-arm 3D printer and YOLO algorithm on a Jetson Xavier GPU deep-learning board, the authors have trained image datasets about the layer-cutting problem in paste 3D printing process and our experiment found effective vision-based error detection of the presented system. This work suggests an intelligent method of printing quality control and contributes to the advancement of large-scale 3D printing in architecture.

Binocular Vision Corrective Spectacle Lenses Reduce Visual Fatigue in 3-D Television Viewing

Jeong Ho Yoon(윤정호),Jae Do Kim(김재도) 한국안광학회 2014 한국안광학회지 Vol.19 No.3

Three-dimensional (3D) displays are very useful in many fields, but induce physical discomforts in some people. This study is to assess symptom type and severity of asthenopia with their habitual distance corrective spectacle (HDCS) and their binocular vision corrective spectacle lenses (BVCSL) in people who feel physical discomforts. Methods: 35 adult subjects (ages 32.2±4.4 yrs) were pre-screened out of 98 individuals to have the highest symptom/asthenopia scores following 65 minutes of 3D television viewing with HDCS. These 35 individuals were then retested symptom/asthenopia scores during they watched 3D television for 65 minutes at a distance of 2.7 m with wearing BVCSL of horizontal, vertical or base down yoked prisms. A 4-point symptomrating scale questionnaire (0=no symptom and 3=severe) was used to assess 11 symptoms (e.g., blur, diplopia, etc.) related to visual fatigue/visual discomfort. Distance and near lateral phoria were measured using Howell phoria card and vertical phoria were measured using Maddox rod. Symptoms induced by watching 3D TV were compared between wearing HDCS and BVCSL. Results: Asthenopia in watching 3D TV with wearing BVCS was significantly lower than wearing HDCS at 5, 25, 45, and 65 minutes (all p < 0.001, paired t-tests). In only refractive error power correction power group, all asthenopia was not significantly different between HDCS and BVCSL (all p ≥ 0.05, paired t-tests). In prism correction groups for binocular imbalance, symptoms of asthenopia, however, was significantly lower for when wearing BVCSL than when wearing HDCS (all p < 0.05). Conclusions: Correction of phoria/vergence-based binocular vision imbalance can reduce asthenopia during 3D television viewing. An individual with binocular vision imbalance need corrected/compensated glasses with appropriate prisms prior to prolonged viewing of 3D television displays to reduce asthenopia/visual fatigue.

3D Facial Landmark Tracking and Facial Expression Recognition

Medioni, Gerard,Choi, Jongmoo,Labeau, Matthieu,Leksut, Jatuporn Toy,Meng, Lingchao The Korea Institute of Information and Commucation 2013 Journal of information and communication convergen Vol.11 No.3

In this paper, we address the challenging computer vision problem of obtaining a reliable facial expression analysis from a naturally interacting person. We propose a system that combines a 3D generic face model, 3D head tracking, and 2D tracker to track facial landmarks and recognize expressions. First, we extract facial landmarks from a neutral frontal face, and then we deform a 3D generic face to fit the input face. Next, we use our real-time 3D head tracking module to track a person's head in 3D and predict facial landmark positions in 2D using the projection from the updated 3D face model. Finally, we use tracked 2D landmarks to update the 3D landmarks. This integrated tracking loop enables efficient tracking of the non-rigid parts of a face in the presence of large 3D head motion. We conducted experiments for facial expression recognition using both framebased and sequence-based approaches. Our method provides a 75.9% recognition rate in 8 subjects with 7 key expressions. Our approach provides a considerable step forward toward new applications including human-computer interactions, behavioral science, robotics, and game applications.

High efficient 3D vision system using simplification of stereo image rectification structure

Sang Hyun Kim(김상현) 한국정보전자통신기술학회 2019 한국정보전자통신기술학회논문지 Vol.12 No.6

3D Vision system has many applications recently but popularization have many problems that need to be overcome. Volumetric display may process a amount of visual data and design the high efficient vision system for display. In case of stereo system for volumetric display, disparity vectors from the stereoscopic sequences and residual images with the reference images has been transmitted, and the reconstructed stereoscopic sequences have been displayed at the receiver. So central issue for the design of efficient volumetric vision system lies in selecting an appropriate stereo matching and robust vision system. In this paper, we propose high efficient vision system with the reduction of rectification error which can perform the 3D data extraction efficiently with low computational complexity. In experimental results with proposed vision system, the proposed method can perform the 3D data extraction efficiently with reducing rectification error and low computational complexity.

촬영 각도에 따른 3D 모델 복원 품질 비교 연구 : 포토그래메트리를 중심으로

임재현,이승빈,소요환 한국디지털콘텐츠학회 2023 한국디지털콘텐츠학회논문지 Vol.24 No.1

3D scanning photogrammetry technology based on image analysis has a history as long as that of photography for about 150 years. Graphic processors and cameras have also achieved dramatic performance developments in the same way as the long history and progressing. However, non-standardized imaging processes are accompanied by problems such as structural defects in the reconstructed object and the generation of noise. In this research, first, we will model and 3D print the terracotta army object used in the actual measurement data (Ground Truth). Second, in order to derive the optimal shooting method, we developed a table 3D scanning system that rotates around a total of two axes, the vertical axis and the horizontal axis and Get photo data. Finally, the acquired data are compared and analyzed for quality and similarity using a C2M (Cloud-to-Mesh Distances) quantitative comparison algorithm. 높은 비용과 기술적 전입 장벽으로 인해 건축 또는 토목 분야에서 측량을 위해 한정적으로 사용되어온 이미지 분석 기반 3D 스캔 방식 포토그래메트리(Photogrammetry) 기술은 약 150년의 사진 만큼이나 오랜 역사를 가지고 있다. 긴 역사만큼 그래픽 프로세서와 카메라 또한 비약적인 성능 발전을 이루었는데, 포토그래메트리 기술은 이와 함께 건축, 토목뿐만이 아닌 다양한 분야에 활용되고 있고 실제로 다수의 포토그래메트리 기술 기반 3D 모델 복원 과정에 대한 연구가 진행되고 있다. 하지만 표준화되지 않은 촬영 프로세스로 인해 복원 물체의 구조적 결함이나 노이즈(Noise)의 발생과 같은 문제점이 수반된다. 본 연구에서는 첫째, 실측 자료(Ground Truth)로 쓰일 병마용(兵馬俑) 오브젝트를 모델링하고 3D 프린팅한다. 둘째, 최적의 촬영 방법을 도출하기 위해 세로축과 가로축, 총 두 축을 중심으로 회전하는 테이블 3D 스캐닝 시스템을 개발하고, 해당 시스템에서 스마트폰 카메라를 통해 다각도에서 대상 물체의 사진 데이터를 획득한다. 마지막으로는 획득한 데이터를 C2M(Cloud-to-Mesh Distances) 정량적 비교 알고리즘을 사용하여 품질과 유사도를 비교‧분석한다.