http://chineseinput.net/에서 pinyin(병음)방식으로 중국어를 변환할 수 있습니다.
변환된 중국어를 복사하여 사용하시면 됩니다.
멀티뷰 카메라 시스템 기반 6DoF 몰입형 미디어 콘텐츠 취득 및 압축
류영일(Yeongil Ryu),장미(Mi Jang),류은석(Eun-Seok Ryu) 한국방송·미디어공학회 2023 한국방송공학회 학술발표대회 논문집 Vol.2023 No.6
최근 가속화된 일상생활의 비접촉 커뮤니케이션 중심 디지털 전환으로 인하여 메타버스를 비롯한 실감 미디어에 대한 국내·외 학계 및 산업계의 관심은 지속적으로 증대되고 있다. 하지만 실감 미디어의 기술적 특성상 콘텐츠 제작시에 높은 기술적 구현 난이도 및 고가의 콘텐츠 제작 장비 등과 같은 문제로 인해 기대만큼 실감 미디어 콘텐츠 시장은 확대되지 못하고 있다. 본 논문은 이러한 문제를 해결하고 실감 미디어 콘텐츠 제작 분야의 저변 확대를 위하여 MIV(MPEG Immersive Video) 표준을 위한 실감 미디어 콘텐츠 제작 프로세스에 대해 설명하고, 다수의 Intel RealSense L515 카메라를 활용하여 직접 구현한 멀티뷰 카메라 시스템, 그리고 이를 활용한 MIV 압축 표준을 위한 6DoF 비디오 콘텐츠 취득 결과를 소개한다.
대형 가상현실 공연장을 위한 360 도 비디오 스트리밍 시스템 프로토타입 구현
류영일(Yeongil Ryu),최이현(YiHyun Choi),류은석(Eun-Seok Ryu) 한국방송·미디어공학회 2022 한국방송공학회 학술발표대회 논문집 Vol.2022 No.6
최근 K-Pop 을 위시한 예술공연 콘텐츠에 몰입형 미디어를 접목한 온택트 (Ontact) 미디어 스트리밍 서비스가 주목받고 있는 가운데, 본 논문은 일반적으로 사용되는 2D 디스플레이 또는 HMD (Head-Mounted Display) 기반 VR (Virtual Reality, VR) 서비스에서 탈피하여, 대형 가상현실 공연장을 위한 360 도 VR 비디오 스트리밍 시스템을 제안한다. 제안된 시스템은 Phase 1, 2, 3 의 연구개발 단계를 밟아 6DoF (Degrees of Freedom) 시점 자유도를 지원하는 360 도 VR 비디오 스트리밍 시스템을 개발하는 것을 최종목표로 하고 있으며, 현재는 Phase 1: 대형 가상현실 공연장을 위한 3DoF 360 도 VR 비디오 스트리밍 시스템 프로토타입의 개발까지 완료되었다. 구현된 스트리밍 시스템 프로토타입은 서브픽처 기반 Viewport-dependent 스트리밍 기술이 적용되어 있으며, 기존 방식과 비교하였을 때 약 80%의 비트율 감소, 약 543%의 영상 디코딩 속도 향상을 확인하였다. 또한, 단순 구현 및 성능평가에서 그치지 않고, 실제 미국 UCSB 에 위치한 대형 가상현실 공연장 AlloSphere 에서의 시범방송을 수행하여, 향후 Phase 2, 3 연구단계를 위한 연구적 기반을 마련하였다.
비대칭 멀티코어 시스템 상의 HEVC 병렬 디코딩 최적화를 위한 타일 분할 기법
류영일(Yeongil Ryu),노현준(Hyun-Joon Roh),류은석(Eun-Seok Ryu) 한국정보과학회 2016 정보과학회논문지 Vol.43 No.9
최근 비디오 시스템은 초고해상도 영상의 사용으로 병렬처리의 필요성이 대두되고 있고, 시스템은 ARM big.LITTLE 같은 비대칭 처리능력을 지닌 컴퓨팅 시스템이 도입되고 있다. 따라서, 이 같은 비대칭 컴퓨팅 환경에 최적화된 초고해상도 UHD 비디오 병렬처리 기법이 필요한 시점이다. 본 논문은 인코딩/디코딩 시에 비대칭 컴퓨팅 환경에 최적화 된 HEVC 타일(Tile) 분할 기법을 제안한다. 제안하는 방식은 (1) 비대칭 CPU 코어들의 처리능력과 (2) 비디오 크기별 연산 복잡도 분석 모델을 분석하여, (3) 각 코어에 최적화된 크기의 타일을 할당함으로써, 처리속도가 빠른 CPU 코어와 느린 코어의 인코딩/디코딩 시간차를 최소화한다. 이를 ARM기반의 비대칭 멀티코어 플랫폼에서 4K UHD 표준 영상을 대상으로 실험하였을 때, 평균 약 20%의 디코딩 시간 개선이 발생함을 확인하였다. Recently, there is an emerging need for parallel UHD video processing, and the usage of computing systems that have an asymmetric processor such as ARM big.LITTLE is actively increasing. Thus, a new parallel UHD video processing method that is optimized for the asymmetric multicore systems is needed. This paper proposes a novel HEVC tile partitioning method for parallel processing by analyzing the computational power of asymmetric multicores. The proposed method analyzes (1) the computing power of asymmetric multicores and (2) the regression model of computational complexity per video resolution. Finally, the model (3) determines the optimal HEVC tile resolution for each core and partitions/allocates the tiles to suitable cores. The proposed method minimizes the gap in the decoding time between the fastest CPU core and the slowest CPU core. Experimental results with the 4K UHD official test sequences show average 20% improvement in the decoding speedup on the ARM asymmetric multicore system.
실사 공간 영상 캡쳐링을 위한 6DoF VR 몰입형 비디오 취득 시스템 구현
양이삭(Isaac Yang),류영일(Yeongil Ryu),김장현(Jang Hyun Kim),류은석(Eun-Seok Ryu) 한국방송·미디어공학회 2023 한국방송공학회 학술발표대회 논문집 Vol.2023 No.11
본 논문은 메타버스 기반의 실감형 교육 콘텐츠 제작을 위한 6DoF 몰입형 비디오 취득 시스템을 제안한다. 제안된 시스템은 시그널링을 통해 동작하는 여러 PC들과 이에 연결된 여러 카메라들을 활용하여 취득 대상이 되는 공간의 영상을 취득해 6DoF 몰입형 비디오 제작을 위한 RGB raw 비디오로 저장한다. PC에 연결된 카메라들은 소프트웨어 트리거를 통해 제어되고 PC는 UDP 멀티캐스트 방식으로 동작하며, 제안된 시스템에 따라 취득된 영상들은 최대 48fps까지 균일한 프레임 레이트를 지원할 수 있다. 제안된 시스템을 통해 성균관대학교 VR 첨단 강의실의 다시점 영상을 취득할 수 있었으며, 0.1ms 이하의 표준편차를 보이는 동기화 수준을 확인하였다.
모바일 VR을 위한 비대칭 코어에 최적화된 360 비디오 병렬처리
노현준(Hyun-Joon Roh),류영일(Yeongil Ryu),류은석(Eun-Seok Ryu) 한국방송·미디어공학회 2018 한국방송공학회 학술발표대회 논문집 Vol.2018 No.6
최근 초고화질 영상뿐만 아니라 360 비디오 콘텐츠의 보급이 확산되고 있다. 이미 대중적으로 보급된 스마트폰을 통해 누구나 쉽게 이 360 비디오 콘텐츠를 접할 수 있는데, 스마트폰의 성능은 제한적일 수 밖에 없다. 따라서 본 논문은 모바일 VR 에서 360 비디오 병렬처리를 수행할 때 보다 적합한 최적화 방법 2 가지를 소개한다. 이를 위해 전력 소모를 줄이는 장점으로 인해 모바일 디바이스에 많이 사용되는 비대칭 멀티코어의 특징을 활용한다. 두 방법 모두 공통적으로 각 코어의 성능비와 할당되는 작업량을 비례하게 하여 디코딩 작업의 시간을 줄이는 방법들이다. 첫 번째 방법은 영상을 타일로 분할할 때 각 코어의 성능비와 비례하게 분할하는 방법이다. 해당 기법을 적용하기 위해서, 비디오 크기별 연산 복잡도 분석 모델을 활용하여 사용한다. 제안하는 기법을 사용한 실험 결과, 평균적으로 약 25%의 디코딩 시간 개선을 보였다. 두 번째 방법은 타일로 분할된 영상의 각 복잡도 정도를 PU 의 양으로 추정하여, 각 코어의 성능비와 비례하게 코어 에 할당하는 방법이다. 해당 기법을 사용하기 위해서, PU 의 양과 연산 복잡도 정도의 상관관계를 회귀분석하여 이를 이용한다. 제안하는 기법을 사용한 실험 결과, 약 9~16%의 디코딩 시간 개선을 보였다.