http://chineseinput.net/에서 pinyin(병음)방식으로 중국어를 변환할 수 있습니다.
변환된 중국어를 복사하여 사용하시면 됩니다.
음악 공연을 위한 착용형 증강현실 실시간 음악 추적 시스템
박지윤(Jiyun Park),송하일(Hail Song),이승민(Seungmin Lee),남주한(Juhan Nam),우운택(Woontack Woo) 한국HCI학회 2023 한국HCI학회 학술대회 Vol.2023 No.2
COVID-19 이후 AR/VR 기반의 라이브 가상 공연에 대한 관심과 수요가 폭발적으로 증가했으나, 현재는 제한된 자동화 및 모니터링 시스템으로 인해 엄격한 타임라인에 맞춰 공연이 진행되거나 별도 오퍼레이터들의 노동집약적인 시스템으로 진행되는 경우가 대다수이다. 따라서 합주가 불필요한 1 인 아티스트 위주의 공연이나 반주 음원을 활용하는 팝 · 힙합 위주로 장르가 제한되어 있고 퍼포머의 자유도에도 한계가 있다. 본 연구는 악기 연주 등의 음악공연에서 자동 악보 추적(score following) 알고리즘을 기반으로 착용형 증강현실 기기를 활용한 실시간 음악추적 시스템을 제안한다. 이는 현실에서의 연주 정보를 데이터화 하여 실시간으로 가상 공간에 연동한다는 점, 그리고 증강현실 특성에 맞게 파트 별 악보를 공간에서의 악기의 위치에 맞게 배치한다는 점에서 의의가 있다. 더 나아가, 본 시스템은 라이브 가상콘서트의 전반적인 상황을 음성 정보를 매개로 모니터링하는 기술로써 확장이 가능하며, 이를 통해 조명 및 시각 애니메이션 효과, 백스테이지 운영 등 공연자동화 시스템의 기반 기술이 될 것으로 기대한다. 이를 검증하기 위해, 본 시스템 내에서는 아바타의 특정애니메이션을 악보 위치와 연동함으로써 연주 상황에 맞게 아바타의 동작이 전환되는 효과를 구현하였다.