실내 조명변화 환경에서 깊이 정보를 활용한 의미론적 영상 분할 방법

윤상빈(Sang Bin Yun),정순기(Soon Ki Jung) 한국정보과학회 2022 정보과학회 컴퓨팅의 실제 논문지 Vol.28 No.2

실내 환경은 주로 조명이 다양한 장면을 가지고 있다. 실내 환경에서 기존의 의미론적 영상 분할 방법을 이용할 경우 영상이 가지는 평균적인 조명 값보다 많이 어둡거나 강한 조명이 물체의 표면에 적용될 경우 해당 물체의 경계면에서 매끄럽게 영상 분할을 하지 못한다. 따라서 본 논문에서는 실내의 조명변화가 있는 환경에서 기존의 의미론적 영상 분할 모델에서 깊이 정보를 통합하여 조명변화에 강인하게 물체를 영상 분할 할 수 있는 방법을 제안한다. 제안하는 모델은 ESANet을 기반으로 하고 깊이 이미지로는 깊이 카메라를 통해 나온 원본 깊이 이미지에서 3개의 채널로 인코딩한 HHA 깊이이미지를 사용한다. 이때 깊이 이미지는 RGB 모델의 특징맵에 통합되어 네트워크가 학습된다. 본 논문의 실험에서는 제안된 모델을 NYUv2데이터 셋을 이용하여 학습을 진행하였고 조명변화가 있는 데이터셋을 이용하여 조명에 의해 불분명한 경계 부분을 기존의 의미론적 영상분할 모델보다 강인하게 분할할 수 있는 실험 결과를 보였다. 또한 제안된 깊이 이미지가 모델 최종 성능을 향상시킬 수 있다는 것을 mIoU 성능을 통해 비교 분석하였다. The indoor environment has a variety of lighting scenes. When using the existing semantic segmentation methods in indoor environments, that is not segment precisely at the boundary of the object if illumination stronger and darker than the average illumination value of the image is applied to the surface of the object. Therefore, in this paper, we proposed a method to integrate depth information from the existing semantic segmentation models in an environment with indoor illumination changes so that objects can be image segmented robustly to illumination changes. The proposed model was based on ESANet and uses HHA depth images encoded in three channels from the raw depth images of depth cameras as the depth images. At this time, depth information is integrated into the feature map of the RGB model so that the network is learned. In the experiments in this study, the proposed model was learned using NYUv2 datasets,. and the illuminated datasets, the experimental results showed that the boundaries unclear due to illumination changes could be more robustly segmented than by using the existing semantic segmentation model. Furthermore, the mIoU metric was compared and analyzed, and showed that the proposed depth image could improve the model"s final performance.

3차원 가상 실내 환경을 위한 심층 신경망 기반의 장면 그래프 생성

신동협,김인철 한국정보처리학회 2019 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.8 No.5

Scene graph is a kind of knowledge graph that represents both objects and their relationships found in a image. This paper proposes a 3D scene graph generation model for three-dimensional indoor environments. An 3D scene graph includes not only object types, their positions and attributes, but also three-dimensional spatial relationships between them, An 3D scene graph can be viewed as a prior knowledge base describing the given environment within that the agent will be deployed later. Therefore, 3D scene graphs can be used in many useful applications, such as visual question answering (VQA) and service robots. This proposed 3D scene graph generation model consists of four sub-networks: object detection network (ObjNet), attribute prediction network (AttNet), transfer network (TransNet), relationship prediction network (RelNet). Conducting several experiments with 3D simulated indoor environments provided by AI2-THOR, we confirmed that the proposed model shows high performance. 장면 그래프는 영상 내 물체들과 각 물체 간의 관계를 나타내는 지식 그래프를 의미한다. 본 논문에서는 3차원 실내 환경을 위한 3차원 장면 그래프를 생성하는 모델을 제안한다. 3차원 장면 그래프는 물체들의 종류와 위치, 그리고 속성들뿐만 아니라, 물체들 간의 3차원 공간 관계들도 포함한다. 따라서 3차원 장면 그래프는 에이전트가 활동할 실내 환경을 묘사하는 하나의 사전 지식 베이스로 볼 수 있다. 이러한 3차원 장면 그래프는 영상 기반의 질문과 응답, 서비스 로봇 등과 같은 다양한 분야에서 유용하게 활용될 수 있다. 본 논문에서 제안하는 3차원 장면 그래프 생성 모델은 크게 물체 탐지 네트워크(ObjNet), 속성 예측 네트워크(AttNet), 변환 네트워크(TransNet), 관계 예측 네트워크(RelNet) 등 총 4가지 부분 네트워크들로 구성된다. AI2-THOR가 제공하는 3차원 실내 가상환경들을 이용한 다양한 실험들을 통해, 본 논문에서 제안한 모델의 높은 성능을 확인할 수 있었다.

실내 그림의 투사적 검사로의 활용가능성 탐색에 대한 기초연구

손혜주,최외선 한국미술치료학회 2015 美術治療硏究 Vol.22 No.6

This study aimed to determine whether indoor scene painting has the potential for utilization as a projection tool that could clarify meaning in clients' inner worlds(their present situations, desires, emotional issues, concepts of ego and so on) and the meaning of important others. The samples in this study comprised adolescents and adults who visited our office from March, to June, 2015 in D city. They included 15 people who were diagnosed with depression, sociality obstacles, mental weakness, sexual identity problems, borderline personality disorder, complex posttraumatic stress disorder(PTSD), Attention Deficit Disorder(ADD) and so on, and five people who had problems for legal delay before academic interruption, lower concept of ego, and difficulty in personal relations, for a total of 20 people. The result indicated that individual characteristic symptoms appeared more clearly in a clinical trial. especially in the cases involving depression, attachment, sociality obstacle, and sexual identity problems In addition, indoor scene painting shows the synthetic identities and inside worlds of clients - namely, a secretive aspect inside the clients’ world, identities, and part of the relation of the clients in deferentially other projective tests. This study found that indoor scene painting functioned as a projective painting test that could be used to analyze symbols of their own worlds. 본 연구는 인간이 가지는 가장 독립적이고도 내밀한 공간으로서의 방, 혹은 실내공간이 가지는 자기세계의 의미에 주목하여 다양한 문제를 나타내는 청소년과 성인을 대상으로 가장 익숙한 생활공간인 실내 공간을 그리도록 함으로써 실내그림이 피검자의 현재의 상황, 욕구, 정서문제, 자아개념 등의 내적 세계와 중요한 타인에 대한 의미를 밝힐 수 있는 투사도구로서 활용가능성 있는지를 알아보는 데 그 목적이 있다. 연구의 대상은 2012년 3월에서 2015년 6월까지 D시에 소재하는 연구자의 치료실을 내방한 청소년과 성인으로서 병원에서 우울, 사회성 장애, 지적장애, 성정체성, 경계선 성격장애, 복합 PTSD, ADD 등 진단을 받은 임상군 15명과 학업 중단숙려제 학생, 낮은 자아개념과 대인관계의 어려움을 가진 일반사례 5명으로 모두 20명이다. 연구결과, 첫째, 실내그림은 우울, 애착, 사회성, 성 정체성 문제 등을 가진 임상군에서 개인의 특징적인 증상을 아주 뚜렷하게 보여 주었다. 둘째, 실내그림은 다른 투사그림검사보다 피검자의 내밀한 내면세계와 정체성, 관계에 관련된 부분이 종합적으로 나타나, 자기세계에 대한 상징을 해석하는 투사적 그림 검사로서 의미가 있었다.

An Indoor Positioning System for a First Responder in an Emergency Environment

Gong Bo Moon,Moon Beom Hur,Gyu-In Jee 제어로봇시스템학회 2012 제어로봇시스템학회 국제학술대회 논문집 Vol.2012 No.10

An indoor positioning system for a first responder in an emergency environment is focused as one of the national agenda in Korea. In this area, many researches are carried out, still there left limitations of a system installation and an inconsistent positioning accuracy in the arbitrary emergency environment. This paper presents a new indoor positioning system for the first responder, especially firemen in the scene of a fire. The portability and adaptability for the emergency environment are mainly considered for a feasibility of the proposed system. With portable access points (APs), which can measure ranges to the other AP and the firemen based on IEEE 820.15.4a, in an indoor environment and a monitoring station in an outdoor environment, a control unit outside a building in fire can determine the position of the firemen and deployed APs using the Extended Kalman Filter (EKF) and the simultaneous localization and mapping (SLAM) methods. In this paper, the concept and positioning procedure of the proposed system are introduced. An experiment on ranging is done to analyze an error characteristic of measurements, then the result is applied to a simulation for the positioning system to certify the possibility of the system operation in the emergency environment. The simulation result shows that the proposed indoor positioning system can be applied to help the firemen escape from the emergency environment safely.

이동객체가 위치한 환경에 따른 실내 위치추정기법 선택 알고리즘

전현식 ( Hyeonsig Jeon ),염진영 ( Jin-young Yeom ),박현주 ( Hyun-ju Park ) 한국인터넷정보학회 2011 인터넷정보학회논문지 Vol.12 No.2

최근 유비쿼터스 컴퓨팅과 관련된 기술에 대한 관심이 증대되면서, 사용자의 다양한 요구를 만족하기 위하여 이동객체 인식과 위치 추적에 관련된 연구가 필요하다. 위치 기반 서비스에서 최근 진행 중인 가장 중요한 논의 중 하나는 실내 환경에서 위치 인식 서비스를 제공하는 것이다. 본 논문은 실내 환경에서 이동객체의 위치를 효과적으로 추정하는데 도움을 주는 알고리즘을 제안한다. 본 논문에서 제안하는 알고리즘에는 기존에 연구된 삼각측량법과 전통적인 전경 분석측량법을 개선한 환경 적응형 전경 분석측량법을 조합하였다. 본 연구에서 제안하는 실내 위치 추정 알고리즘은 가시 환경에 있는 앵커가 충분한 경우에는 삼각측량법을 활용하고, 그 외의 상황에서는 환경 적응형 전경 분석측량법을 활용한다. 결론적으로 제안하는 알고리즘은 이동객체의 위치 추정 정확도를 향상할 수 있었고, 알고리즘의 복잡도를 낮출 수 있었다. Recently, ubiquitous computing and related technologies is more and more growing concern about. Depending on the trend, the moving object recognition and tracking research have been required in order to meet the diverse needs of the user. In the location-based services, one of the most important issues in the indoor environment is to provide location-aware services. In this paper, the effective algorithm to help estimate the position of moving objects in an indoor environment is proposed. We propose an algorithm that combined the existing trilateration measurement and the improved measurement of environmental adaptation scene analysis. The proposed indoor location estimation algorithm use the trilateration measurement when we have enough anchor in the line-of-sight environment. Otherwise that use measurement of environmental adaptation scene analysis. Consequently, the proposed algorithm has been improved the localization accuracy of a moving object as well as was able to reduce complexity of the algorithm.

A Robust Indoor Positioning System using Two-Stage EKF SLAM for First Responders in an Emergency Environment

Gong Bo Moon,Sebum Chun,Moon-Beom Hur,Gyu-In Jee 제어로봇시스템학회 2013 제어로봇시스템학회 국제학술대회 논문집 Vol.2013 No.10

A positioning method for a first responder in an indoor emergency environment is needed to strengthen a safety for rescue operation. In Korea, it is focused as one of the national agenda. Though many researches are done in this field, but they still have limitations of system preloading and a poor positioning accuracy depending on an arbitrary situation. This paper presents a robust indoor positioning system for the first responder in the scene of fire. The proposed positioning system consists of a monitoring station outside a building, portable access points (APs), and first responders. In the first place, the first responder measure distances to other first responders and portable APs in the hearable range, and calculates its relative position utilizing the simultaneous localization and mapping (SLAM) method implemented with the Extended Kalman Filter (EKF). In this process, the position information stored in the APs and first responders can serve as a map for the others. Then the initial position guess and distance measurements are delivered to the monitoring station via ad-hoc network by portable APs and first responders to correct position estimates of those in the whole system. The monitoring station also uses EKF SLAM method with all available position estimates and distance measurements. In this paper, the system configuration and positioning method are presented, and the simulation on the positioning of the portable APs and the first responders with respect to the monitoring station is carried out to certify the feasibility of the proposed system.

Integration Method of Multi-grid Evacuation Model in 3D Virtual Indoor Environment

Ying Xia,Ke Wang 보안공학연구지원센터 2013 International Journal of Multimedia and Ubiquitous Vol.8 No.3

Indoor and Outdoor Scene Classification Method Based on Fourier Transform

Zhijie Zhao,Haitao Wang,Xuesong Jin,Huadong Sun,Qian Wu 보안공학연구지원센터 2014 International Journal of Hybrid Information Techno Vol.7 No.5

깊이 및 컬러 영상을 이용한 실내환경의 3D 복원

김세환(Sehwan Kim),우운택(Woontack Woo) 한국HCI학회 2006 한국HCI학회 논문지 Vol.1 No.1

중국 실경(實景)공연 산업의 현황과 과제

권응상,HANLING 한국지역문화학회 2023 지역과 문화 Vol.10 No.2

It has been twenty years since China's real scenery performance industry began. During this time, a large number of real-view performance contents have been produced, and there have been changes to adapt to evolving times and circumstances. This study aims to examine the current status of real scenery performances in China, compare changes that have occurred since the early stages, and identify new trends. Currently, Samsanginsang with Zhang Yimou and Sanshuicheng founded by Mei Shuiyuan are representative producers of real scenery performances in China. Including Songseong's performances, real scenery performances produced by these three companies are known to be highly recognizable in China. This study will examine the characteristics of China's representative real scenery performance contents by year to identify new trends. Furthermore, the study will investigate the problems facing the Chinese real scenery performance industry and the tasks that need to be addressed in the future. 중국 실경공연 산업의 역사가 20년이 되었다. 20년 동안 수많은 실경공연 콘텐츠 가제작되었고시대와상황에따라변화도있었다. 본연구는최근10년간중국실 경공연의 현황을 고찰하여 실경공연의 발전 과정과 변화 양상을 분석하고, 이를 통 하여 실경공연의 향후 과제를 도출함을 목적으로 한다. 현재 중국 실경공연의 제작은 장이머우(張藝謀)의 ‘삼상인상(三湘印象)’과 메이 솨이위엔(梅帥元)의 ‘산수성전(山水盛典)’이 주도하고 있다. 또 테마파크로 유명한 기업 ‘송성연예(宋城演藝)’가 이 두 회사를 바짝 추격하고 있어서 실경공연산업은 이 세 회사의 삼각구도이다. 이 세 기업에서 제작한 실경공연들은 완성도나 인지도 면에서 다른 회사들을 압도하고 있다. 이 세 회사를 중심으로 중국의 대표적인 실경공연 작품을 보면 다양성 측면에서 큰 발전을 보이고 있다. 아울러 ‘몰입형’이나 ‘실내 실경공연’ 같은 새로운 방향성의 모색도 두드러진다. 그러나 여전히 수준 미달의 작품이 양산되고 있고, 지역마다 관 광산업과 연계하여 복제품이 범람하고 있는 것은 해결해야 할 과제라 할 것이다. 20년 역사의 중국 실경공연 산업에는 이처럼 명암이 병존한다. 중국만의 실경공 연 IP 획득, 지역 관광 활성화, 지역 문화 홍보 및 전파, 스펙터클 공연시장 개척과 예술성확보, 경제적이익창출등은실경공연의밝은면이다. 그러나수준미달작 품의 난립, 실패에 따른 막대한 투자 손실, 관객의 재소비 기피, 파괴된 생태환경 등은 어두운 면이다. 중국 실경공연의 지속 가능성을 담보하기 위해서는 그 양면을 깊이 고찰하고 분석해서 새로운 디딤돌을 만들어야 할 것이다.