http://chineseinput.net/에서 pinyin(병음)방식으로 중국어를 변환할 수 있습니다.
변환된 중국어를 복사하여 사용하시면 됩니다.
- 中文 을 입력하시려면 zhongwen을 입력하시고 space를누르시면됩니다.
- 北京 을 입력하시려면 beijing을 입력하시고 space를 누르시면 됩니다.
RISS 인기검색어
- 검색키워드
- 주제어 : 멀티모달 융합 (검색결과 11 건)
- 무료
- 기관 내 무료
- 유료
-
-
멀티모달 맥락정보 융합에 기초한다중 물체 목표 시각적 탐색 이동
최정현,김인철 한국정보처리학회 2023 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.12 No.9
MultiOn(Multi-Object Goal Visual Navigation)은 에이전트가 미지의 실내 환경 내 임의의 위치에 놓인 다수의 목표 물체들을 미리 정해준일정한 순서에 따라 찾아가야 하는 매우 어려운 시각적 탐색 이동 작업이다. MultiOn 작업을 위한 기존의 모델들은 행동 선택을 위해 시각적외관 지도나 목표 지도와 같은 단일 맥락 지도만을 이용할 뿐, 다양한 멀티모달 맥락정보에 관한 종합적인 관점을 활용할 수 없다는 한계성을가지고 있다. 이와 같은 한계성을 극복하기 위해, 본 논문에서는 MultiOn 작업을 위한 새로운 심층 신경망 기반의 에이전트 모델인 MCFMO(Multimodal Context Fusion for MultiOn tasks)를 제안한다. 제안 모델에서는 입력 영상의 시각적 외관 특징외에 환경 물체의 의미적 특징, 목표물체 특징도 함께 포함한 멀티모달 맥락 지도를 행동 선택에 이용한다. 또한, 제안 모델은 점-단위 합성곱 신경망 모듈을 이용하여 3가지 서로이질적인 맥락 특징들을 효과적으로 융합한다. 이 밖에도 제안 모델은 효율적인 이동 정책 학습을 유도하기 위해, 목표 물체의 관측 여부와 방향,그리고 거리를 예측하는 보조 작업 학습 모듈을 추가로 채용한다. 본 논문에서는 Habitat-Matterport3D 시뮬레이션 환경과 장면 데이터 집합을이용한 다양한 정량 및 정성 실험들을 통해, 제안 모델의 우수성을 확인하였다. The Multi-Object Goal Visual Navigation(MultiOn) is a visual navigation task in which an agent must visit to multiple object goalsin an unknown indoor environment in a given order. Existing models for the MultiOn task suffer from the limitation that they cannotutilize an integrated view of multimodal context because use only a unimodal context map. To overcome this limitation, in this paper,we propose a novel deep neural network-based agent model for MultiOn task. The proposed model, MCFMO, uses a multimodal contextmap, containing visual appearance features, semantic features of environmental objects, and goal object features. Moreover, the proposedmodel effectively fuses these three heterogeneous features into a global multimodal context map by using a point-wise convolutionalneural network module. Lastly, the proposed model adopts an auxiliary task learning module to predict the observation status, goal directionand the goal distance, which can guide to learn the navigational policy efficiently. Conducting various quantitative and qualitativeexperiments using the Habitat-Matterport3D simulation environment and scene dataset, we demonstrate the superiority of the proposedmodel.
-
김준영(Jun-Yeong Kim),정세훈(Se-Hoon Jung),심춘보(Chun-Bo Sim) 한국전자통신학회 2024 한국전자통신학회 논문지 Vol.19 No.1
Biometric recognition is a technology that determines whether a person is identified by extracting information on a person's biometric and behavioral characteristics with a specific device. Cyber threats such as forgery, duplication, and hacking of biometric characteristics are increasing in the field of biometrics. In response, the security system is strengthened and complex, and it is becoming difficult for individuals to use. To this end, multiple biometric models are being studied. Existing studies have suggested feature fusion methods, but comparisons between feature fusion methods are insufficient. Therefore, in this paper, we compared and evaluated the fusion method of multiple biometric models using fingerprint, face, and iris images. VGG-16, ResNet-50, EfficientNet-B1, EfficientNet-B4, EfficientNet-B7, and Inception-v3 were used for feature extraction, and the fusion methods of 'Sensor-Level', 'Feature-Level', 'Score-Level', and 'Rank-Level' were compared and evaluated for feature fusion. As a result of the comparative evaluation, the EfficientNet-B7 model showed 98.51% accuracy and high stability in the 'Feature-Level' fusion method. However, because the EfficietnNet-B7 model is large in size, model lightweight studies are needed for biocharacteristic fusion. 생체 인식은 사람의 생체적, 행동적 특징 정보를 특정 장치로 추출하여 본인 여부를 판별하는 기술이다. 생체 인식 분야에서 생체 특성 위조, 복제, 해킹 등 사이버 위협이 증가하고 있다. 이에 대응하여 보안 시스템이 강화되고 복잡해지며, 개인이 사용하기 어려워지고 있다. 이를 위해 다중 생체 인식 모델이 연구되고 있다. 기존 연구들은 특징 융합 방법을 제시하고 있으나, 특징 융합 방법 간의 비교는 부족하다. 이에 본 논문에서는 지문, 얼굴, 홍채 영상을 이용한 다중 생체 인식 모델의 융합 방법을 비교평가했다. 특징 추출을 위해 VGG-16, ResNet-50, EfficientNet-B1, EfficientNet-B4, EfficientNet-B7, Inception-v3를 사용했으며, 특성 융합을 위해 ‘Sensor-Level’, ‘Feature-Level’, ‘Score-Level’, ‘Rank-Level’ 융합 방법을 비교 평가했다. 비교 평가 결과 ‘Feature-Level’ 융합 방법에서 EfficientNet-B7 모델이 98.51%의 정확도를 보이며 높은 안정성을 보였다. 그러나 EfficietnNet-B7모델의 크기가 크기 때문에 생체 특성 융합을 위한 모델 경량화 연구가 필요하다.
-
텍스트 및 영상의 멀티모달분석을 이용한 트위터 사용자의 감성 흐름 모니터링 기술
김은이,고은정 한국융합학회 2018 한국융합학회논문지 Vol.9 No.1
본 논문은 개인 사용자의 트윗을 분석하여 사용자의 감정 흐름을 모니터링할 수 있는 새로운 방법을 제안한다. 본 논문에서는 사용자의 감성 흐름을 정확하게 예측하기 위해서 기존의 텍스트 위주의 시스템과 달리 본 연구에서는 사용자가 쓴 텍스트와 영상 등으로부터 감성을 인식하는 멀티 모달 분석 기법이 개발된다. 제안된 방법에서는 먼저 어휘분석 및 문맥을 이용한 텍스트분석기와 학습기반의 영상감성인식기를 이용하여 텍스트 및 영상 트윗에 숨겨진 개별 감성을 추출한다. 이후 이들은 규칙기반 통합 방법에 의해 날짜별로 통합되고, 마지막으로 개인의 감성흐름을 보다 직관적으로 관측할 수 있도록 감성흐름그래프로 시각화한다. 제안된 방법의 효용성을 평가하기 위해 두 단계의 실험이 수행되었다. 먼저 4만여 개의 트윗으로부터 제안된 방법의 정확도 평가 실험이 수행되고, 최신 트윗 분석 기술과 비교 분석되었다. 두 번째 실험에서는 40명의 우울증을 가진 사용자와 일반사용자를 구분할 수 있는지에 대한 실험이 수행된 결과, 제안된 기술이 실제 사용자의 감성흐름을 모니터하는데 효율적임을 증명하였다. In this paper, we propose a novel method for monitoring mood trend of Twitter users by analyzing their daily tweets for a long period. Then, to more accurately understand their tweets, we analyze all types of content in tweets, i.e., texts and emoticons, and images, thus develop a multimodal sentiment analysis method. In the proposed method, two single-modal analyses first are performed to extract the users’ moods hidden in texts and images: a lexicon-based and learning-based text classifier and a learning-based image classifier. Thereafter, the extracted moods from the respective analyses are combined into a tweet mood and aggregated a daily mood. As a result, the proposed method generates a user daily mood flow graph, which allows us for monitoring the mood trend of users more intuitively. For evaluation, we perform two sets of experiment. First, we collect the data sets of 40,447 data. We evaluate our method via comparing the state-of-the-art techniques. In our experiments, we demonstrate that the proposed multimodal analysis method outperforms other baselines and our own methods using text-based tweets or images only. Furthermore, to evaluate the potential of the proposed method in monitoring users’ mood trend, we tested the proposed method with 40 depressive users and 40 normal users. It proves that the proposed method can be effectively used in finding depressed users.
-
윤규상(Kyusang Yoon),최재호(Jaeho Choi),허건수(Kunsoo Huh) 한국자동차공학회 2022 한국자동차공학회 학술대회 및 전시회 Vol.2022 No.11
In this study, we present a method for producing more accurate results by changing the weights of each sensor according to the surrounding environment, beyond utilizing multiple models and multiple sensors. In multi-sensor fusion, the weight of each sensor varies depending on the accuracy of each sensor. Covariance intersection and modified version widely used because it is useful when one cannot know the exact value of cross covariance. However, they only get fixed weights by initial parameters, making it difficult to cope with environmental changes: climate, road geometry, and driving conditions. This innate limit causes the location error of targeting vehicles. To overcome this, our method learns various information obtained from sensors through multimodal learning and performs data fusion that adapts to various situations in real time. Proposed method effectively recognizes the surrounding environment and shows higher accuracy, as well as real-time computational capabilities. This method has been verified with the actual vehicle data.
-
정경호,김지혁,안현철 한국경영정보학회 2023 한국경영정보학회 학술대회논문집 Vol.2023 No.11
현대 금융 시장은 글로벌화와 디지털 전환의 진화 속에서 변동성이 지속적으로 증가하는 동시에 신용 평가의 연구 및 실용적 중요성이 강조되고 있다. 특히 2019년에 시작된 코로나19 팬데믹은 금융 시장의 불안정성에 대해 각별한 주의와 관리가 필요함을 환기시켰으며, 그 결과 고도화된 신용 평가 방법론의 중요성이 다시금 부각되고 있는 실정이다. 이에 본 연구는 기존 신용평가 모델의 성능을 개선하기 위한 새로운 대안으로 멀티모달 특징을 효과적으로 반영하기 위해 양방향 어텐션 블록을 적용한 신용평가 모델을 제안한다. 제안 모델의 우수성은 SEC의 EDGAR 데이터베이스로부터 얻은 재무 정보와 MD&A 텍스트를 기반으로 검증할 계획이다.
-
반자율주행 맥락에서 AI 에이전트의 멀티모달 인터랙션이 운전자 경험에 미치는 효과
서민수(Min-soo Suh),홍승혜(Seung-Hye Hong),이정명(Jeong-Myeong Lee) 한국콘텐츠학회 2018 한국콘텐츠학회논문지 Vol.18 No.8
대화형 AI 스피커가 보편화되면서 음성인식은 자율주행 상황에서의 중요한 차량-운전자 인터랙션 방식으로 인식되고 있다. 이 연구의 목적은 반자율주행 상황에서 음성뿐만 아니라 AI 캐릭터의 시각적 피드백을 함께 전달하는 멀티모달 인터랙션이 음성 단일 모드 인터랙션보다 사용자 경험 최적화에 효과적인지를 확인하는 것이다. 실험 참가자에게 주행 중 AI 스피커와 캐릭터를 통해 음악 선곡과 조정을 위한 인터랙션 태스크를 수행하게 하고, 정보 및 시스템 품질, 실재감, 지각된 유용성과 용이성, 그리고 지속 사용 의도를 측정하였다. 평균차이 분석 결과, 대부분의 사용자 경험 요인에서 시각적 캐릭터의 멀티모달 효과는 나타나지 않았으며, 지속사용 의도에서도 효과는 나타나지 않았다. 오히려, 정보품질 요인에서 음성 단일 모드가 멀티모달보다 효과적인 것으로 나타났다. 운전자의 인지적 노력이 필요한 반자율주행 단계에서는 멀티모달 인터랙션이 단일 모드 인터랙션에 비해 사용자 경험 최적화에 효과적이지 않았다. As the interactive AI speaker becomes popular, voice recognition is regarded as an important vehicle-driver interaction method in case of autonomous driving situation. The purpose of this study is to confirm whether multimodal interaction in which feedback is transmitted by auditory and visual mode of AI characters on screen is more effective in user experience optimization than auditory mode only. We performed the interaction tasks for the music selection and adjustment through the AI speaker while driving to the experiment participant and measured the information and system quality, presence, the perceived usefulness and ease of use, and the continuance intention. As a result of analysis, the multimodal effect of visual characters was not shown in most user experience factors, and the effect was not shown in the intention of continuous use. Rather, it was found that auditory single mode was more effective than multimodal in information quality factor. In the semi-autonomous driving stage, which requires driver s cognitive effort, multimodal interaction is not effective in optimizing user experience as compared to single mode interaction.
-
-
-
KCI
스콜라연관 검색어 추천
이 검색어로 많이 본 자료
활용도 높은 자료
