주의력 결핍 과잉행동장애의 하위 유형에 따른 주의기제

이명주,홍창희 한국임상심리학회 2006 Korean Journal of Clinical Psychology Vol.25 No.4

The purpose of this study was to investigate how the attention mechanism differed among the attention-deficit/hyperactivity (ADHD) subtypes. Forty-one children who met the criteria for ADHD-Inattention type (ADHD/I), and 44 who met the criteria for ADHD-Combined type were eventually selected to participate in this study. Forty-four children from a local elementary school who did not meet any of the criteria for ADHD were also included in this study as the control group. This study explored the attention mechanism in the ADHD subtypes. The attentional mechanism in ADHD/C and ADHD/I was examined using the covert orienting of visuospatial attention task and the executive inhibition task. Compared to ADHD/C group, the ADHD/I group showed a more severe deficit in the movement as well as a higher disengagement in covert visuospatial attention. However, the ADHD/C group showed an executive inhibitory deficit. Such results indicate that these two ADHD subtypes have two distinct attentional mechanisms.

아동의 만족 지연 능력과 주의 기제: 집행 주의 및 주의분산책략 중심으로

양아름,방희정 한국심리학회 산하 한국발달심리학회 2011 한국심리학회지 발달 Vol.24 No.1

The purpose of this study were to investigate the relationships between executive attention, strategies for attention deployment, and ability to delay gratification. The subject of the study were 62 children who lived in Seoul and Incheon and they were 48 to 75 months. Subjects were divided into control group(which was not offered the strategy to distract their attention during the delay period) and two experimental groups(which was offered the strategy to distract their attention during the delay period). The results of the study are as follows: First, the correlation between child's intellectual ability and ability to delay gratification was significant. Also, there was significant relationship between child's executive attention and ability to delay gratification. Second, there were significant differences between the control group and the experimental groups. That is, the experimental groups offered the strategies to distract attention have longer waiting time than the control group. However, there was no significant difference in the experimental groups. Third, offering the strategies to distract attention and executive attention were significantly contributed to the prediction of the ability to delay of gratification. Also, there was significant interactive effect between the type of strategies to distract attention and executive attention. This is, as the group was suggested to play with 'toy', children's high executive skills have a strong effect on the ability to delay gratification. 본 연구는 만 4-5세 아동을 대상으로 아동의 집행 주의 능력과 외부에서 제공되는 주의분산책략이 만족 지연 능력과 어떠한 관련을 가지는지 검증하였다. 연구는 서울과 인천에 취원하고 있는 62명의 아동을 대상으로 통제 집단(주의분산책략을 제공 받지 않은 집단)과 두 실험 집단(즐거운 생각을 주의분산책략으로 제안 받은 집단과 장난감 놀이를 주의분산책략으로 제공 받은 집단)으로 나뉘어졌다. 검증 결과, 아동의 집행 주의 능력은 아동의 만족 지연 능력과 유의미하게 관련되었으며, 주의분산책략에 따른 집단 간 만족 지연 시간에 유의미한 차이가 검증되었다. 또한 지능을 통제한 후에도, 집행 주의와 주의분산책략은 아동의 만족 지연 능력을 유의미하게 설명하였고. 더 나아가 만족 지연 능력에 대한 주의분산책략(즐거운 생각 제안과 장난감 놀이 제공)과 집행 주의의 상호작용 효과가 검증되었으며, 특히 두 실험 집단(즐거운 생각 제안과 장난감 놀이 제공)에 따른 집행 주의의 조절 효과가 유의미하게 나타났다. 즉, 장난감 놀이를 주의분산책략으로 제공받은 경우, 집행 주의 능력이 높을 때 만족 지연 시간이 그렇지 않은 집단보다 유의미하게 증가하였다. 이는 즐거운 생각을 제안 받은 것보다 장난감을 주의분산책략으로 제공받았을 때 집행 주의 수준이 아동의 만족 지연 시간에 더 큰 차이를 가져올 수 있음을 의미한다.

BERT 기반 2단계 분류 모델과 Co-Attention 메커니즘을 이용한 치매와 조현병 관련 질병 진단

정민교,나승훈,김고운,신병수,정영철 한국정보과학회 2022 정보과학회논문지 Vol.49 No.12

Noting the recently increasing number of patients, we present deep learning methods for automatically diagnosing dementia and schizophrenia by exploring the use of the novel two-stage classification and the co-attention mechanism. First, the two-stage classification consists of two steps - the perplexity-based classification and the standard BERT-based classification. 1) the perplexity-based classification first prepares two types of BERTs, i.e., control-specific and patients-specific BERTs, pretrained from transcripts for controls and patients as the additional pretraining datasets, respectively, and then performs a simple threshold-based classification based on the difference between perplexity values of two BERTs for an input test transcript; then, for ambiguous cases where the perplexity difference only does not provide sufficient evidence for the classification, the standard BERT-based classification is performed based on a fine-tuned BERT. Second, the co-attention mechanism enriches the BERT-based representations from a doctor’s transcript and a client’s one by applying the cross-attention over them using the shared affinity matrix, and performs the classification based on the enriched co-attentive representations. Experiment results on a large-scale dataset of Korean transcripts show that the proposed two-stage classification outperforms the baseline BERT model on 4 out of 7 subtasks and the use of the co-attention mechanism achieves the best F1 score for 4 out of 8 subtasks. 최근 환자가 많이 증가함에 따라 사회적 문제를 야기하는 치매와 조현병 진단을 위한 모델을 제안한다. 의사와 내담자의 대화 음성 시료를 전사 작업한 스크립트를 이용해 치매와 조현병의 세부적인 분류를 시도하였다. 두 단계 과정으로 분류를 진행하는 2단계 분류 모델과 Co-Attention 메커니즘을 이용한 분류 모델을 제안하였다. 2단계 분류 모델은 정상군과 환자군 각각의 발화에서 계산되는 perplexity 차이에 기반한 분류와 미세 조정한 BERT 모델을 이용한 분류의 통합을 시도한 모델이다. Co-Attention 메커니즘을 이용한 분류 모델은 의사와 내담자 발화를 분리해 각 발화에 대해 표상을 구하고, 이를 바탕으로 표상 간의 어텐션 가중치 공유를 통해 분류하는 모델이다. BERT 모델을 미세 조정하여 분류를 시도한 Baseline 모델과의 F1 점수 비교를 통해 2단계 분류 모델은 7개 분류 태스크 중 4개의 태스크에서 성능 향상을 확인 하였고, Co-Attention 메커니즘 모델은 8개 분류 태스크 중 4개의 태스크에서 가장 높은 F1 점수를 보인 것을 확인하였다.

Balanced Attention Mechanism을 활용한 CG/VR 영상의 초해상화

김소원,박한훈 한국융합신호처리학회 2021 융합신호처리학회 논문지 (JISPS) Vol.22 No.4

Attention mechanisms have been used in deep learning-based computer vision systems, including single image super-resolution (SISR) networks. However, existing SISR networks with attention mechanism focused on real image super-resolution, so it is hard to know whether they are available for CG or VR images. In this paper, we attempt to apply a recent attention module, called balanced attention mechanism (BAM) module, to 12 state-of-the-art SISR networks, and then check whether the BAM module can achieve performance improvement in CG or VR image super-resolution. In our experiments, it has been confirmed that the performance improvement in CG or VR image super-resolution is limited and depends on data characteristics, size, and network type. 어텐션(Attention) 메커니즘은 딥러닝 기술을 활용한 다양한 컴퓨터 비전 시스템에서 활용되고 있으며, 초해상화(Super-resolution)를 위한 딥러닝 모델에도 어텐션 메커니즘을 적용하고 있다. 하지만 어텐션 메커니즘이 적용된 대부분의 초해상화 기법들은 Real 영상의 초해상화에만 초점을 맞추어서 연구되어, 어텐션 메커니즘을 적용한 초해상화가 CG나 VR 영상 초해상화에도 유효한지는 알기 어렵다. 본 논문에서는 최근에 제안된 어텐션 메커니즘 모듈인 BAM(Balanced Attention Mechanism) 모듈을 12개의 초해상화 딥러닝 모델에 적용한 후, CG나 VR 영상에서도 성능 향상 효과를 보이는지 확인하는 실험을 진행하였다. 실험 결과, BAM 모듈은 제한적으로 CG나 VR 영상의 초해상화 성능 향상에 기여하였으며, 데이터 특징과 크기, 그리고 네트워크 종류에 따라 성능 향상도가 달라진다는 것을 확인할 수 있었다.

변형된 Attention 메커니즘 기반의 LSTM을 통한 전력수요 예측 프레임웍

조영기(Youngki Jo),이현수(Hyunsoo Lee) 한국지능시스템학회 2020 한국지능시스템학회논문지 Vol.30 No.3

본 연구는 효율적인 스마트 그리드 시스템을 운용하기 위한 필수 불가결한 요소인 전력수요의 보다 정확한 예측을 그 대상으로 한다. 기존의 시계열적 방법론 및 인공신경망을 이용한 방법론 들이 전력수요 예측에 쓰이는 동안, 전력수요가 가지는 비선형적 요소 및 소수의 데이터 등이 그 이슈로 여겨져 왔다. 이를 해소하기 위하여, 본 연구는 두 개의 LSTM을 하나의 Attention Mechanism으로 연결한 변형된 Attention Mechanism 기반의 LSTM (MA-LSTM)을 제안한다. MA-LSTM은 기존의 시계열화되어 있는 데이터를 첫 번째 LSTM에 넣고, 여기서 추출된 attention 요소들을 두 번째 LSTM에 넣어 학습한 후, 최종적으로 Attentaion 레이어에서 결합하는 형태를 취한다. 이를 통하여 소수의 데이터를 가지고 보다 정확하게 특성에 기초하여 학습 및 예측하는 특징을 가진다. 본 연구에서는 실제 전력수요 데이터의 예측을 통하여, 제안된 프레임웍을 ARIMA 및 LSTM과 비교하여 그 우수성을 실험적으로 보여준다. This research focuses on an electricity demand forecasting framework, which is an essential component of an efficient smart grid system. While time-series analysis and neural network-based approaches have been applied, non-linearity and few number of data are considered main issues. In order to overcome these issues, the research proposes a Modified Attention-based Long Short Term Memory(MA-LSTM) which combines two LSTMs with one Attention layer. While the first LSTM handles the original data, the second LSTM module handles attention-based context features extracted from the data. Then, these are combined with an attention layer. For this manner, the more accurate features are trained with a small number of data in the proposed MA-LSTM. In order to show the effectiveness of MA-LSTM, the real electricity data forecasting is conducted and compared with ARIMA and LSTM methods.

TRAFFIC FLOW FORECASTING OF GRAPH CONVOLUTIONAL NETWORK BASED ON SPATIO-TEMPORAL ATTENTION MECHANISM

Zhang Hong,Chen Linlong,Cao Jie,Zhang Xijun,Kan Sunan,Zhao Tianxin 한국자동차공학회 2023 International journal of automotive technology Vol.24 No.4

Accurate traffic flow forecasting is a prerequisite guarantee for the realization of intelligent transportation. Due to the complex time and space features of traffic flow, its forecasting has always been a research hotspot in this field. Aiming at the difficulty of capturing and modelling the temporal and spatial correlation and dynamic features of traffic flow, this paper proposes a novel graph convolutional network traffic flow forecasting model (STAGCN) based on the temporal and spatial attention mechanism. STAGCN model is mainly composed of three modules: Spatio-temporal Attention (STA-Block), Graph Convolutional Network (GCN) and Standard Convolutional Network (CN), model the periodicity, spatial correlation and time dependence of traffic flow respectively. STA-Block module models the spatio-temporal correlation between different time steps through the spatio-temporal attention mechanism and gating fusion mechanism, and uses GCN and CN to capture the spatial and temporal features of traffic flow respectively. Finally, the output of the three components is predicted through a gated fusion mechanism. A large number of experiments have been conducted on two data sets of PeMS. The experimental results demonstrate that compared with the baseline method, the STAGCN model proposed in this paper has better forecasting performance.

Mobile agents’ dynamic small-world ntwork based on attention mechanism

Rong Xie 한국통신학회 2020 한국통신학회 APNOMS Vol.2020 No.09

To solve the issues of high communication cost and slow information transmission in the applications of agents’ collaboration, in the paper, we propose an approach to the construction of dynamic small-world network based on attention mechanism. Small-world model is applied to handle information exchange among agents. During the movement to destination, agent obtains individual historical optimal position through self-attention mechanism, and obtains local optimal position of k-neighbor through local attention mechanism, enabling search for the next optimal position. The experimental results verify effectiveness of our method, as well as stability and invulnerability which can adapt to dynamic changes.

사건 단어 주의 집중 메커니즘을 적용한 단일 문장 요약 생성

정이안,최수정,박세영 한국정보과학회 2020 정보과학회논문지 Vol.47 No.2

The purpose of summarization is to generate short text that preserves important information in the source sentences. There are two approaches for the summarization task. One is an extractive approach and other is an abstractive approach. The extractive approach is to determine if words in a source sentence are retained or not. The abstractive approach generates the summary of a given source sentence using the neural network such as the sequence-to-sequence model and the pointer-generator. However, these approaches present a problem because such approaches omit important information such as event words. This paper proposes an event word attention mechanism for sentence summarization. Event words serve as the key meaning of a given source sentence, since they express what occurs in the source sentence. The event word attention weights are calculated by event information of each words in the source sentence and then it combines global attention mechanism. For evaluation, we used the English and Korean dataset. Experimental results show that, the model of adopting event attention outperforms the existing models. 요약이란 자연어 처리 연구 분야 중 하나로, 입력으로 주어진 정보 중 중요한 내용은 유지하면서 문장을 짧게 만드는 태스크이다. 그 중 단일 문장을 대상으로 한 요약 연구 중 입력 문장의 단어를 요약 문장에 사용할지 버릴지를 이진 분류하여 단어를 추출하여 요약을 수행하는 방법과 입력 문장을 기반으로 요약 문장을 생성하는 방법이 있다. 기존의 추출 요약 연구들은 단어의 구조적 정보를 사용하여 이진 분류를 수행하였고, 문장을 생성하는 방법들은 순환신경망을 이용하여 요약 문장을 생성하였다. 하지만 이러한 접근 방법은 중요한 정보를 누락하고 불필요한 정보로 요약을 생성하는 문제가 있다. 따라서 본 논문에서는 무엇을 행하였는지에 대한 정보를 제공할 수 있는 사건 단어를 사용하여, 중요한 정보에 집중하여 요약을 수행할 수 있도록 사건 단어 주의집중 메커니즘을 제안한다. 입력으로 문장 내 각 단어의 임베딩 벡터와 사건 단어 정보가 제공됐을 때, 제안한 방법은 사건 단어에 주의 집중할 수 있도록 사건 단어 정보를 사용하여 주의집중 가중치를 계산하고, 이 가중치는 기존의 모델에 결합하여 사용된다. 실험은 영어와 한국어 데이터 셋에서 수행되었으며, 기존 모델에 제안한 방법을 결합하여 평가를 수행하였다. 실험 결과, 기존 모델보다 제안한 방법을 적용한 모델이 높은 성능을 얻어, 제안한 방법이 효과적임을 입증하였다.

어텐션 메커니즘을 활용한 철도차량 공기압축기의 이상탐지

김견호,조현직,강철구 제어·로봇·시스템학회 2023 제어·로봇·시스템학회 논문지 Vol.29 No.4

Condition-based diagnostic analysis of air compressors of railway vehicles is essential for passenger safety and maintenance cost reduction. When conventional long short-term memory (LSTM) autoencoders are used for detecting anomalies in time series data, the input data cannot be reconstructed appropriately when the sequence length is large. Recently, the attention mechanism was proposed to solve this problem encountered in LSTM autoencoders. In the current study, the anomaly detection performance of railway vehicle air compressors was improved using the attention mechanism. The data reconstruction performance of the LSTM autoencoder model was compared with that of the LSTM autoencoder model with the attention mechanism and the transformer model comprising only the attention mechanism by using the sensor data of an air compressor of the Airport Railroad Express train in Seoul, Korea. For artificially generated abnormal data, three anomaly scenarios were successfully detected using the transformer model, which exhibited the best data reconstruction performance among the three models. The results confirmed that transformer models with attention mechanisms can detect anomalies in the air compressors of railway vehicles in a timely manner.

외부 메모리 어텐션 기반 준지도 비디오 객체 분할

김지윤,홍성은 한국방송∙미디어공학회 2023 방송공학회논문지 Vol.28 No.5

This paper explores attention techniques in semi-supervised video object segmentation. Conventional semi-supervised video object segmentation suffers from long-range dependency due to the use of convolutional neural networks. Recent research has applied attention techniques in classification, detection, and segmentation to address this issue. While self-attention-based approaches are commonly used, they have limitations in modeling the relationships between different images. In this paper, we propose a semi-supervised video object segmentation based on external memory attention to address long-range dependencies and consider the relationships between various images. Our approach uses two linear layers as memory to model image relationships and employs cascade operations for attention. Experimental results on the DAVIS 2017 dataset demonstrate approximately 3.8% improvement in average Jaccard index and boundary accuracy compared to STM (Space-Time Memory).