Characterizing the Roles of Attention Heads in Generative Models: Text-to-Image Diffusion Models and Large Language Models

박중원 서울대학교 대학원 2026 국내박사

최근 딥러닝의 발전은 모델의 동작 이면에 존재하는 내부 메커니즘을 이해하고자 하는 작동 원리 기반 해석 가능성(Mechanistic Interpretability) 분야에 대한 관심을 높이고 있다. 이 분야에서 어텐션 헤드 기여도 분석(Attention Head Attribution), 즉 딥러닝 모델 내 개별 어텐션 헤드의 기능적 역할을 분석하는 연구는 활발히 이루어지고 있는 주제 중 하나이다. 그러나 기존 연구의 대부분은 거대 언어 모델(LLM)에 집중되어 있으며, 다른 유형의 모델에 대한 탐색은 제한적이다. 더 나아가 거대 언어 모델 내에서도 어텐션 헤드의 여러 기능적 역할은 아직 충분히 밝혀지지 않았다. 본 논문에서는 두 가지 유형의 생성 모델인 텍스트-이미지(T2I) 확산 모델과 거대 언어 모델에 대해 각각 새로운 어텐션 헤드 기여도 분석 기법을 제안한다. 먼저 텍스트-이미지 모델에 대해서는, Stable Diffusion을 대상으로 색상, 스타일, 동물과 같은 객체 범주 등 특정 시각적 개념과 관련된 크로스 어텐션 헤드를 식별하는 기여도 분석 방법을 제안한다. 식별된 개념과 관련된 헤드들은 세 가지 이미지 생성 응용에서 해당 개념을 강화하거나 억제하는 방식으로 제어에 활용된다. 실험 결과는 텍스트-이미지 확산 모델의 어텐션 헤드가 거대 언어 모델에서 관찰되는 것과 유사한 기능적 특수화(Functional Specialization)를 보임을 시사하며, 어텐션 헤드 기여도 분석 연구의 범위를 보다 넓은 생성 모델 계열로 확장시킨다. 거대 언어 모델의 경우, 본 논문은 어텐션 헤드 기여도 분석 문제를 연속된 공간에서의 최적화 문제(Continuous Optimization Problem)로 재구성한 새로운 기법을 제안한다. 이 방법은 소프트하고 미분 가능한 헤드 선택 파라미터(Soft, Differentiable Head-Selection Parameters)를 통해 태스크 임베딩(Task Embeddings)을 어텐션 헤드에 주입함으로써, 기울기 하강법(Gradient Descent)을 사용한 효율적인 태스크 관련 헤드(Task-Relevant Heads) 식별을 가능하게 한다. 이 방법은 기존 few-shot 인컨텍스트 학습(ICL)보다 유의미한 성능 향상을 보여주며, 57개 ICL 태스크에서 평균적으로 12개의 다양한 거대 언어 모델을 대상으로 10-shot ICL 성능을 10.2%–14.3% 상회한다. 성능 향상뿐 아니라, 본 방법은 해석 가능성을 위한 도구로서의 역할도 수행한다. 이는 태스크 관련 헤드를 식별할 뿐만 아니라, 해당 헤드들이 태스크-비특이적(Task-Agnostic) 관점이 아닌 태스크-특이적(Task-Specific) 관점에서 더 잘 설명된다는 사실을 보여준다--즉, 하나의 태스크에서 식별된 헤드는 유사한 특성을 가진 태스크로는 잘 전이되지만, 특성이 상이한 태스크에는 그렇지 않다. 전반적으로, 본 연구는 두 유형의 생성 모델에서 어텐션 헤드에 대한 작동 원리 이해를 심화시키며, 모델 동작의 정밀한 제어를 위한 통찰을 제공한다. Recent progress in deep learning has led to increased interest in mechanistic interpretability, which aims to understand the internal mechanisms under model behavior. Within this field, attention head attribution, the study of functional roles of individual attention heads in deep learning models, has become an active area of research. However, most existing studies have focused on large language models (LLMs), with limited exploration of other model classes. Even within LLMs, several functional roles of attention heads remain underexplored. This dissertation introduces attribution techniques for two distinct types of generative models: text-to-image (T2I) diffusion models and LLMs. For T2I models, we propose a head attribution method for Stable Diffusion that identifies cross-attention heads associated with specific visual concepts, such as color, style, and object categories like animals. These concept-relevant heads are then used to control image generation in three visual generative applications by modulating their activation. The results suggest that attention heads in T2I diffusion models exhibit functional specialization analogous to that observed in LLMs, extending the scope of attribution research to a broader class of generative models. For LLMs, we develop a method that reformulates head attribution as a continuous optimization problem. By injecting task embeddings into attention heads using soft, differentiable head-selection parameters, the method enables efficient identification of task-relevant heads via gradient descent. It achieves significantly higher task performance than few-shot in-context learning (ICL); averaged over 57 ICL tasks, the method outperforms the 10-shot ICL baseline by 10.2%-14.3% across 12 diverse LLMs. Beyond performance, our method also serves as a tool for interpretability. It not only identifies task-relevant heads but also reveal that these heads are characterized from a task-specific rather than task-agnostic perspective--attention heads identified for one task tend to transfer well to tasks with similar characteristics, but not to dissimilar ones. Overall, our studies provide a deeper mechanistic understanding of attention heads in two classes of generative models and offer insights for targeted control of model behavior.

On the head redundancy in Swin transformer for image classification

오준호 Graduate School, Yonsei University 2022 국내석사

Transformer 모델은 원래 자연어 처리를 위해 고안된 모델이지만, computer vision 등의 타 분야에서도 Transformer를 활용하려는 연구가 매우 활발하게 진행되고 있다. 자연어 처리 분야에서 이용되는 Transformer 기반 모델의 Multi-Head Self-Attention (MHSA) 모듈을 구성하는 각 헤드간의 중복성에 관한 연구는 존재하지만, computer vision 분야에서 이용되는 Transformer 기반 모델에 대해 이를 연구한 바는 없다. 본 논문에서는 Swin Transformer 모델의 MHSA 모듈에서 각 헤드를 제거했을 때 ImageNet 데이터셋의 이미지 분류 작업에서 모델 성능의 변화를 측정하였고, 이를 통해 몇몇 헤드는 다른 헤드와 중복성이 존재하여, 그 헤드를 제거하더라도 정확도의 하락이 적거나 오히려 상승함을 밝혔다. 또한 stage 3을 구성하는 헤드 중 절반을 제거하여 비교적 적은 정확도 감소를 대가로 모델을 경량화할 수 있음을 보였다. 마지막으로, 헤드의 중복성에 영향을 미칠 것으로 예상되는 3개의 잠재요소로 출력 행렬의 노름의 평균값, 입력에 따른 출력 행렬 간의 불변성, 각 헤드 간 attention map의 코사인 유사도를 제시하였고, 그 중 전자 2개의 요소와 모델 성능 간에 상관관계가 존재함을 발견하였다. Although the Transformer model was originally designed for natural language processing (NLP), many studies are being actively conducted in utilizing the Transformer in other fields such as computer vision. There is a study on the redundancy between attention heads in multi-head self-attention (MHSA) modules of Transformer-based models in NLP, but there is no study on Transformer-based models in computer vision. In this thesis, we measure the change of model performance on the ImageNet image classification task when each head in MHSA layers in Swin Transformer is removed. Several heads are redundant, so the model accuracy slightly decreases or rather increases. In addition, it is shown that the model can be compressed by removing half of the heads in stage 3, in exchange for insignificant accuracy loss. Finally, we offer three factors that are expected to affect the head redundancy; the mean of norms of output matrices for various inputs, the invariance of output matrices for various inputs, and the cosine similarity between attention maps of each head. It is proved that the former two factors are correlated with head redundancy.

Action Relevant Attention Heads in Vision Language Action Models: Mechanistic Interpretability and Safe Pruning

정도현 서울대학교 대학원 2026 국내석사

Despite recent progress in Vision Language Action (VLA) models, but their transformer back- bones largely remain black boxes, limiting safety, debuggability, and resource-aware deployment. This thesis presents an action-centric mechanistic analysis of a modern VLA policy, ω0-FAST, trained on LIBERO tabletop manipulation tasks, with the goal of uncovering the internal circuit that decodes multimodal context into continuous robot actions. We first study feedforward value vectors to locate where in depth the model allocates ca- pacity to promote action tokens versus preserve the pretrained semantic backbone. Next, we group tokens by modality and role (images, text instructions, proprioceptive state, and previ- ous actions) and measure modality-wise attention patterns and head-output magnitudes. This reveals early visual and instruction preprocessing heads, mid-layer heads that integrate visual, state, and action-history signals, and late heads that format representations into action logits, together forming an action-decoding circuit. To directly link individual heads to control behavior, we introduce a KNN-based head–action attribution score that evaluates how well each head’s representation predicts decoded contin- uous action chunks, both globally and for specific motion and contact factors. Combining this geometric signal with head-output norms and attention mass, we define an Action Relevance Score (ARS) and a Hybrid Importance Score (HIS) that act as head-importance metrics for identifying components that are functionally necessary for action decoding. As a concrete downstream application of this circuit view, we use ARS/HIS to drive safe head pruning. Pruning only the lowest-scoring heads under ARS/HIS preserves almost all LIBERO performance at moderate pruning ratios, whereas magnitude-, attention-, or geometry-only cri- teria quickly collapse control. These results show that VLA policies organize into structured sensorimotor circuits at the head level, and that circuit-based importance scores provide a prac- tical handle for safe head pruning, FLOP-aware compression, and future interpretability-driven steering and safety interventions in embodied AI systems. 비전 언어 액션(Vision Language Action, VLA) 모델은 이미지와 언어 지시를 입력받아 로봇의 저수준 제어 신호로 직접 매핑하는 엔드투엔드 정책이지만, 트랜스포머 백본의 내부 연산은 여전히 블랙박스에 가깝게 남아 있어 안전성, 디버깅, 연산 자원 제약을 고려한 배치 측면에서 한계를 드러낸다. 본 학위논문에서는 LIBERO 테이블탑 조작 과제에서 학습된 최신 VLA 정책인 $\pi_0$-FAST를 대상으로, 멀티모달 컨텍스트가 연속 로봇 액션으로 디코딩되는 내부 회로 구조를 밝히기 위한 액션 중심 기계적 해석을 수행한다. 먼저 뉴런 단위의 분석을 통해, 모델이 깊이 방향으로 어느 지점에서 액션 토큰을 강하게 증폭시키는지 확인한다. 이어서 토큰을 모달리티와 역할(이미지, 텍스트 지시, 고유수용감각 상태, 이전 액션)에 따라 그룹화하고, 모달리티별 어텐션 패턴과 헤드 결과의 크기를 측정한다. 이를 통해 초기 층에서는 시각 및 지시 정보를 전처리하는 헤드, 중간 층에서는 시각–상태-지시문–액션 히스토리를 통합하는 헤드, 마지막 층에서는 표현을 액션 로짓으로 포맷팅하는 헤드가 함께 작동하며 액션 디코딩 회로를 형성함을 보인다. 개별 헤드를 제어 행동과 직접적으로 연결하기 위해, 디코딩된 연속 액션 청크를 얼마나 잘 예측하는지를 평가하는 KNN 기반 헤드–액션 어트리뷰션 점수를 도입한다. 이 점수는 전체 청크 수준뿐 아니라 특정 이동/접촉 요소에 따라 분해하여 계산함으로써, 각 헤드 표현이 어떤 움직임 요인에 민감한지를 정량화한다. 나아가 이 기하학적 신호를 헤드 결과의 노름 및 어센션 크기와 결합하여, 액션 디코딩에 기능적으로 필수적인 헤드를 식별하기 위한 Action Relevance Score(ARS)와 Hybrid Importance Score(HIS)를 정의한다. 마지막으로, 이러한 회로 관점의 구체적인 다운스트림 응용으로 ARS/HIS를 이용한 안전한 헤드 가지치기를 연구한다. ARS/HIS 점수가 가장 낮은 헤드만을 제거하면, 중간 수준의 가지치기 비율에서도 LIBERO 성능이 거의 유지되는 반면, 단순한 크기 기반, 어텐션 기반, 혹은 기하학(KNN) 기반 기준만으로 가지치기을 수행할 경우 제어 성능이 빠르게 붕괴됨을 보인다. 이는 VLA 정책이 헤드 수준에서 구조화된 센서모터 회로로 조직되어 있음을 시사하며, 회로 기반 중요도 점수가 안전한 헤드 가지치기, 계산량 관점의 경량화, 그리고 향후 해석학 기반의 스티어링 및 안전 개입을 위한 실질적인 수단을 제공함을 보여준다.

잡음이 포함된 축산 환경 데이터 유효성 식별 : Multi-Head Networks를 이용한 새로운 비지도 학습 방법

Junaid Khan Kakar 전북대학교 대학원 2024 국내석사

Detecting anomalies in multivariate time series sensor data across various domains like livestock farming, agriculture, the Internet of Things (IoT), and human activity recognition (HAR) presents significant challenges. These tasks require advanced machine learning techniques to handle data from multiple sensors and identify discrepancies effectively. Our research concentrates on crafting cutting-edge machine-learning solutions for this purpose, particularly in environments where sensor data often includes anomalies, complicating the identification of consistent patterns that account for both spatial and temporal relationships. We have developed an innovative method known as Dual detection and Prediction techniques "TimeTector-Twin-Branch Shared LSTM Autoencoder," which integrates multiple Multi-Head Attention mechanisms. This approach not only aids in accurately distinguishing between normal, abnormal, and noisy data but also reduces the likelihood of models drawing incorrect inferences from mixed noisy data during their training phase. Our Twin-Branch system enhances this capability by supporting simultaneous tasks like data reconstruction and prediction error analysis, which boosts efficiency in multi-task learning. We evaluated our model against several standard benchmarks in anomaly detection, utilizing our specific dataset. The outcomes indicate our model achieves lower error rates (MSE, MAE, RMSE) in reconstruction tasks and superior accuracy metrics (precision, recall, and F1 score) compared to baseline models. These results affirm that our approach significantly improves upon existing models in the field. 축산, 농업, 사물 인터넷(IoT) 및 인간 활동 인식(HAR)과 같은 다양한 영역에서 다변수의 시계열 센서 데이터의 이상 징후를 감지하는 것은 중요한 과제입니다. 이러한 작업을 수행하려면 여러 센서의 데이터를 효과적으로 처리하고 불일치를 식별하기 위한 고급 기계 학습 기술이 필요합니다. 본 연구는 이러한 필요성을 위해 최첨단 기계 학습 솔루션을 제시합니다. 특히, 공간 및 시간 관계의 일관된 패턴을 식별하는데 복잡하게 하는 이상치를 포함한 환경 센서 데이터에 적용합니다. 본 연구는 여러 다중 헤드 주의 메커니즘을 통합하는 이중 감지 및 예측 기술 "TimeTector-Twin-Branch Shared LSTM Autoencoder"로 알려진 혁신적인 방법을 개발했습니다. 이 접근 방식은 정상 데이터, 비정상 데이터 및 잡음 데이터를 정확하게 구별하는 데 도움이 될 뿐만 아니라 모델이 훈련 단계에서 혼합된 잡음 데이터로부터 잘못된 추론을 이끌어낼 가능성을 줄입니다. 본 연구의 Twin-Branch 시스템은 데이터 재구성 및 예측 오류 분석과 같은 동시 작업을 지원하여 다중 작업 학습에서 효율성을 높입니다. 저희는 특정 데이터 세트를 활용하여 이상 감지의 여러 표준 벤치마크와 비교하여 모델을 평가했습니다. 본 연구의 결과는 모델이 기본 모델에 비해 재구성 작업에서 더 낮은 오류(MSE, MAE, RMSE)와 우수한 정확도 행렬(정밀도, 리콜 및 F1 점수)을 달성한다는 것을 나타냅니다. 이러한 결과는 저희의 접근 방식이 현장의 기존 모델을 크게 향상시킨다는 것을 확인시켜줍니다.

Head-Specialized Relation-Aware Cross-Encoder for Korean Reranking

정경훈 한양대학교 공학대학원 2026 국내석사

This thesis proposes a Head-Specialized Relation-Aware Cross-Encoder (HSRA-CE) for improving Korean reranking performance in retrieval-based question answering and Retrieval-Augmented Generation (RAG). In a RAG pipeline, a retriever first extracts candidate documents from a large collection, and a reranker then reorders those candidates according to their relevance to the query. Since the top-ranked documents are used as input context for a large language model, the quality of reranking has a direct influence on the factuality and reliability of the final generated answer. The motivation of this study comes from the linguistic characteristics of Korean. Korean functional morphemes such as particles, endings, negation expressions, comparison expressions, and question markers often change the semantic relation between tokens. For example, “철수가 영희를 이겼다” and “영희가 철수를 이겼다” contain almost the same lexical items, but the subject-object relation is reversed by the particles. Similarly, “효과가 있다” and “효과가 없다” differ mainly by a negation cue, but their meanings are opposite. These examples show that Korean relevance judgment cannot be fully explained by lexical overlap alone; relation-sensitive signals must also be considered. A standard Cross-Encoder processes a query and a document jointly through Transformer self-attention and produces a relevance score. Although this structure is effective for many reranking tasks, it treats Korean functional morphemes as ordinary input tokens and does not explicitly distinguish them as relation signals. Moreover, such relation cues are not directly reflected in the query/key computation of attention. As a result, the model may assign an overly high score to a relation-perturbed negative candidate that is lexically similar to the positive document but semantically different. To address this limitation, the proposed HSRA-CE introduces three core components. First, a Kiwi-based relation tagging module assigns relation tags such as JOSA, EOMI, NEG, COMP, WH/QUES, and O to input tokens. Second, a Relation Adapter shared across all Transformer layers generates token-level relation representations from the hidden state, relation tag embedding, and query-type embedding. Third, 4 out of 12 attention heads in the Transformer encoder are specialized as relation heads, where the relation representation is injected into the query and key projections through residual modulation, while the remaining 8 heads preserve the standard self-attention path. A Dynamic Relation Gate further controls the strength of relation intervention by input and by layer. Experiments were conducted by reconstructing KLUE-MRC into a reranking format with 5,000 training queries and 1,000 evaluation queries, reported as 3-seed averages (seeds 42, 123, 2024). Three evaluation settings were used: a relation-perturbed setting, a general retrieval setting, and a mixed setting. The relation-perturbed setting evaluates whether the model can distinguish candidates whose Korean relation signals are modified. The general retrieval setting evaluates whether ordinary reranking performance is maintained against BM25 hard negatives. The mixed setting evaluates a more realistic situation in which both types of negatives are present. MRR@10, nDCG@10, and Recall@1 were used as the main evaluation metrics. The experimental results show that existing neural rerankers are selectively vulnerable to relation perturbations. The Base Cross-Encoder achieved an MRR@10 of 0.949 in the general retrieval setting, but its score dropped to 0.737 in the relation-perturbed setting (-22.3%). Dense Bi-Encoder showed a similar drop, from 0.784 to 0.592 (-24.5%). By introducing relation representations, Relation-Aware CE improved the relation-perturbed MRR@10 to 0.835. The final HSRA-CE achieved 0.889 in the relation-perturbed setting (a 20.6% relative improvement over the baseline) and 0.839 in the mixed setting, while preserving stable performance of 0.946 in the general retrieval setting. Additional analysis showed consistent improvements in nDCG@10 (0.804 → 0.921) and Recall@1 (0.542 → 0.774), with particularly large gains for negation queries (+23.6%) and comparison queries (+24.8%). These results indicate that Korean relation signals can be effectively incorporated into a reranker when they are represented explicitly and connected to the internal attention computation. The contribution of this thesis is the design of a relation-aware reranking architecture that preserves pretrained semantic matching ability while providing a dedicated path for Korean relation processing. Future work may extend this approach to larger Korean retrieval collections, long-document RAG settings, and end-to-end evaluation of generated answers.

How Environment Attributes of Streetscape Influences Pedestrians’ Heading Angle: A Study on Photo-Based Analysis

Chae, Jiwon 연세대학교 일반대학원 2026 국내석사

Pedestrians’ visual attention in multiple directions within the surrounding urban environment, not only toward the forward-facing view. Nevertheless, existing urban design research has predominantly focused on pedestrians’ frontal vision, while limited attention has been paid to whether pedestrians actually direct their visual interest toward side-focused view, even though many visually stimulating urban elements are located along the street edges. Examining the directions in which pedestrians truly exhibit visual attention, together with the environmental attributes that influence these directions, can provide important insights into urban design principles that shape pedestrians’ visual experiences. This study investigates pedestrians’ visual attention by analyzing the directions of photos taken by pedestrians in various urban spaces and examining the associated environmental attributes. Fifteen tourism-oriented sites were selected, and pedestrian-taken photographs were collected and curated from social media platforms. The photo-taking direction was defined as the dependent variable, while urban morphology, road width, and edge-related factors were specified as independent variables. Generalized Linear Models and scenario-based prediction analyses were conducted to examine the relationships between visual attention direction and environmental characteristics. The results indicate that pedestrians’ visual attention is not confined to the forward-facing direction aligned with movement, but is also prominently oriented toward lateral directions. Forward-focused visual attention was closely associated with regular grid-based urban patterns, sufficient sidewalk clear width, and the presence of landmarks. In contrast, side-focused visual attention showed significant associations with wider road widths, higher levels of ground-floor transparency, and an increased number of street furniture elements. These findings suggest that pedestrians’ visual attention extends beyond efficiency-oriented frontal vision toward active engagement with street edges and surrounding micro-scale elements. By interpreting pedestrians’ gaze direction as the combined outcome of structural street conditions, visual reference points, and micro-scale edge elements, this study empirically demonstrates that pedestrians’ visual pleasure can be systematically shaped by spatial context. In particular, in situations where modifying the structural conditions of streets is difficult in the short term, the edge-related elements identified in this study offer practical opportunities for designers to intervene in pedestrian environments and streetscape design. 보행자는 주변 도시 환경 속에서 전방뿐만 아니라 다양한 방향으로 시각적 관심을 보인다. 그럼에도 불구하고 기존 도시설계 연구는 주로 보행자의 전방 시야에 초점을 맞춰 진행되어 왔으며, 실제로 보행자의 시각을 자극하는 많은 요소들이 측면에 위치함에도 불구하고 해당 방향으로 보행자가 시각적 관심을 보이는지에 대한 논의는 상대적으로 제한적이었다. 보행자가 실제로 관심을 보이는 시선의 방향과, 이러한 시각적 관심에 영향을 미치는 환경적 속성을 함께 분석하는 것은 보행자의 시각적 경험을 유도하는 도시설계 원리를 이해하는 데 중요한 단서를 제공할 수 있다. 본 연구는 다양한 도시 공간에서 보행자가 촬영한 사진을 활용하여, 보행자의 시각적 관심을 사진 촬영 방향으로 측정하고, 이에 영향을 미치는 환경적 속성을 분석한다. 이를 위해 관광적 성격이 강한 15개 대상지를 선정하고, 소셜 미디어에서 보행자가 촬영한 사진을 수집·선별하였다. 분석에서는 사진의 촬영 방향을 종속변수로 설정하고, 도시 형태, 도로 폭, 가로 엣지 등을 독립변수로 구성하여 일반화 선형모형(GLM) 분석과 시나리오 기반 예측 분석을 수행하였다. 분석 결과, 보행자의 시각적 관심은 이동 방향과 일치하는 전방 시야에만 국한되지 않고, 측면을 향한 방향에서도 뚜렷하게 나타나는 것으로 확인되었다. 전방 집중형 시각적 관심은 규칙적인 그리드형 도시 패턴, 충분한 보도 유효 폭, 랜드마크의 존재와 밀접한 관련을 보였으며, 반면 측면 집중형 시각적 관심은 넓은 차로 폭, 높은 저층부 투명성, 그리고 스트리트 퍼니처 수의 증가와 유의한 관련성을 보였다. 이는 보행자의 시각적 관심이 이동 효율 중심의 전방 시야를 넘어, 가로의 엣지와 주변 미시적 요소로 적극적으로 확장됨을 시사한다. 본 연구는 보행자의 시선 방향을 가로의 구조적 조건, 시각적 기준점, 그리고 미시적 엣지 요소가 결합된 결과로 해석함으로써, 보행자의 시각적 즐거움이 공간적 맥락에 따라 체계적으로 형성될 수 있음을 실증적으로 제시한다. 특히 단기간에 가로의 구조적 조건을 변경하기 어려운 상황에서, 본 연구에서 도출된 엣지 요소들은 보행 환경 개선 및 가로 설계 과정에서 설계자가 비교적 현실적으로 개입할 수 있는 실천적 기초자료로 활용될 수 있을 것이다.

다국어 개방형 정보 추출을 위한 BERT 상단에서의 multi-head attention 활용

노영빈 고려대학교 대학원 2021 국내석사

Open information extraction (Open IE) systems generate a structured representation of information from unstructured natural language text. Since it does not rely on pre-defined ontology schema, Open IE has received attention as an useful tool for processing massive and heterogeneous corpus. In this paper, we propose a more effective and efficient Open IE system by combining multi-head attention blocks and Bidirectional Encoder Representations from Transformers (BERT). The model outperforms existing Open IE systems with high computational efficiency on two English benchmark evaluation datasets by replacing the previously used bidirectional long short-term memory (BiLSTM) architecture with multi-head attention. Additionally, we apply the proposed method to multilingual Open IE using multilingual BERT. Experimental results on new benchmark datasets introduced for two languages (Spanish and Portuguese) demonstrate that our model outperforms other multilingual systems without training data for the target languages.

Multi-head attention을 이용한 비지도 시계열 데이터 변수 선택 방법

공지환 연세대학교 대학원 2023 국내석사

In the data generated during the manufacturing process, the number of features increases with complexity of the process, while labeled data remains scarce. Consequently, issues such as the curse of dimensionality and the problem of having large predictors and a small number of data points (large p small n) arise. To address these challenges, various dimensionality reduction methods are employed. Within a manufacturing environment, unsupervised dimensionality reduction methods are widely utilized due to the limited availability of labeled data. However, applying structured data methods such as principal component analysis (PCA), independent component analysis (ICA), and variance threshold (VT) to manufacturing sites that generate time series data is challenging. Although autoencoder (AE) can be used to time series data, it fails to provide insight into which input features are important based on the extracted features. This paper proposes a novel unsupervised feature selection method that utilizes multi-head attention (MHA) to address the limitations of existing unsupervised dimensionality reduction techniques. The proposed model is an unsupervised method based on bidirectional long short term memory (BiLSTM) so that it can effectively learn from multivariate time series data even in the absence of labels. By extracting feature importance using MHA, the model demonstrates exceptional explanatory power for features, making it highly applicable in manufacturing environments. Experimental results using commercial modular aero-propulsion system simulation (C-MAPSS) data validate the efficacy of the proposed model in selecting important features from time series data. Moreover, the selected features were shown to significantly improve the performance of remaining useful life (RUL) prediction. 제조 공정에서 발생하는 데이터는 공정 복잡도가 높아짐에 따라 변수의 개수가 증가하며 labeled 데이터가 소량이기 때문에 curse of dimensionality, large predictors and a small number of data points (large p small n)와 같은 문제가 발생한다. 이를 해결하기 위해 다양한 dimensionality reduction 방법이 활용된다. 제조 환경에서는 labeled 데이터의 수가 적어 unsupervised dimensionality reduction 방법이 많이 활용되지만 principal component analysis (PCA), independent component analysis (ICA), variance threshold (VT)와 같은 방법은 정형 데이터를 위한 방법이기 때문에 시계열 데이터를 발생시키는 제조 현장에 적용하기 어려우며 autoencoder (AE)는 시계열 데이터에 적용 가능하나 추출된 변수를 통해 어떠한 입력 변수가 중요한지 설명하지 못한다는 단점이 있다. 본 논문에서는 기존 unsupervised dimensionality reduction 방법의 한계를 극복하기 위해 multi-head attention (MHA)을 이용한 unsupervised feature selection 방법을 제안한다. 제안된 모델은 bidirectional long short term memory (BiLSTM) 기반의 unsupervised 방법이기 때문에 label 없이 다변량 시계열 데이터를 학습할 수 있으며 MHA를 사용하여 변수 중요도를 추출하므로 변수에 대한 설명력이 뛰어나 제조 환경에서 활용성이 매우 높다. Commercial modular aero-propulsion system simulation (C-MAPSS) 데이터를 통해 실험한 결과, 제안 모델은 시계열 데이터의 중요 변수를 효과적으로 선별하였으며, 제안 모델을 통해 선별된 변수는 remaining useful life (RUL) 예측 성능 향상에 효과가 있는 것을 확인하였다.

Behavioral and Neural Correlates of Auditory Selective Attention

Lu, Hao ProQuest Dissertations & Theses University of Minn 2022 해외박사(DDOD)

소속기관이 구독 중이 아닌 경우 오후 4시부터 익일 오전 9시까지 원문보기가 가능합니다.

The human auditory system organizes incoming sounds into auditory streams, allowing us to selectively focus on one stream of interest against a background noise from other sources. While selectively attending to an auditory stream, listeners can exhibit behavior and neural responses correlated with their intent. This dissertation investigates both behavioral and neural correlates of auditory attention. In natural group conversation settings, we found that the listener’s head was generally oriented towards the target talker with a fixed undershoot, while their eye gaze accurately marked the location of the target talker. The relationship between attention to target talker and head and eye moments was unaffected by age, hearing loss or background noise level. The results have potential implications for future hearing aids with sound source selection basing on head and eye movements to improve signal-to-noise ratio (SNR) and speech intelligibility. Neural correlates of selective attention were examined at the level of responses to individual components within sequences of complex tones. These responses were elicited either via a probe tone that followed the end of a sequence of competing complex tones, or via the auditory steady-state response (ASSR) elicited during the ongoing tone sequences. Before analyzing the attentional effects, we conducted a systematic evaluation of pre-processing and quantification methods for envelope following responses (EFRs), including the ASSR. The most efficient method was also one of the simplest: the root-mean-square of the all-channel phase locking values (PLVs). Based on these findings, we tested the hypothesis, derived from the temporal coherence theory, that neural responses to individual frequency components within an attended stream should be enhanced by virtue of being temporally coherent with the object of auditory attention. In fact, neither the probe-tone nor the ASSR measure showed significant attentional modulation. The results suggest a form of hierarchical processing, whereby neural enhancement occurs at the level of objects, rather than individual components.

Evaluating and Modulating Time-specific Knowledge of Language Models in Multiple Domains

Yein Park 고려대학교 대학원 2026 국내석사

대규모 언어 모델은 우리 삶의 여러 측면에 큰 변화를 가져왔지만, 이들이 시간에 따라 축적 · 변화하는 연대기적 지식을 얼마나 잘 이해하고 있는지 평 가하고 보장하는 일은 여전히 도전적이다. 기존 접근법은 대개 지식을 하나의 고정된 시점에서만 바라보는 고정 시점 관점에 의존해, 지식의 시간적 적응성 및 변화를 충분히 다루지 못한다. 이 한계를 극복하기 위해, 본 논문에서는 다중 도메인, 시간 의존성, 시간 상태의 세 축에 걸쳐 연대기적으로 축적된 지식을 평가할 수 있도록 설계된 벤치마크 데이터셋인 ChroKnowBench를 제안한다. ChroKnowBench는 개 인 이력, 과학적 발견, 개정 법률처럼 시간이 지나며 변화하는 지식과, 수학적 진리나 상식처럼 시간에 따라 거의 변하지 않는 지식을 명시적으로 구분한다. 이를 기반으로, LLM의 비매개적 연대기 지식을 평가하기 위한 샘플링 기반 프 레임워크 ChroKnowledge (Chronological Categorization of Knowledge)를 제안한다. 실험 결과, (1) 모델이 학습한 데이터 형식에 따라 시간적 지식을 회 상하는 능력이 상이하며, (2) LLM은 시간축 전반의 모든 측면을 정확히 회상하 기보다는 특정 시점에서 지식 회상이 끊기거나 부분적으로만 회상하는 경향을 보이는 것을 확인하였다. 이러한 문제를 완화하기 위해, 주변 시점들을 단계적 으로 따라가며 시간축을 탐색하는 심층 프롬프팅 전략 ChroKnowPrompt를 제안하고, 이를 통해 오픈소스 및 상용 LLM 전반에서 동적 데이터셋과 비구 조적 포맷에 대한 어려움에도 불구하고 연대기적 지식을 보다 안정적으로 이끌어낼 수 있음을 보인다. 행동 수준에서의 평가를 넘어, 본 논문은 이러한 시간 특이적 지식이 LLM 내부에서 어디에, 어떤 형태로 표현되는지도 분석한다. 서킷 분석을 통해 주로 시간 정보를 담당하는 특정 어텐션 헤드인 Temporal Head를 발견하였다. Temporal Head는 여러 모델에 공통적으로 존재하지만, 그 위치는 모델마다 다를 수 있으며, 다루는 지식 유형과 연도에 따라 활성 패턴이 달라진다. 이들 헤드를 선택적으로 비활성화하면 시간 특이적 지식을 회상하는 능력이 뚜렷 하게 감소하는 반면, 시간 불변 지식이나 일반적인 질의응답 성능은 대부분 유지된다. 또한 Temporal Head는 “In 2004”와 같은 숫자 기반 표현뿐 아니라 “In the year . . . ”와 같은 서술형 표현에도 민감하게 반응하여, 단순한 숫자 인코딩을 넘어선 시간 차원을 내재하고 있음을 확인하였다. 마지막으로, 해당 헤드의 값을 조정함으로써 모델의 시간 관련 지식을 직접 조절 · 편집할 수 있음을 보이며, 시간 특이적 지식의 평가에서 나아가 내부 표현 수준에서의 지식 편집으로 이어지는 구체적인 경로를 제시한다. Large language models (LLMs) have brought significant changes to many aspects of our lives. However, assessing and ensuring their chronological, time-specific knowledge remains challenging. Existing approaches fall short in addressing the temporal adaptability of knowledge, often relying on a fixed time-point view. To overcome this, ChroKnowBench is introduced, which is a benchmark dataset designed to evaluate chronologically accumulated knowledge across three key aspects: multiple domains, time dependency, and temporal state. This benchmark distinguishes between knowledge that evolves (e.g., personal history, scientific discoveries, amended laws) and knowledge that remains constant (e.g., mathematical truths, commonsense facts). Building on this benchmark, ChroKnowledge (Chronological Categorization of Knowledge), a novel sampling-based framework for evaluating LLMs’ nonparametric chronological knowledge, is presented. The evaluation leads to the following observations: (2) LLMs partially recall knowledge or show a cut-off at temporal boundaries rather than recalling all aspects of knowledge correctly. To address this, ChroKnowPrompt, an in-depth prompting strategy that elicits chronological knowledge by traversing step-by-step through surrounding time spans, is presented and observes that it successfully recalls objects across both open-source and proprietary LLMs, demonstrating versatility despite challenges with dynamic datasets and unstructured formats. Beyond evaluation at the behavioral level, further investigation of where and how such time-specific knowledge is represented inside LLMs is done. Through circuit analysis, Temporal Heads, specific attention heads that primarily handle temporal knowledge is discovered. These heads are present across multiple models, though their exact locations may vary, and their responses differ depending on the type of knowledge and its corresponding years. Disabling these heads selectively degrades the model’s ability to recall timespecific knowledge while maintaining its general capabilities, without compromising time-invariant and question-answering performance. Moreover, these heads are activated not only by numeric conditions (“In 2004”) but also by textual aliases (“In the year . . . ”), indicating that they encode a temporal dimension beyond simple numerical representations. Lastly, temporal knowledge can be modulated by adjusting the values of these heads, highlighting a concrete pathway from evaluating time-specific knowledge to directly editing its internal representation.