인간 질문 메커니즘 기반 인공지능 프레임워크: 생성, 분석, 평가를 중심으로 = AI Framework Inspired by Human Questioning: Generation, Analysis, and Evaluation

국문 초록 (Abstract)

현대 인공지능(AI)은 괄목할 만한 발전을 이루었으나, 대부분 특정 과업 수행에 최적화된 반응적 시스템으로, 인간과 같은 깊이 있는 이해나 능동적인 질문을 통해 지적 협력자로 기능하는 데에는 한계를 보인다.

본 연구는 이러한 문제의식에서 출발하여 인간 지능에서 핵심적인 역할을 하는 '질문하는 능력'을 인공지능의 맥락에서 재조명하고, 질문 행동을 인간-인공지능간 인지적 정렬의 매개체로 활용한다. 이를 통해 인공지능이 단순한 도구를 넘어 인간과 함께 탐구하고 협력하는 존재로 발전하기 위한 '질문 중심 패러다임'으로의 전환을 제안한다.

이를 위해 인지과학적 통찰을 바탕으로 인간의 질문 생성 메커니즘을 분석하고 인공지능 시스템에서의 질문 생성, 분석, 평가를 위한 체계적인 프레임워크를 구축하였다. 이 과정에서 지식화와 이해, 적용, 분석, 평가, 창출의 인지적 위계를 따라 질문이라는 대상을 체계적으로 탐구하였다.

구체적으로, ▲ 질문의 본질과 관련 인지 과정을 탐구하여 다차원적 질문 분류 체계(KCQ 분류)를 개발하였고(제 3 장), ▲ 불확실한 상황에서 인공지능의 효과적인 질문 생성을 위한 CAUS 데이터셋을 구축하였으며(제 4 장), ▲ 인간의 내러티브 이해 방식을 반영한 질문 분석 기반 CogME 평가 프레임워크를 통해 인공지능의 이해 능력 측정 프로세스를 개선하였고(제 5 장), ▲ 생성된 질문의 품질을 객관적으로 평가하기 위한 루브릭 기반 평가 방법론을 개발하였다(제 6 장). 나아가, ▲ 인공지능 모델이 질문 창출을 통해 사용자의 비판적 사고와 탐구를 지원하는 에이전트로서 기능할 수 있는 시나리오를 제시하였다(제 7 장).

본 연구는 질문이라는 지능적 행위를 중심으로 인공지능의 새로운 가능성을 탐색함으로써, 인간과 인공지능 간의 진정한 인지적 정렬과 상호보완적 협력을 실현하기 위한 이론적·실천적 토대를 마련하고자 한다. 궁극적으로 '질문 중심 인공지능'은 인공지능 기술을 더욱 이해 가능하고 신뢰할 수 있으며, 인간의 지적 활동을 확장하는 협력적 파트너로 발전시키는 데 기여할 것이다.

다국어 초록 (Multilingual Abstract)

Despite considerable advancements, current artificial intelligence (AI) systems are still largely reactive for the optimization of specific tasks. They lack the profound comprehension and proactive questioning capabilities required to function as intellectual collaborators.

This study reimagines AI through the lens of questioning—a core element of human intelligence—and proposes a paradigm shift toward 'question-centric AI.' This approach emphasizes questioning behavior as a bridge for aligning human and machine intelligence, thereby transforming AI from simple answering tools into collaborative entities that engage and work alongside humans.

Drawing on cognitive science insights, we examined the mechanisms behind human question generation and developed a structured framework for generating, analyzing, and evaluating questions within AI systems. This investigation was based on questioning through a cognitive hierarchy that included remembering, understanding, application, analysis, evaluation, and creation.

Specifically, this study ▲ developed a multidimensional knowledge-cognition-question (KCQ) classification system by investigating the nature and cognitive processes of questioning (Chapter 3); ▲ constructed the Curious About Uncertain Scene (CAUS) dataset for effective AI question generation in uncertain situations (Chapter 4); ▲ enhanced AI comprehension measurement through the question analysis-based CogME evaluation framework that reflects human narrative understanding (Chapter 5); ▲ developed a rubric-based methodology for objective quality assessment of generated questions (Chapter 6); and ▲ presented scenarios in which AI models can function as agents supporting users' critical thinking and inquiry through question creation (Chapter 7).

This research lays the groundwork for both theoretical and practical approaches to achieve genuine cognitive alignment and collaborative synergy between humans and AI by examining the intellectual process of questioning. In the end, 'question-centric AI' will contribute to making AI technology more understandable, trustworthy, and capable of functioning as a collaborative partner that extends human intellectual activities.

목차 (Table of Contents)

• 제 1 장 서론 1
• 1.1 인간 지능과 인공지능의 공존 2
• 1.1.1 인간 지능 대 인공지능 4
• 1.1.2 인간-인공지능간 인지적 정렬 6
• 1.2 질문 기반 에이전트에 대한 요구 7
• 1.2.1 질문 기반 기술 논의의 장애물 10
• 1.2.2 질문 탐구의 체계적 접근 10
• 1.3 논문의 구성 11
• 1.4 주요 연구 질문 14
• 1.5 연구 범위 설정과 연구 방법 14
• 1.6 논문의 의의 및 독창성 15
• 1.7 Thesis Statement 17
• 제 2 장 이론적 배경 18
• 2.1 인공지능의 정의 18
• 2.2 인공지능의 발달과 인지과학 21
• 2.2.1 인공지능과 인지과학의 태동과 공생적 발전 21
• 2.2.2 현대 인공지능의 발전: 딥러닝과 빅데이터 23
• 2.2.3 생성 인공지능의 등장과 새로운 도전 24
• 2.2.4 인간-인공지능 상호작용의 새로운 측면 25
• 2.3 인간 지능과 인공지능 27
• 2.3.1 인공지능의 다면적 접근으로의 진화 30
• 2.4 인공지능 평가 방법론의 진화 31
• 2.4.1 튜링 테스트의 변천사와 현대적 의의 31
• 2.4.2 새로운 평가 방법론에 대한 요구 35
• 2.5 질문에 관한 이론적 배경 43
• 2.5.1 질문의 정의와 다면적 특성 43
• 2.5.2 질문의 종류 43
• 2.5.3 연구에서 활용하는 질문의 범위 47
• 제 3 장 질문 이해: 질문의 인지과학 및 분류체계 50
• 3.1 서론 50
• 3.1.1 질문하는 에이전트에 대한 연구들 52
• 3.1.2 좋은 질문에 대한 연구들 53
• 3.2 불확실성 해소의 인지과정 54
• 3.2.1 호기심의 인지과학 55
• 3.2.2 질문 생성의 과정 56
• 3.3 질문의 분류 58
• 3.3.1 질문 과정에 따른 다차원 분류 59
• 3.3.2 시나리오별 질문 분류 활용 예시 64
• 3.4 논의 67
• 제 4 장 질문 적용: 정보 탐색 질문 생성 및 분류 사례 연구 69
• 4.1 서론 69
• 4.2 질문 생성 및 분류 사례 연구: CAUS 데이터세트 71
• 4.2.1 데이터세트 제작 72
• 4.2.2 데이터세트 생성 및 질문 분류 79
• 4.2.3 데이터세트 평가 81
• 4.3 논의 83
• 제 5 장 질문 분석: 인공지능 모델의 이해 성능 측정 질문 분석 86
• 5.1 서론 86
• 5.1.1 인공지능의 내러티브 이해 87
• 5.1.2 인간의 내러티브 이해 87
• 5.1.3 내러티브 이해에 관한 인지과학 연구 88
• 5.1.4 기계지능의 내러티브 이해와 평가 89
• 5.2 CogME: 인간 인지 기반 다면적 평가 프레임워크 제안 90
• 5.2.1 비디오 이해 역량 평가를 위한 하위 요소 선정 93
• 5.3 평가 사례 연구: DramaQA 벤치마크에의 적용 99
• 5.3.1 DramaQA 데이터세트와 질문 분석 전략 99
• 5.3.2 배점과 채점 103
• 5.3.3 모델 수행 평가 결과 104
• 5.4 논의 109
• 제 6 장 질문 평가: 루브릭 기반 질문 품질 평가 112
• 6.1 서론 112
• 6.1.1 질문 평가의 난점 112
• 6.1.2 질문 평가의 필요성 114
• 6.1.3 좋은 질문에 관한 연구들 114
• 6.1.4 질문 평가의 특성 117
• 6.2 평가 전략 수립 119
• 6.2.1 평가 범위 및 좋은 질문의 정의 119
• 6.2.2 좋은 질문의 평가 항목 설정 123
• 6.3 질문 평가 루브릭의 설정과 평가 자동화 124
• 6.3.1 질문 품질 평가용 루브릭 설정 124
• 6.3.2 루브릭 기반 평가 자동화 128
• 6.4 질문 평가 사례 연구 129
• 6.4.1 평가 지표의 기초 검증 129
• 6.4.2 적절성, 효과성을 확보한 질문에의 적용: CAUS데이터세트 132
• 6.4.3 적절성, 효과성이 떨어지는 질문에의 적용: SQUARE데이터세트 134
• 6.5 논의 137
• 제 7 장 질문 창출: 질문 기반 사용자 지원 에이전트 시나리오 140
• 7.1 서론 140
• 7.1.1 인식적 호기심의 두 유형: I-type 과 D-type 142
• 7.1.2 인공지능 모델의 응답 성향과 인간의 의존성 문제 143
• 7.1.3 질문 기반 에이전트의 잠재력과 구현의 실제 145
• 7.2 질문 기반 에이전트 시나리오 147
• 7.3 에이전트 시나리오 적용 사례 검토 152
• 7.4 논의 160
• 제 8 장 종합 논의 163
• 8.1 연구의 의의 165
• 8.2 주요 연구 성과 166
• 8.3 연구의 한계점 168
• 8.3.1 질문 발생 맥락의 제한 168
• 8.3.2 사용 모델의 제한 169
• 8.3.3 프레임워크 적용성 169
• 8.3.4 에이전트 구현 및 운영 170
• 8.4 향후 연구 제안 170
• 8.4.1 연구 범위의 확장 170
• 8.4.2 인공지능 평가 방법론의 고도화 171
• 8.4.3 질문 기반 에이전트의 실질적 구현 171
• 8.4.4 질문 기반 기술의 안전성 확보 172
• 8.4.5 인간-인공지능 관계의 본질에 대한 장기적 탐구 172
• 제 9 장 결론 174
• References 176
• 부록 A CAUS 데이터세트 관련 프롬프트 201
• A.1 데이터세트 작성 프롬프트 201
• A.2 질문 분류 프롬프트 204
• A.3 불확실성 유형에 따른 데이터 구성 207
• 부록 B CogME 분석 관련 데이터 210B.1 모델 정답률에 대한 CogME 기반 분석 210
• 부록 C 질문 품질 평가 프롬프트와 평가 결과 211
• C.1 질문 평가 시스템 프롬프트 211
• C.2 기초 검증 질문 평가 212
• C.2.1 불확실성 해소 목적 설정 212
• C.2.2 사회적 상호작용 목적 설정 216
• C.3 질문 벤치마크 평가 사례 222
• C.3.1 CAUS 데이터세트 222
• C.3.2 SQAURE 데이터세트 226
• Abstract 234