실제적 문제해결에서 집단 크기가 인간-AI 상호작용과 학습에 미치는 영향 = The Effect of Group Size on Human?AI Interaction and Learning in Authentic Problem Solving|RISS 상세보기

다국어 초록 (Multilingual Abstract)

In a future society characterized by uncertainty and unpredictability, fostering problem-solving competence to respond flexibly to complex situations is essential. However, the issue of knowledge acquired in school remaining as inert knowledge, failing to transfer to real-world contexts, has been raised as a serious concern. Accordingly, many educational scholars have emphasized the importance of authentic problem solving, which enables students to effectively apply and utilize knowledge outside the school environment. Authentic problems resemble real-world issues due to their high ill-structured nature, authenticity, and openness; however, their high complexity often leads to difficulties in problem solving. To mitigate these difficulties, solving problems through collaboration is crucial. Recently, technological advancements have expanded the scope of collaboration to include human-AI collaboration, leading to an increasing number of cases where humans and AI form teams to solve problems. However, research on how to configure human-AI teams for effective learning remains insufficient. If learning proceeds without consideration of team composition, inefficient or ineffective interactions and learning processes may recur.
Therefore, this study aims to examine the effects on interaction and learning by manipulating the number of human participants (one, two, and three) in a context where humans solve authentic problems with AI, and to identify the effective group size for learning. The research questions are as follows: First, What are the differences in human-AI team interactions across different group sizes? Second, How do learning and problem-solving outcomes of human-AI teams differ by group size? Third, How do learners perceive the human-AI interaction and the group size in human–AI teaming?
To address these research questions, experimental research was conducted. The participants were 55 undergraduate and graduate students aged 18 or older, who were randomly assigned to three groups (1-person, 2-person, and 3-person groups). Pre-tests were conducted on factors that could affect interaction to ensure homogeneity among groups. Learners were assigned the task of 'writing a policy proposal to address economic slowdown caused by an aging population' and were allowed to use ChatGPT during the problem-solving process.
To analyze the quantity and patterns of human-AI interaction during the problem-solving process, this study utilized an interaction analysis framework consisting of prompting (information seeking, monitoring, result generation), AI response reviewing, AI response copying, outlining, as well as result drafting, reviewing, and revising. The problem solution writing and pre/post-knowledge tests were evaluated based on the developed rubric. To statistically identify differences between groups in the collected quantitative data, non-parametric tests such as the Kruskal-Wallis test, Mann–Whitney U, Wilcoxon signed-rank test, Friedman test, and Spearman correlation analysis, as well as Repeated Measures ANOVA, were used. In addition, interviews were conducted with all participants to investigate their perceptions of human-AI interaction and the impact of group size on learning and problem solving. The interview results were analyzed using thematic analysis.
The experimental results showed partial differences in human-AI interaction and learning depending on group size. According to descriptive statistics, the 1-person group spent more time on total prompting, result generation prompting, and copying AI responses in the first third of the problem-solving process compared to other groups. Also, the one-person group initiated result-sheet generation prompting earlier than the other two groups, and nearly half of the learners entered the assignment text verbatim into the AI to request a generated output. In contrast, the 2-person and 3-person groups spent considerable time in the first third refining outlines through human-to-human discussion, and the AI was also used for this purpose of outline refinement.
Epistemic Network Analysis (ENA) of interaction patterns also confirmed differences between groups. The 1-person group showed strong connections between AI answer copying and result-related behaviors in the early and middle phases, entering the main result drafting phase faster than other groups. The 2-person and 3-person groups showed strong connections between outline drafting and monitoring behaviors. The 2-person group showed strong connections between result generation prompting and monitoring behaviors entering the middle phase, indicating they used AI for result generation from the middle phase onwards. However, the 3-person group maintained stronger connections between outline drafting and monitoring until the middle phase compared to the 2-person group, resulting in the latest transition to the main result drafting phase. This was because the larger group size required more time to coordinate opinions among members. Additionally, an imbalance in the proportion of speaking time among learners appeared in the 3-person group. Considering the characteristic of multi-person groups where AI input prompts are decided through discussion and consensus, learners with low speaking proportions participated less in the prompt decision process, which may have limited their human-AI interaction.
Regarding the knowledge test, all three groups showed an increase in post-test scores compared to pre-test scores, with the 2-person group showing the largest change, but the difference between groups was not statistically significant. In the evaluation of problem solution
writing results, scores were highest in the order of 2-person, 3-person, and 1-person groups, with a statistically significant difference between the 2-person and 1-person groups. The 2-person group was effective in maximizing the benefits of multi-person groups—such as joint review of AI responses and solutions, mutual monitoring of opinions, and emotional exchange—while preventing issues of indiscriminate acceptance of AI and coordination costs. In learner interviews, the 2-person group was most frequently mentioned as the most effective group for learning and problem solving. Conversely, the 1-person group was perceived as unfavorable for learning and problem solving due to the occurrence of dependence on AI, which negatively affects learning, and the absence of a partner to jointly review AI responses. The 3-person group was appreciated for hearing diverse opinions, but concerns were identified regarding the time and effort required for coordination and the potential for free riders.
Meanwhile, most learners perceived AI as a passive tool that performs tasks only upon human request, rather than as a teammate. Positive aspects, such as AI aiding cognitive offloading and expansive thinking, were raised alongside negative aspects, such as inducing metacognitive laziness and standardized answers. As a result of correlation analysis between knowledge test changes/problem solution writing scores and time ratios by interaction behavior, in the 1-person group, higher time spent on total prompting and result generation prompting correlated with lower knowledge acquisition and problem-solving scores. This implies that uncritical reliance on AI can negatively affect learning and problem solving. However, such correlations did not appear in the 2-person and 3-person groups. In multi-person groups, human-to-human discussion appeared to prevent dependence on AI and uncritical acceptance of AI. This suggests that the same interaction behavior can have different effects on learning and problem solving depending on group size.
This study identified the effective group size for solving authentic problems using AI by analyzing interaction and learning according to group size. It holds theoretical significance in deriving the characteristics of group composition necessary to minimize the side effects and maximize the effects of AI. It also has practical significance in establishing the foundation for designing adaptive learning environments in educational settings by analyzing not just the learning results but also the process.

번역하기

국문 초록 (Abstract)

불확실성과 예측 불가능성으로 대표되는 미래 사회에서는 복잡한 상황에 유연하게 대응하는 문제해결 역량의 함양이 필수적이다. 하지만 학교에서 배운 지식이 실제 현실로 전이되지 않고 비활성화 지식으로 남는 문제가 심각하게 거론되고 있다. 이에 많은 교육학자들은 학생들이 학교 밖에서도 지식을 효과적으로 적용하고 활용할 수 있는 실제적 문제해결의 중요성을 설파하였다. 실제적 문제는 비구조성, 실제성, 개방성이 높아 현실의 문제와 닮아 있지만 높은 복잡성으로 인해 문제해결에 어려움이 발생하기도 한다. 이러한 어려움을 완화하기 위해서는 협력을 통해 문제를 해결하는 것이 중요하다. 최근에는 기술의 발달로 협력의 범위가 인간과 AI의 협력으로까지 확장되었고 인간과 AI가 팀을 이루어 문제를 해결하는 사례가 늘고 있다. 하지만 효과적인 학습을 위해 인간-AI 팀을 어떻게 구성해야 하는 지에 대한 연구는 미비한 실정이다. 팀 구성에 대한 고려없이 학습이 진행된다면 비효율적이거나 비효과적인 상호작용과 학습이 반복될 수 있다.
이에 본 연구는 인간이 AI와 함께 실제적 문제를 해결하는 상황에서 인간 참여자 수를 1명, 2명, 3명으로 조정함으로써 상호작용과 학습에 미치는 영향을 확인하고 학습에 효과적인 집단 크기를 규명하는 것을 목적으로 한다. 이를 위한 연구 문제는 다음과 같다. 첫째, 집단 크기에 따라 인간-AI 팀의 상호작용에 차이가 있는가? 둘째, 집단 크기에 따라 인간-AI 팀의 학습과 문제해결에 차이가 있는가? 셋째, 인간-AI 상호작용과 인간-AI 팀의 집단 크기에 대한 학습자의 인식은 어떠한가?
위와 같은 연구 문제를 해결하기 위해 실험 연구를 실시하였다. 실험 참여자들은 만 18세 이상의 대학생 및 대학원생으로 구성된 55명이며, 세 집단(1인·2인·3인 집단)에 무선 할당되었다. 상호작용에 영향을 줄 수 있는 요소들에 대한 사전 검사를 진행하고 집단 간 동질성을 충족시키고자 하였다. 학습자들은 ‘고령화로 인한 경제 성장 둔화를 해결하는 정책 제안서 작성’이라는 문제를 부여받았으며 문제해결 과정에서 ChatGPT를 사용할 수 있었다.
문제해결 과정에서 나타나는 인간-AI 상호작용 양과 패턴을 분석하기 위해 정보 탐색·점검·결과지 생성 프롬프팅, AI 답변 점검, AI 답변 복사, 개요 작성, 결과지 작성·점검·수정으로 구성된 상호작용 분석틀을 사용하였다. 문제해결안과 사전 사후 지식 검사는 개발된 평가 기준표를 바탕으로 평가되었다. 수집된 양적 자료들의 집단 간 차이를 통계적으로 확인하기 위해 Kruskal-Wallis, Mann–Whitney U, Wilcoxon signed-rank test, Friedman test, Spearman correlation analysis과 같은 비모수 검정법과 Repeated Measures ANOVA을 사용하였다. 또한 모든 참여자들을 대상으로 면담을 실시하여 인간과 AI의 상호작용, 집단 크기가 학습과 문제해결에 미치는 영향에 대한 인식을 조사하였다. 면담 결과는 주제 분석 방법을 통해 분석되었다.
실험 결과, 집단 크기에 따라 인간-AI 상호작용과 학습에 부분적으로 차이가 나타났다. 기술 통계에 따르면 1인 집단은 문제해결 전반부에 전체 프롬프팅, 결과지 생성 프롬프팅, AI 답변 복사에 사용한 시간이 다른 집단들보다 높게 나타났다. 또한 1인 집단은 결과지 생성 프롬프팅을 최초로 사용하는 시점이 다른 두 집단에 비해 빨랐으며 절반에 달하는 학습자가 과제지 내용을 그대로 AI에 입력하여 결과지를 요청하기도 하였다. 반면, 2인 집단과 3인 집단은 전반부에 인간 간 논의를 통해 개요를 구체화하는 데 시간을 많이 사용했으며, AI도 이러한 개요 구체화 목적으로 사용되었다.
인식연결망분석(epistemic network analysis, 이하 ENA)을 통한 상호작용 패턴 분석 결과에서도 집단별 차이가 확인되었다. 1인 집단은 문제해결 전반부와 중반부에 AI 답변 복사를 기점으로 한 결과지 관련 행동과의 연결이 강하게 나타났으며, 다른 집단보다 빠르게 본격적인 결과지 작업에 돌입하는 모습을 보였다. 2인 집단과 3인 집단은 개요 작성과 이를 점검하는 행동 간 연결이 강하게 나타났다. 2인 집단은 중반부에 들어서 결과지 생성 프롬프팅과 이를 점검하는 행동 간 연결이 강하게 나타나며 중반부부터 AI를 결과지 생성 목적으로 사용한 것으로 나타났다. 하지만 3인 집단은 중반부까지 개요 작성과 이를 점검하는 행동 간 연결이 2인 집단보다 더 강하게 나타나며 본격적인 결과지 작업으로의 전환이 가장 늦게 이루어졌다. 이는 집단 크기가 커서 구성원 간 의견을 조율하는 데 시간이 더 들었기 때문이다. 또한 3인 집단에서는 학습자들 간 발화 시간 비중의 불균형도 나타났다. 다인 집단에서 AI 입력 프롬프트를 학습자 간 논의와 합의를 통해 결정한다는 특성을 고려했을 때, 발화 비중이 낮은 학습자는 프롬프트 결정 과정에 덜 참여함으로써 인간-AI 상호작용 또한 제한되었을 수 있다.
지식 검사 결과, 세 집단 모두 사전에 비해 사후 점수가 증가하였으며 2인 집단이 가장 많은 변화량을 보였으나 집단 간 차이가 통계적으로 유의미하지 않았다. 문제해결안 평가 결과에서는 2인, 3인, 1인 순으로 점수가 높게 나타났으며 2인 집단과 1인 집단의 차이가 통계적으로 유의미하였다. 2인 집단은 다인 집단이 가지는 AI 답변과 문제해결 내용에 대한 공동 검토, 서로 의견에 대한 상호 점검, 정서적 교류 등에 대한 이점을 극대화하면서도 AI에 대한 무분별한 수용, 의사소통 비용 문제를 방지하는 데 효과적인 집단이었다. 학습자들 면담 결과에서도 2인 집단은 학습과 문제해결에 가장 효과적인 집단으로 가장 많이 언급되었다. 반면, 1인 집단은 AI에 대한 의존이 발생하여 학습에 부정적인 영향을 끼치고, AI 답변을 같이 검토할 주체가 부재하다는 점에서 학습과 문제해결에 좋지 않을 것이라고 인식되었다. 3인 집단은 더 다양한 의견을 들을 수 있는 점이 좋지만 의견 조율에 대한 시간과 노력이 들며, 무임승차자가 발생할 수 있다는 우려가 확인되었다. 한편, 대부분의 학습자들은 AI를 팀원이라기보다는 인간의 요청이 있어야만 작업을 수행하는 수동적인 도구로 인식하였다. 또한 AI가 학습자의 인지적 경감과 확장적 사고를 도와준다는 긍정적 측면이 있는 동시에 메타인지적 게으름과 표준화된 답변을 유발한다는 부정적 측면도 함께 제기되었다.
지식 검사 변화량과 문제해결안 점수를 상호작용 행동별 시간 비율과 상관분석한 결과, 1인 집단에서 전체 프롬프팅과 결과지 생성 프롬프팅 시간이 높을수록 지식 습득량과 문제해결안 점수가 낮아졌다. 이는 무비판적인 AI 사용과 AI에 대한 인지적 의존이 학습과 문제해결에 부정적으로 작용할 수 있음을 의미한다. 반면, 2인 집단과 3인 집단에서는 이러한 상관 관계가 나타나지 않았다. 다인 집단의 경우 인간 간 논의를 통해 AI에 대한 의존과 무비판적 수용을 방지하는 모습을 보였다. 이는 동일한 상호작용 행동도 집단 크기에 따라 학습과 문제해결에 미치는 영향이 다를 수 있음을 시사한다.
본 연구는 집단 크기에 따른 상호작용과 학습을 분석하여 AI를 활용하여 실제적 문제를 해결하는 상황에서 효과적인 집단 크기를 밝혔다. AI의 부작용을 최소화하고 효과를 극대화하기 위해 필요한 집단 구성의 특성을 도출했다는 점에서 이론적 의의를 가진다. 또한 단순히 학습 결과만을 비교한 것이 아니라 과정을 함께 분석하여 교육 현장의 적응적 학습 환경 설계에 필요한 기반을 마련했다는 점에서 실천적 의의가 있다.

번역하기

불확실성과 예측 불가능성으로 대표되는 미래 사회에서는 복잡한 상황에 유연하게 대응하는 문제해결 역량의 함양이 필수적이다. 하지만 학교에서 배운 지식이 실제 현실로 전이되지 않고 ...

목차 (Table of Contents)