프로그래밍 행동 데이터의 비정형 응답 정제를 통한 성취도 예측 성능 향상 = Enhancing Achievement Prediction Performance through Refinement of Programming Behavior Data

국문 초록 (Abstract)

본 연구는 프로그래밍 과제 수행 과정에서 발생하는 비정형 행동을 정밀하게 탐지하고, 이를 기반으로 데이터를 정제(Refinement)하여 성취도 예측 모델의 타당성을 제고하는 데 목적이 있다. 이를 위해 실제 대학 프로그래밍 강좌에서 수집된 프로그램 행동단위 수준(Keystroke-level)의 로그 데이터를 분석하였으며, 기존의 단순 빈도 기반 분석이 갖는 한계를 극복하기 위해 탐지 지표를 고도화하였다.
연구 방법은 다음과 같다. 첫째, 붙여넣기(Paste) 행동을 정교하게 식별하기 위해 전체 코드 작성량 대비 실질적인 기여분을 산출하는 ‘붙여넣기 기여율’과 자발적 입력 비율인 ‘타이핑 반영률’을 새로운 지표로 정의하였다. 둘째, 전사(Transcription) 행동을 탐지하기 위해 편집 거리의 단순 변화가 아닌, 타이핑 버스트가 정답에 수렴하는지 혹은 탐색적인지를 구분하는 ‘방향성(Directionality)’ 지표를 도입하였다. 셋째, 이러한 고도화된 특성을 기반으로 규칙 기반 모델과 머신러닝(XGBoost) 모델을 구축하여 비정형 응답을 분류하였다.
연구 결과, 개발된 모델을 통해 비정형 행동을 식별하고 정제했을 때, 성취도 예측 모델의 설명력(Adj. )이 모든 집단에서 일관되게 향상됨을 확인하였다. 이는 본 연구에서 제안한 고도화된 행동 지표와 데이터 정제 방법론이 학습자의 실제 역량을 왜곡하는 노이즈(Noise)를 효과적으로 제거하고, 성취도 평가의 정확성을 높이는 데 기여함을 시사한다.

다국어 초록 (Multilingual Abstract)

This study aims to enhance the validity of achievement prediction models by precisely detecting anomalous behaviors occurring during programming assignments and refining the data based on these detections. To this end, keystroke-level log data collected from actual university programming courses were analyzed, and detection indices were advanced to overcome the limitations of existing simple frequency-based analyses.
Specifically, the research methods are as follows: First, to precisely identify pasting behaviors, new indices were defined: 'Paste Contribution,'which calculates the substantial contribution of pasting to the total code length, and 'Typed Token Ratio,'which measures the proportion of self-generated input. Second, to detect 'Transcription' behaviors, a 'Directionality' index was introduced to distinguish whether typing bursts converge toward the correct answer or are exploratory, rather than relying on simple changes in edit distance. Third, based on these advanced features, rule-based models and machine learning(XGBoost) models were constructed to classify anomalous responses.
The results showed that when anomalous behaviors were identified and the data was refined using the developed models, the explanatory power(Adj. ) of the achievement prediction model consistently improved across all groups. This suggests that the advanced behavioral indices and data refinement methodology proposed in this study effectively remove noise that distorts the assessment of learners' actual competence and contribute to enhancing the accuracy of achievement evaluation.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1. 연구의 배경 및 필요성 1
• 2. 연구 목표 3
• Ⅱ. 이론적 배경 5
• 1. 데이터 기반 프로그래밍 교육의 주요 연구 주제 5
• 2. 프로그래밍 행동 데이터 기반 성취도 예측의 발전과 과제 6
• 가. 행동 데이터 기반 예측 모델의 고도화 6
• 나. 비직관적 상관관계 발견과 비정형 행동 탐지의 필요성 8
• 3. 비정형 프로그래밍 행동 10
• 가. 비정형 프로그래밍 행동의 정의 10
• 나. 비정형 프로그래밍 행동의 패턴 12
• 다. 비정형 프로그래밍 행동의 탐지 15
• 4. 비정형 프로그래밍 행동과 성취도 예측과의 관계 17
• Ⅲ. 연구 방법 19
• 1. 데이터와 환경 19
• 가. 데이터 수집 환경 19
• 나. 데이터 수집 플랫폼 20
• 다. 수집 데이터 24
• 2. 데이터 전처리 26
• 3. 예비 연구 절차 : 선행 연구 재현을 통한 비정형성의 확인 29
• 가. 선행 연구 기반 특성 추출 및 재현 29
• 나. 성취도 집단 구분 및 분포 분석 30
• 다. 성취도 예측 베이스라인 모델 수립 31
• 4. 비정형 응답 분류 모델 개발 연구 절차 33
• 가. 행동 특성의 정의 34
• 나. 유의미한 행동 특성의 검정과 선별 41
• 다. 비정형 행동 분류 모델 개발 46
• 5. 비정형 응답 정제 효과 검증 절차 48
• 가. 데이터 정제 및 변수 재산출 48
• 나. 선행 예측 모델 기반 설명력 검증 48
• 다. 단순 예측 모델 기반 타당성 검증 49
• Ⅳ. 예비 연구: 선행 연구 재현을 통한 비정형성 확인 51
• 1. 선형 연구의 특성 분포 51
• 2. 성취 집단 별 주요 특성 분포 54
• 3. 성취도 예측 베이스라인 모델 도출 결과 56
• Ⅴ. 비정형 분류 모델 개발 59
• 1. 비정형 붙여넣기 분류 모델 59
• 가. 외부 붙여넣기 행동 특성의 유의도 검정 59
• 나. 선별된 붙여넣기 행동 특성의 분포 60
• 다. 분류 모델 구축 62
• 라. 분류 모델의 적용 65
• 2. 비정형 전사 행동 분류 모델 66
• 가. 특성의 유의도 검정 66
• 나. 전사 행동 특성 사이의 상관관계 68
• 다. 분류 모델 구현 69
• Ⅵ. 비정형 응답 정제 효과 검증 73
• 1. 데이터 정제 및 변수 재산출 73
• 2. 선행 예측 모델 기반의 설명력 검증 74
• 3. 단순 예측 모델 기반의 성취도 예측 타당성 검증 77
• 가. 과제 점수와 성취도 간의 정합성 검증 77
• 나. 저성취 학습자 탐지 성능 평가 80
• Ⅶ. 논의 83
• 1. 비정형 행동 탐지 지표의 고도화 및 인지적 의도 분석 83
• 2. 비정형 행동의 집단별 분포 및 성취 역량 왜곡 분석 84
• 3. 데이터 정제를 통한 성취도 예측의 타당성 및 설명력 회복 85
• 4. 저성취 학습자 분류 성능 개선 및 실질적 기여 86
• Ⅷ. 결론 및 제언 88
• 1. 연구 요약 및 시사점 88
• 2. 연구의 한계 91
• 3. 향후 연구를 위한 제언 92