실시간 공유화면 AI 분석을 통한 온라인 코딩 시험 부정행위 탐지 시스템 = Online coding test plagiarism detection system by real time AI-based sharing screen analysis

국문 초록 (Abstract)

COVID-19 펜데믹 이후 온라인 코딩 테스트가 보편화 되면서, 기존 시험 환경과 다 른 온라인 시험 환경에서의 공정성 확보를 위한 부정행위 탐지 연구가 다수 진행되었 다. 최근, 생성형 AI(ChatGPT 등)의 발달로 인해 이를 활용한 AI 기반 부정행위가 급증 하고 있으나, 기존의 안면 인식 및 시선 추적 등의 생체 정보 기반 탐지 방법은 AI 도 구 사용을 실시간으로 포착하는 데 한계가 존재한다. 이에, 본 논문에서는 응시자의 화 면을 공유하고, 화면 내 텍스트를 실시간으로 분석하는 것으로 생성형 AI 사용을 탐지 하는 모델을 제안하고, 기존 연구들에서 제시한 부정행위 방지 및 탐지 기술과 융합하 여 온라인 코딩 시험을 위한 통합 관리 시스템을 구현하였다. 제안 시스템은 OCR 기 술로 화면 내 텍스트를 추출하고, 사전 학습된 BERT 모델을 통해 텍스트를 3가지 유 형으로 분류하는 문맥 분석 기반 부정행위 탐지 모델과 키워드 기반 부정행위 탐지 모델을 합친 앙상블 모델을 활용하는 것으로 AI 기반 부정행위를 탐지한다. 본 연구는 별도의 설치 없이 웹 환경에서 동작 가능한 범용적 솔루션을 제시하며, 신원 인증, 실 시간 탐지 및 사후 분석을 결합하여 시험 전, 시험 중, 시험 후의 전 주기에 걸쳐 온라 인 코딩 테스트 환경에서의 부정행위에 효과적으로 대응할 수 있는 새로운 접근법을 제안한다.

다국어 초록 (Multilingual Abstract)

As online coding tests have become more common since the COVID-19 pandemic, a number of fraud detection studies have been conducted to secure fairness in online test environments that are different from existing test environments. Recently, due to the development of Generative AI (ChatGPT, etc.), AI-based cheating using it is increasing rapidly, but existing biometric information-based detection methods such as facial recognition and gaze tracking have limitations in capturing the use of AI tools in real time. Therefore, in this paper, a model for detecting the use of Generative AI by sharing the applicant's screen and analyzing the text in the screen in real time was proposed, and an integrated management system for online coding tests was implemented by fusion with the fraud prevention and detection technology suggested in existing studies.
The proposed system detects AI-based cheating by using an ensemble model that combines a text analysis model and a keyword-based analysis model that extracts in-screen text with OCR technology and classifies text into three types through a pre-trained BERT model. This study presents a universal solution that can operate in a web environment without a separate installation, and proposes a novel approach that combines identity authentication, real-time detection, and post-analysis to effectively respond to cheating in an online coding test environment over the entire cycle before, during, and after testing.

목차 (Table of Contents)

• I. 서론 1
• II. 배경지식 3
• 1. 온라인 시험환경 3
• 2. AI 기반 부정행위 8
• 3. 핵심 기술 10
• III. 제안 기법 12
• 1. 실시간 온라인 코딩테스트 환경 구축 13
• 2. 화면 분석 모듈 18
• 3. AI 부정행위 탐지 모듈 22
• 4. 기존 시스템 적용 27
• IV. 실험 결과 29
• 1. 실험 환경 29
• 2. 데이터 셋 29
• 3. 실험 결과 및 분석 32
• V. 결론 34