LLM 기반 미세 조정을 활용한 질의 필터 모델 구축 기법 : 기업 생성형 AI 서비스를 대상으로

국문 초록 (Abstract)

본 연구는 기업 생성형 AI 서비스의 도입 과정에서 발생할 수 있는
보안 및 비용 문제를 해결하기 위해, 기업 맞춤형 질의 필터 모델을
구축하는 기법을 제안한다. 생성형 AI 서비스 사용 시 외부 언어모델에
기업의 민감 정보가 포함된 질의가 유입될 경우 정보 유출 위험이
존재하며, 비업무성 질의로 인한 비용 낭비 또한 우려된다. 이를 해결하기
위해 본 연구에서는 사내 정책 기반의 데이터 수집, 라벨링, 그리고 미세
조정을 통한 질의 필터 모델 학습 절차를 제안하였다. 특히, 기업 도입
단계에 따라 사전 개념 증명, 도입 및 개선, 파이프라인 운영의 세 단계로
나누어 각 단계별 모델 구축 방안을 제시하였으며, 사전 개념 증명 모델을
실제로 구현하여 성능을 검증하였다. 실험 결과, 제안한 질의 필터 모델은
키워드 기반 분류기 대비 17.9% 향상된 정확도(96.13%)를 보이며, 기업
실무 환경에서의 실효성을 입증하였다. 본 연구는 생성형 AI 서비스를
도입하는 기업에게 보안성과 효율성을 동시에 확보할 수 있는 실용적
기준을 제시한다는 점에서 의의가 있다.

목차 (Table of Contents)

• 초록 .................................................................................................................... i
• ABSTRACT .................................................................................................... iii
• 감사의 글 .......................................................................................................... v
• 목차 .................................................................................................................. vi
• 표 목차 ............................................................................................................. ix
• 그림 목차 ....................................................................................................... xii
• 1 장. 서론 ............................................................................................... 1
• 1.1 연구 배경 .......................................................................................... 1
• 1.2 연구 필요성 ...................................................................................... 2
• 2 장. 관련 연구 및 동향 ................................................................................... 5
• 2.1 관련 연구 .......................................................................................... 5
• 2.1.1 데이터 라벨링 ..................................................................... 5
• 2.1.2 프롬프트 엔지니어링 ......................................................... 6
• 2.1.3 미세 조정 ............................................................................. 7
• 2.2 질의 필터링 ...................................................................................... 8
• 2.2.1 개요 ...................................................................................... 8
• 2.2.2 질의 필터 기술 동향 ......................................................... 10
• 3 장. 질의 필터 모델 구축 기법 .................................................................... 12
• 3.1 도입 단계별 구축 기법 .................................................................. 12
• 3.1.1 사전 개념 증명 단계 ......................................................... 16
• 3.1.2 도입 및 개선 단계 ............................................................. 20
• 3.1.3 파이프라인 구축 단계 ...................................................... 24
• 3.2 사전 개념 증명 모델 설계 ............................................................. 26
• 3.2.1 데이터 정의 및 준비 ......................................................... 27
• 3.2.2 데이터 라벨 분류 .............................................................. 30
• 3.2.3 질의 필터 모델 학습 기법 ................................................ 31
• 4 장. 실험 데이터 수집 및 처리 .................................................................... 32
• 4.1 데이터 수집 및 증강 ...................................................................... 32
• 4.1.1 웹 크롤링을 이용한 데이터셋 수집 ................................ 33
• 4.1.2 키워드를 이용한 합성 데이터셋 증강 ............................ 37
• 4.1.3 실무자 인터뷰를 통한 데이터셋 수집 ............................ 40
• 4.2 데이터 라벨링 및 검수 .................................................................. 41
• 4.2.1 데이터 라벨링 ................................................................... 42
• 4.2.2 라벨링 결과 검수 .............................................................. 43
• 4.3 데이터 전처리 ................................................................................ 53
• 5 장. 실험 모델 학습 및 평가 ........................................................................ 56
• 5.1 사전 학습 모델 선정 및 실험 환경 구축 ...................................... 56
• 5.2 미세 조정 학습 및 성능 평가 ........................................................ 58
• 5.3 기존 방식과 비교 및 앙상블 ......................................................... 63
• 6 장. 결론 및 향후 연구 ................................................................................. 67
• 6.1 연구 요약 및 시사점 ...................................................................... 67
• 6.2 한계 및 향후 연구 과제 ................................................................. 68
• 참고문헌 ......................................................................................................... 70