생성형 AI를 활용한 ESG 서류검토 자동화 시스템의 개발 = Development of an Automated ESG Document Review System Using Generative AI

국문 초록 (Abstract)

글로벌 경영 환경에서 지속가능성의 중요성이 대두됨에 따라, 환경(Environmental), 사회(Social), 지배구조(Governance)와 같은 비재무적 요소들이 기업의 장기적 성공을 결정짓는 핵심 변수로 부각되고 있다. 특히, 2024년 4월 유럽의회에서 ‘EU 공급망 실사 지침(Corporate Sustainability Due Diligence Directive, CSDDD)’이 가결됨에 따라, 공급망 전반에 걸친 인권 및 환경 실사가 의무화되면서 이러한 트렌드가 더욱 가속화되고 있다. 이에 따라 글로벌 기업들은 물론, 국내 대기업을 중심으로 협력업체에 대한 ESG 평가와 관리의 중요성이 대두되고 있으며, 신속하고 정확한 평가를 위해 기업 간 다양한 논의가 이루어지고 있다.
ESG 평가 프로세스는 서류검토, 현장 실사, 결과 집계, 개선 방안 수립, 보고서 작성 등 복잡한 단계로 구성되어 있다. 특히 서류검토 단계에서는 다양한 형식의 문서 해석이 요구되어 많은 시간과 인적 자원이 소요되며, 서류검토 과정 중 검토자의 주관적 판단이 개입될 여지가 있어, 평가의 일관성과 객관성 확보에 어려움이 있다. 이러한 문제점들은 ESG 평가에 대한 신뢰성과 실효성을 저해할 뿐만 아니라, 향후 기업이 공급망 관리체계를 구축하고 실행하는 데 있어 중대한 장애요인으로 작용할 수 있다. 이에 본 연구에서는 거대 언어 모델(Large Language Model, LLM), 검색 증강 생성(Retrieval-Augmented Generation, RAG), 광학 문자 인식(Optical Character Recognition, OCR) 기술을 통합적으로 활용하여 ESG 관련 서류를 자동으로 검토하는 시스템을 구현하였다.
개발된 시스템의 주요 특징은 다음과 같다. 먼저, RAG 프로세스에는 레이아웃 분석 알고리즘과 재순위화(re-ranking) 알고리즘, 다양한 프롬프팅 기법 등을 적용하여 검색 성능과 답변 생성의 품질을 개선하였으며, OCR 프로세스에는 다중 이미지 전처리 알고리즘과 하이브리드 정보 추출 모델 등을 적용하여 텍스트 인식의 정확도를 높였다. 또한, 각 알고리즘과 프롬프팅 기법의 효과를 정확하게 평가하고 최적의 조합을 도출하기 위해, 케이스별 성능 평가 결과를 기반으로 비교 분석을 수행하였다. 그 결과, 재순위화 알고리즘과 Pseudo-Code 기반의 Pythonic Prompting을 적용한 RAG 프로세스가 연관 정보 검색(HIT RATE@3: 0.99, MAP@3: 0.95) 및 LLM 답변 정확도(Accuracy: 0.98)에서 가장 우수한 성능을 나타냈다. 한편, OCR 프로세스에서는 다중 이미지 전처리 알고리즘과 Tesseract 추가 학습, LLM을 활용한 하이브리드 정보 추출 모델을 동시에 적용했을 때 가장 높은 텍스트 인식 정확도(Accuracy: 0.98)를 기록하였으며, 특히 다중 이미지 전처리 알고리즘이 OCR 성능 향상에 가장 큰 기여를 한 것으로 확인되었다.
본 연구에서 개발된 시스템의 최종 성능을 고려할 때, 향후 서류검토 자동화 시스템이 ESG 평가 과정에서 인간 평가자를 효과적으로 보조할 수 있을 것으로 예상된다. 이러한 시스템은 ESG 평가의 일관성과 객관성을 크게 향상시키는 동시에, 자체적으로 공급망 관리 및 지속가능성 이니셔티브를 실행하는 기업이 업무에 필요한 인적, 물적 자원을 절감하는데 기여할 수 있을 것이다. 본 연구는 ESG 평가 자동화의 가능성을 확인한 초기 연구로서, 실무적으로는 평가 프로세스의 효율성 증대와 비용 절감 효과를 기대할 수 있으며, 학문적으로는 인공지능 기반 서류검토 기술의 적용 가능성을 검증하고 향후 연구의 기초를 제공한다는 점에서 중요한 의의를 가진다.

목차 (Table of Contents)

• 초록 i
• ABSTRACT iv
• 목차 iii
• 표 목차 x
• 그림 목차 xi
• 1장. 서론 1
• 1.1 연구 배경 1
• 1.1.1기후변화와 ESG 경영의 부상 1
• 1.1.2 ESG 평가프로세스 개선의 필요성 2
• 1.2 연구 범위 및 목적 3
• 1.3 논문의 구성 3
• 2장. 이론적 배경 5
• 2.1 ESG 평가 모형 5
• 2.2 거대 언어 모델(Large Language Model) 7
• 2.2.1 접근 방식에 따른 모델 유형 7
• 2.2.2 최적화 및 경량화 기술 8
• 2.3 검색 증강 생성(Retrieval-Augmented Generation) 10
• 2.3.1 RAG 프로세스 10
• 2.3.2 RAG의 기술적 한계 14
• 2.3.3 오케스트레이션 프레임워크(Orchestration Framework) 15
• 2.4 광학 문자 인식(Optical Character Recognition) 16
• 2.4.1 OCR 프로세스 17
• 2.4.2 OCR 의 기술적 한계 20
• 2.4.3 OCR엔진 21
• 3장. 실험 설계 23
• 3.1 실험 환경 23
• 3.2 실험 대상 선정 23
• 3.3 데이터 수집 및 샘플링 24
• 4장. 서류검토 자동화 시스템 25
• 4.1 RAG를 활용한 서류검토 자동화 시스템 25
• 4.1.1 레이아웃 분석 알고리즘 25
• 4.1.2 계층적 텍스트 분할 26
• 4.1.3 앙상블 검색기 28
• 4.1.4 재순위화 알고리즘 29
• 4.1.5 프롬프트 엔지니어링 30
• 4.1.6 RAG시스템 구현 33
• 4.2 OCR을 활용한 서류검토 자동화 시스템 35
• 4.2.1 다중 전처리 기법 35
• 4.2.2 OCR 엔진 Fine-tuning 36
• 4.2.3 하이브리드 정보 추출 38
• 4.2.4 OCR 시스템 구현 40
• 5장. 실험 결과 42
• 6장. 결론 및 향후 과제 47
• 6.1 결론 47
• 6.2 향후 과제 48
• 참고문헌 50