Florence-2 모델의 이미지 캡셔닝 성능 향상을 위한 객체 속성 기반 시각 피드백 및 캡션 재작성 프레임워크

국문 초록 (Abstract)

본 논문은 온디바이스 환경에 적합한 경량 이미지 캡셔닝 모델의 환각 문제를 완화하기 위해, 초기 캡션 기반 이미지 재생성과 시각 정합성 비교를 활용한 자기 정제 프레임워크를 제안한다. 학습 없이 소형 모델만으로 구현된 본 파이프라인은 객체 존재, 속성, 위치 기반 보상과 다양한 하이퍼파라미터 실험을 포함한다. 그 결과, 정합성 중심으로 재정의한 CHAIR 지표에서 유의미한 환각 감소와 품질 향상이 확인되었다.