인공지능 기반 미디어아트 창작을 위한 시각적 일관성 유지에 관한 연구 - 본인 민화 작품을 중심으로 - = A Study on Maintaining Visual Consistency for AI-Based Media Art Creation - Focusing on the Author’s Folk Painting Works -

다국어 초록 (Multilingual Abstract)

This dissertation proposes an integrated framework for AI-based media art creation grounded in Korean Minhwa (folk painting), spanning the full pipeline from dataset specification and local fine-tuning to visual consistency evaluation and image-to-video realization. Moving beyond model-centric performance comparisons, the study addresses a set of intertwined challenges that arise when generative AI is applied to art practice: copyright-sensitive data use, preservation of stylistic identity, and the need for reproducible creative research protocols. To respond to these challenges, the dissertation articulates a local training–centered workflow in which data provenance, training strategy, generation conditions, and evaluation criteria are explicitly connected as a single methodological system.
The study first frames copyright compliance and stylistic integrity as inseparable design constraints in generative AI media art. Whereas commercial models often limit transparency and user control over training data and may introduce uncertainty regarding rights attribution and unintended stylistic proximity, local fine-tuning enables creators to delimit the training corpus, document permissions, and operationalize a defensible scope of stylistic learning. Within this setting, the dissertation redefines visual consistency not as superficial resemblance, but as a multi-dimensional construct comprising formal consistency (palette, line quality, texture), structural consistency (composition, spatial organization, relative scale and placement), semantic consistency (iconographic relations and symbolic coherence), and temporal consistency (frame-to-frame stability in video). The work further discusses the practical problem of style drift during repeated generation and considers recent diffusion-based mechanisms that can improve set-level style alignment across varied scenes.
Next, the dissertation investigates image-to-image transformation as the core technical layer for Minhwa-based expansion, focusing on inpainting and outpainting for restoration, editing, and canvas extension, as well as conditional control methods that preserve composition and shape while allowing controlled stylistic variation. Building on this pipeline, the study conducts comparative image-to-video experiments through three technical approaches: Stable Video Diffusion (SVD), an AnimateDiff-centered multi-control workflow (combining image injection, IP-adapter style conditioning, and multiple ControlNets), and a final workflow based on Wan 2.2. Results show that SVD reliably produces subtle global motion such as camera-like movement but struggles to direct intended object-level actions. The multi-control AnimateDiff workflow achieves strong structural stability yet tends to inherit the underlying base model’s texture and realism, leading to outcomes resembling highly refined “imitations” rather than the “original” aesthetic. In contrast, the Wan 2.2–based workflow demonstrates stronger preservation of Minhwa’s planar stylistic qualities and color language while enabling narrative motion cues; however, stochastic variation across runs and occasional jitter at motion transitions remain as limitations.
Finally, the dissertation argues for a pragmatic hybrid workflow in which local models define the core stylistic identity and copyright-safe boundaries, while commercial models may be used selectively for auxiliary tasks such as ideation, reference generation, or post-processing—only under strict constraints on scope, logging, and provenance management. As future research directions, the dissertation proposes extending the framework toward interactive media art where audience input meaningfully maps onto generation parameters and narrative transitions. It also emphasizes an ethics- and regulation-aligned human–AI co-creation model, in which the artist specifies aesthetic rules, constraints, and evaluation criteria, while the model supports controlled exploration and iterative refinement. By integrating copyright-aware data practices, structured evaluation, and reproducible production protocols, this study contributes a methodological foundation for responsible, consistent, and expandable generative AI media art rooted in traditional painting.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1.1 연구 배경 및 목적 1
• 1.2 연구 의의 및 방법 5
• 1.3 논문의 구성 8
• Ⅱ. 인공지능 기반 작품의 저작권에 대한 고찰 12
• 2.1 생성형 인공지능의 데이터 이용 구조 및 저작권 한계 12
• 2.1.1 생성형 인공지능의 데이터 이용 구조 12
• 2.1.2 상용 모델 및 클라우드 환경의 데이터 보안통제 한계 16
• 2.2 저작권 보전 및 시각적 일관성 유지 관련 쟁점 18
• 2.2.1 전통 회화 기반 미디어아트 창작 사례 18
• 2.2.2 전통 회화 활용에서의 저작권 보전 및 일관성 유지 쟁점 23
• 2.3 로컬 학습 기반 프레임워크의 필요성 및 본 연구의 차별성 25
• Ⅲ. 인공지능 기반 이미지 생성 및 시각적 일관성 유지 기술 34
• 3.1 생성형 인공지능 모델의 발전 34
• 3.2 생성형 인공지능의 기술 원리와 미디어아트 활용 39
• 3.3 시각적 일관성 유지 기술 및 평가 기준 50
• 3.3.1 시각적 일관성의 개념 및 유지 기술 50
• 3.3.2 전통 민화 기반 시각적 일관성 평가 항목 도출 53
• 3.3.3 시각적 일관성 평가 모델 및 프로토콜 설계 61
• Ⅳ. 로컬 학습 기반 미디어아트 창작을 위한 프레임워크 설계 및 구현 67
• 4.1 저작권 보전을 위한 로컬 인공지능 학습 환경 설계 69
• 4.2 원본 민화 제작 및 데이터셋 구축 72
• 4.3 시각적 일관성 유지를 위한 로컬 파인튜닝 및 평가 83
• 4.4 민화의 조형적 확장 및 시각적 일관성 유지 프로세스 구현 92
• 4.4.1 텍스트-투-이미지 기반 민화 이미지 생성 93
• 4.4.2 인페인팅 기반 민화 이미지 변형 95
• 4.4.3 아웃페인팅 기반 민화 이미지 확장 104
• 4.4.4 업스케일링 기반 고해상도 프레임 확장 112
• 4.5 민화의 서사적 확장 및 시각적 일관성 분석 121
• Ⅴ. 시각적 일관성 유지 프레임워크를 적용한 미디어아트 창작 139
• 5.1 연구자의 민화 작품 <모던 책거리> 개요 및 제작 과정 139
• 5.1.1 작품 개요 및 작가적 의도 139
• 5.1.2 선묘채색구성 등 작품 제작 과정 140
• 5.2 로컬 학습 기반 프레임워크를 적용한 미디어아트 창작 결과 143
• 5.2.1 조형적 확장 및 서사적 애니메이션 제작 143
• 5.2.2 작품의 예술공학적 의의 및 해석 146
• 5.3 프레임워크 관점의 시사점 및 확장 가능성 150
• Ⅵ. 결론 156
• 참고문헌 161
• Abstract 167