이미지 생성형 AI의 LoRA 미세조정을 활용한 일러스트레이션 제작 연구 = A Study on Illustration Development Using LoRA Fine-Tuning of Image-Generative AI

국문 초록 (Abstract)

ChatGPT, Stable Diffusion 등 멀티모달 AI의 급속한 발전은 시각예술 및 디자인 분야의 창작 환경에 근본적인 변화를 불러오고 있다. 본 연구는 이미지 생성형 AI가 일러스트레이션 분야에서 창작 도구로서 어떻게 활용될 수 있는지, 전통적 창작과 AI 기반 창작의 경계가 어떻게 재정의되고 있는지, 그리고 그 가능성과 한계를 탐구한다. 연구자는 Stable Diffusion 기반의 LoRA(Low-Rank Adaptation) 기술을 중심으로, 사례 조사와 실험, 최종 작품 제작을 진행했다. 본 연구는 연구자 본인의 기존 일러스트레이션 작업 스타일과 관습을 이미지 생성형 AI의 산출 방식과 연결하여, ‘일러스트레이션’과 ‘AI 창작물’의 경계에 있는 작업을 실험하고 이를 통해 창작의 정의와 의미 변화를 조명한다.
초반 장에서는 연구의 배경, 목적과 의의, 주요 용어 및 구성에 관해 서술했다. 이어지는 기술 개요에서는 최근 널리 사용되고 있는 이미지 생성형 AI의 기반이 되는 Latent Diffusion Model과 미세조정 방식 중 하나인 LoRA(Low-Rank Adaptation) 기술에 대해 다루고, LoRA 학습이 이미지 생성의 흐름에 미치는 영향과 활용 방안을 분석한다. 사례 조사에서는 LoRA 모델을 사용한 프로젝트의 사용 목적, 효용성, 경향, 사용 환경 등을 조사하기 위해 서면 설문을 진행하였다.
이후의 실험 파트에서는 연구자의 작업 관습과 스타일을 반영한 LoRA 모델을 제작하고, 이를 기반으로 <실험1>부터 <실험3>까지 진행하여 출력물의 시각적 특성과 재현도를 평가한다. 최종적으로 연구자는 연구자의 기존 작업 관습 중 하나인 Stranger의 스타일을 반영한 입력물을 기반으로 str9blk0rb라는 LoRA 모델을 제작하고, GPT-4o와의 프롬프트 작성을 통해 FLUX.1에서 재현도 높은 출력을 진행할 수 있었다. 마지막으로 str9blk0rb의 입력물과 출력물, 프롬프트 등을 Image-to-Video AI인 Higgsfield를 통하여 영상 형태로 엮었다. 이러한 과정에서 연구자의 과거 도시 풍경에 남은 기억과 GPT-4o의 공상, LoRA의 입출력이 어떻게 상호작용하는지, 그리고 그 의의가 무엇인지 고찰한다.
결론적으로 본 연구는 이미지 생성형 AI와 LoRA 미세조정 방식이 일러스트레이션 분야에서 창작 방식의 확장을 제안함과 동시에, AI의 출력 그 자체가 아니라 그것을 가능하게 한 의도와 맥락이 예술 행위의 본질에 더 가까움을 시사한다. 또한 최종 제작한 작품 str9blk0rb은 LoRA 학습의 목적을 달성했으나 그 LoRA 모델의 용도가 제한적이다. 일러스트레이션 실무에서 LoRA 학습을 사용하기 위해서는 LoRA 학습 성능과 경향, 입력물 스타일을 검토하여 미세조정의 목표를 신중히 설정해야 할 것이다.

다국어 초록 (Multilingual Abstract)

The rapid advancement of multimodal AI is fundamentally transforming the creative environment in the field of visual art and design. This study explores the use of image-generative AI as a creative tool for illustration, examines how it redefines the boundaries between traditional and AI-based creative practices, and evaluates its potential and limitations. Focusing on Low-Rank Adaptation(LoRA) fine-tuning within Stable Diffusion, the study includes case studies, experiments, and the production of a final artwork.
Through the process, the researcher integrated their illustration style with image-generating mechanisms and examined how the meaning and definition of creation are shifting at the boundary between illustration and AI-generated work. The technical overview outlines the technical aspects and backgrounds of Latent Diffusion Models and LoRA fine-tuning, while the case studies analyze the practical applications and effectiveness of LoRA. Throughout three experiments the researcher evaluated the visual consistency, style reproduction, and practical applicability of the LoRA model reflecting the researcher’s artistic practices.
The final outcome is a LoRA model “str9blk0rb”, fine-tuned using researcher’s “Stranger” style and was combined with GPT-4o to produce consistent outputs in FLUX. These outputs were then composed into a video format using the Image-to-Video AI tool Higgsfield. The artwork visually explores the interaction between the researcher’s memories, AI imagination, and LoRA outputs.
In conclusion, the research argues that the essence of artistic creation lies not in the output, but in the human creator’s intention and the context in which the work is made. Even with successful stylistic reproduction, AI-generated images remain incomplete without human intention and context. The final work, str9blk0rb, fulfills the technical goals of LoRA fine-tuning but also reveals its limitations in terms of practical application. During the integration of LoRA fine-tuning in illustration workflows, one should carefully consider the tendencies, performance, and input style to define the objectives of fine-tuning.

목차 (Table of Contents)

• 제 1 장 서론 1
• 제 1 절 연구 배경 1
• 제 2 절 연구 목적과 의의 6
• 제 3 절 연구 구성 10
• 제 4 절 용어 13
• 제 2 장 이미지 생성형 AI와 LoRA의 기술 개요 14
• 제 1 절 Latent Diffusion Model의 기술 개요 14
• 제 2 절 LoRA(Low-Rank Adaptation)의 기술 개요 17
• 제 3 장 이미지 생성형 AI에서의 LoRA 사례 조사 18
• 제 1 절 김진성 18
• 제 2 절 여승호 20
• 제 4 장 <실험1> Pixelated Characters 22
• 제 1 절 Pixelated Characters – 그래픽 형식으로서의 픽셀 22
• 제 2 절 <실험1-1> 실험 설계, 입력물 제작과 출력물 평가 26
• 제 3 절 <실험1-2> 입력과 출력물 평가 32
• 제 4 절 <실험1-3> 입력과 출력물 평가 37
• 제 5 장 <실험2> Shapes & Expressions 45
• 제 1 절 Shapes & Expressions – 추상 도형과 표정 45
• 제 2 절 <실험2> 실험 설계와 입력물 제작 49
• 제 3 절 출력물 평가 69
• 제 6 장 <실험3> Black and White Portraits 71
• 제 1 절 Black and white Portraits – 흑백 인물화 71
• 제 2 절 <실험3-1> 실험 설계, 입력물 제작과 출력물 평가 75
• 제 3 절 <실험3-2> 입력과 출력물 평가 87
• 제 7 장 작품 연구 – str9blk0rb 103
• 제 1 절 작품 제작과 구성 103
• 제 2 절 Stranger 스타일과 캐릭터 디자인 106
• 제 3 절 IPAdapter와 ControlNet을 통한 배경 제작 116
• 제 4 절 캐릭터 드로잉 제작 124
• 제 5 절 LoRA 모델 제작과 출력 126
• 제 6 절 GPT-4o을 활용한 프롬프트 작성과 출력 145
• 제 7 절 최종 작품 구성과 영상 제작 149
• 제 8 절 작품 전시 154
• 제 8 장 결론 157
• 제 1 절 최종 작품 str9blk0rb에 관하여 157
• 제 2 절 창작 과정에 관하여 159
• 제 3 절 기술적 평가와 일러스트레이션 창작의 의의 161
• 참고문헌 162
• Abstract 167