Stable Diffusion은 텍스트 프롬프트를 기반으로 이미지를 생성하는 AI 모델이며, WebUI를 활용하면 다양한 설정을 조정하여 원하는 스타일의 이미지를 얻을 수 있습니다. 특히, LoRA (Low-Rank Adaptation) 기술을 사용하면 특정 캐릭터나 스타일을 모델에 학습시켜 더욱 정밀한 커스터마이징이 가능합니다.
이번 가이드에서는 Stable Diffusion WebUI에서 LoRA를 활용해 캐릭터 커스터마이징하는 방법을 단계별로 설명하겠습니다.
1. LoRA란 무엇인가?
LoRA는 모델의 가중치를 최소한으로 조정하여 새로운 스타일이나 특정 캐릭터를 학습시키는 방법입니다. 기존 모델을 그대로 유지하면서 추가적인 정보를 반영할 수 있어 적은 리소스로도 효과적인 학습이 가능합니다.
LoRA의 장점:
- 기존 모델보다 가벼운 학습 방식
- 원본 모델을 유지하면서 추가적인 학습 가능
- 다양한 스타일과 캐릭터 적용 가능
2. LoRA 모델 다운로드 및 적용 방법
Stable Diffusion WebUI에서 LoRA를 활용하려면 먼저 적절한 LoRA 모델을 다운로드해야 합니다.
(1) LoRA 모델 다운로드
다음과 같은 사이트에서 원하는 캐릭터 또는 스타일의 LoRA 모델을 찾을 수 있습니다.
다운로드한 .safetensors 파일을 Stable Diffusion WebUI의 models/Lora/ 폴더에 저장합니다.
(2) WebUI에서 LoRA 적용하기
- Stable Diffusion WebUI를 실행합니다.
- txt2img 또는 img2img 탭으로 이동합니다.
- 프롬프트 입력창 하단의 LoRA 버튼을 클릭합니다.
- 다운로드한 LoRA 모델을 선택하고 가중치를 조절합니다.
- 예제:
<lora:캐릭터이름:0.8>(0.8은 가중치, 숫자가 클수록 강한 효과)
- 예제:
3. LoRA를 활용한 캐릭터 커스터마이징 프롬프트 예제
LoRA를 사용하여 원하는 캐릭터를 생성하려면 적절한 프롬프트를 설정해야 합니다.
- 기본 프롬프트 예제
masterpiece, best quality, ultra-detailed, (anime style:1.2), full body, solo, smiling, beautiful lighting, dynamic pose
<lora:character_name:0.8>
네거티브 프롬프트 예제
low quality, blurry, extra fingers, disfigured, bad anatomy, watermark - 특정 스타일 적용 예제
masterpiece, best quality, (cyberpunk style:1.3), neon lights, futuristic city background
<lora:cyberpunk_character:0.7>
4. LoRA 학습을 직접 해보고 싶다면? (커스텀 LoRA 제작)
기존 LoRA 모델을 활용하는 것 외에도, 직접 특정 캐릭터를 학습시켜 자신만의 LoRA 모델을 만들 수도 있습니다.
(1) 학습 준비
- 필요한 이미지 10~20장을 준비 (다양한 각도와 포즈)
- WebUI의
kohya_ssLoRA 학습 스크립트 설치 - 적절한 학습 설정을 조정하여 학습 시작
(2) 학습 후 결과 확인
- 생성된 LoRA 모델을 WebUI에 적용하여 테스트
- 프롬프트를 조정하며 원하는 스타일을 조율
5. 결론
Stable Diffusion WebUI에서 LoRA를 활용하면 원하는 캐릭터를 손쉽게 커스터마이징할 수 있습니다. 이미 학습된 LoRA 모델을 활용하는 것뿐만 아니라, 직접 LoRA 모델을 학습하여 자신만의 캐릭터를 만들 수도 있습니다.
추천 링크:
