Stable Diffusion

Stable Diffusion은 이미지 생성 모델 중에서도 가장 핵심적인 위치를 차지하고 있는 오픈소스 모델이다.
2022년에 처음 나왔고, Stability AI라는 기업에서 만들었다.

대기업들의 폐쇄형 모델을 제외하고 오픈소스 모델 중에서는 압도적인 위치를 차지하고 있다. 성능도 가장 좋고, 속도도 빠르다.

단, 무료이긴 한데, 이건 비상업용에 한정한 것이다. 상업용으로 사용하려면 비용을 내야 한다.

동작 원리

Stable Diffusion의 크게 3가지 부분으로 나뉜다.
실행 순서대로 CLIP, UNet, VAE(Variational Auto Encoder)다.

첫번째, CLIP(Contrastive Language-Image Pre-training)은 유저의 텍스트를 받아서 모델 내부에서 이해할 수 있는 벡터 임베딩으로 변환하는 역할을 한다. 벡터의 차원(길이)은 모델마다 다르나, 보통 768이나 1024 정도다.
CLIP에서 만들어진 벡터는 UNet으로 전달돼서 이미지 생성을 위한 입력값으로 사용된다.

UNet은 CLIP이 만든 벡터 값을 받아서 이미지 생성을 시작한다.
모델답게 동작 방식 자체는 정형적이지 않다. 굳이 설명을 하자면, "랜덤 노이즈"를 최초 한번 초기화한 다음에, 계속해서 루프를 돌면서 노이즈를 줄인다.
이 노이즈를 줄이는 것 자체가 사전 학습된 패턴에 따라서 벡터 입력을 기반으로 수행되는 것이고, 노이즈가 충분히 줄어들었다고 판단하면 노이즈가 최소화된 결과물을 다음 스텝인 VAE에 넘기는 것이다.

사람이 그리는 것처럼 도화지에서 그려나가는게 아니라, 더러운 낙서판에 지우개와 연필을 써서 그림을 완성하는 셈이다.

VAE(Variational Auto Encoder)는 UNet의 결과물을 받아서 진짜 이미지(PNG) 등으로 변환하는 역할을 한다.
구체적으로 예를 들면, UNet이 64×64×4 크기의 압축된 latent 표현을 VAE에 던지면, VAE Decoder는 그걸 512×512×3 크기의 실제 픽셀 이미지로 변환한다.
실제로 만들어지는 이미지 크기에 비해서 UNet에서 연산하는 이미지의 크기는 매우 작은 편이고, 그래서 약간의 손실이 있을 수는 있지만 속도를 빠르게 끌어올릴 수 있는 구조를 얻을 수 있었다.

로컬에서 사용해보기

StableDiffusion은 오픈 모델이기 때문에, 그냥 자유롭게 누구나 다운받아서 사용할 수 있다.
GPU가 없어도 실행은 할 수 있지만 몇분 정도로 느리다.

uv와 python을 써서 간단하게 실행을 해보겠다.
필요한 종속성은 다음과 같다. uv pyproject다.

[project]
name = "just-test"
version = "0.1.0"
description = "Add your description here"
readme = "README.md"
requires-python = ">=3.13"
dependencies = [
    "diffusers>=0.30.0",
    "torch>=2.0.0",
    "transformers>=4.30.0",
    "accelerate>=0.20.0",
    "safetensors>=0.3.0",
    "pillow>=10.0.0",
]

코드는 다음과 같다.

from diffusers import StableDiffusionPipeline
import torch
from datetime import datetime

<br>

def main():
    print("=== Stable Diffusion CPU 테스트 ===\n")

    print("1. 모델 로딩 중... (첫 실행 시 4-5GB 다운로드됩니다)")
    print("   경량 모델 사용: runwayml/stable-diffusion-v1-5")

    # CPU용 모델 로드
    pipe = StableDiffusionPipeline.from_pretrained(
        "runwayml/stable-diffusion-v1-5",
        torch_dtype=torch.float32,  # CPU는 float32 사용
        safety_checker=None,  # 속도 향상을 위해 safety checker 비활성화
        use_auth_token=False,  # 인증 없이 공개 모델 사용
    )
    pipe = pipe.to("cpu")

    # 메모리 최적화
    pipe.enable_attention_slicing()

    print("✓ 모델 로딩 완료!\n")

    # 프롬프트
    prompt = "a serene mountain landscape at sunset, beautiful colors, digital art, highly detailed"

    print(f"2. 이미지 생성 중...")
    print(f"   프롬프트: {prompt}")
    print(f"   해상도: 512x512")

    start_time = datetime.now()

    # 이미지 생성
    image = pipe(
        prompt,
        height=512,
        width=512,
        num_inference_steps=20,  # 속도를 위해 줄임
        guidance_scale=7.5,
    ).images[0]

    end_time = datetime.now()
    elapsed = (end_time - start_time).total_seconds()

    # 저장
    output_filename = f"output_{datetime.now().strftime('%Y%m%d_%H%M%S')}.png"
    image.save(output_filename)

    print(f"✓ 생성 완료!")
    print(f"   소요 시간: {elapsed:.1f}초 ({elapsed / 60:.1f}분)")
    print(f"   저장 위치: {output_filename}")

<br>

if __name__ == "__main__":
    main()

위와 같이 프롬프트를 넣고 실행하면

조금 걸려서 이렇게 이미지를 만들어준다.

참조
https://aws.amazon.com/ko/what-is/stable-diffusion/
https://medium.com/@onkarmishra/stable-diffusion-explained-1f101284484d
https://en.wikipedia.org/wiki/Stable_Diffusion