생성 모델 - 이미지 - 디퓨전 모델(Diffusion models)

(개념) 데이터에 여러 단계에 거쳐 노이즈를 추가하는 확산 과정을 거친 뒤, 이를 복구하는 과정을 통해 이미지를 생성하는 모델

 

- 여러 단계에 걸쳐 작은 가우시안 노이즈(평균 𝜇과 표준 편차 𝜎를 따르는 정규 분포)를 더해가면서 최종적으로 완전한 노이즈를 얻게 되고, 단계별로 노이즈가 적용된 여러 이미지들이 주어져 있으므로, 노이즈로부터 이미지를 복원하는 디노이징(denoisiong)을 수행하는 과정에서 새로운 이미지를 생성하는 모델 

 

 

이미지 픽셀에 Diffusion 적용하기

 

Image에 적용한 Diffusion

 

 

이미지의 Forward Diffusion Process : 이미지 x 0 로부터 모든 픽셀값에 시간 t마다 Noise를 첨가해주는 Process

이미지의 Reverse Diffusion Process : 시간 t 마다 이미지 픽셀값에 첨가된 Noise 값을 계산할 수 있다면 Noise 이미지 x T  로부터 진짜 이미지 x 0 로 되돌리는 것이 가능

 

Diffusion Model Architecture

 

 

스테이블 디퓨전(Stable Diffusion) 아키텍처

 

GLIGEN Architecture

 

 

Loss Function

Diffusion Model Loss Function

 

 

 

(장점) 텍스트 설명에 따라 이미지를 생성하는데 특화되어 있으며, 모델을 Fine-tuning하여 더 효과적인 결과 출력 가능 

 

(단점) Diffusion 모델을 단독으로 학습하여 구축하는 데 상당한 컴퓨팅 파워와 시간·비용이 요구되어, 사전학습된 모델을 사용하여Fine-Tuning을 진행하는 경우가 대부분임

 

 

https://ffighting.net/deep-learning-paper-review/diffusion-model/diffusion-model-basic/

Diffusion Model 설명 - 기초부터 응용까지