[용어] Normalizing flows

단순한 확률분포(예: 가우시안)를 복잡한 데이터 분포로 바꿔주는 가역(invertible) 변환을 학습하는 생성 모델

 

핵심 원리

• 단순한 기저 분포에서 샘플을 뽑고, 학습된 가역 함수를 여러 층 거쳐 복잡한 분포의 샘플로 변환합니다.
• 변환이 가역적이고 미분 가능하므로 변수변환 공식(야코비안 행렬식)으로 정확한 우도(likelihood)를 계산할 수 있습니다.
• 대표 구조로는 NICE, RealNVP, Glow, MAF, neural spline flows 등이 있습니다.

GAN, diffusion과의 차이

	Normalizing flows	GAN	Diffusion
우도	정확히 계산 가능	계산 불가	근사적
학습	안정적 (최대우도)	적대적 학습, 불안정할 수 있음	안정적
샘플링	한 번의 변환으로 빠름	빠름	반복 과정이 필요해 느린 편