DLM - 확산 모델((Diffusion models) 의 창의성 메커니즘 분석

https://research.google/blog/towards-demystifying-the-creativity-of-diffusion-models/

2026.7.15
[Towards demystifying the creativity of diffusion models]

이 글은 구글 리서치가 발표한 최신 논문을 바탕으로 확산 모델(Diffusion Models)이 단순히 학습 데이터를 복제하는 데 그치지 않고 어떻게 새로운 창의적 결과물을 생성하는지 그 수학적 원리를 설명합니다. 핵심은 인공 신경망이 데이터를 학습하는 과정에서 발생하는 점수 평활화(score smoothing) 현상으로, 이는 모델이 학습 데이터 사이의 빈 공간을 부드럽게 연결하는 보간(interpolation) 역할을 수행하게 합니다. 이러한 메커니즘을 통해 모델은 기존 데이터를 완벽히 재현하는 암기(memorization) 상태에서 벗어나, 데이터가 존재하는 가상의 평면인 데이터 다양체(data manifold) 위에서 본 적 없는 고품질의 새로운 샘플을 생성할 수 있게 됩니다. 결과적으로 이 텍스트는 확산 모델의 창의성이 우연한 결과가 아니라, 신경망의 정규화 효과와 수학적 특성이 결합하여 만들어낸 필연적인 산물임을 밝히고 있습니다.

점수 함수는 노이즈 제거 프로세스를 주도하여 순수한 노이즈를 의미 있는 데이터(예: 이미지)로 변환합니다.

"완벽한" 점수 함수는 노이즈 제거 프로세스를 훈련 데이터에 맞춰 조정하여 기억을 유도합니다(배경색과 불투명도는 당기는 방향과 강도를 나타냅니다. 빨간색은 오른쪽, 파란색은 왼쪽을 의미합니다).

정규화 학습을 거친 신경망은 점수 함수의 더욱 부드러운 버전을 학습합니다.

 

점수 평활화는 훈련 데이터 포인트 사이에 "보간 영역"을 생성합니다.

 

확산 모델의 창의성 메커니즘 분석: 스코어 스무딩(Score Smoothing)과 정규화의 역할

 

Technical Abstract: 확산 모델의 일반화 역량에 관한 수리적 고찰 본 보고서는 확산 모델(Diffusion Models)이 학습 데이터를 단순 암기(Memorization)하는 수준을 넘어, 어떻게 새로운 데이터를 생성(Generalization)하는지에 대한 수리적 기제를 분석한다. ICLR 2026에서 발표된 최신 연구(Chen et al.)를 바탕으로, 모델의 '창의성'이 신경망 학습 과정에서 발생하는 '스코어 스무딩(Score Smoothing)'의 필연적 결과임을 입증한다. 특히 정규화 기법이 스코어 함수의 고주파 성분을 억제하여 데이터 매니폴드 상의 보간(Interpolation)을 유도하는 과정을 심층적으로 다룬다.

 

1. 서론: 확산 모델의 창의성에 대한 수학적 고찰

현대 생성형 AI의 중추인 확산 모델은 노이즈로부터 고해상도 이미지나 복잡한 단백질 구조를 복원하며 전례 없는 창의성을 보여주고 있습니다. 하지만 이 '창의성'이 어디에서 기원하는지에 대한 질문은 오랫동안 기계 학습의 블랙박스로 남아 있었습니다. 우리는 단순히 모델이 운 좋게 데이터를 섞는다고 생각하기 쉽지만, 실상은 훨씬 더 정교한 수학적 질서가 존재합니다.

확산 모델의 핵심적 성패는 학습 데이터에 대한 완전한 '암기'와 미지의 영역에 대한 '일반화' 사이의 균형에 달려 있습니다. 암기는 데이터의 단순 복제에 그치지만, 일반화는 데이터 매니폴드(Data Manifold) 내의 빈 공간을 논리적으로 메워 새로운 가치를 창출합니다. 본고에서는 확산 모델의 생성 동력인 역확산 과정과 그 방향타 역할을 하는 '스코어 함수(Score Function)'의 특성을 분석하여, 창의성이 단순한 우연이 아닌 신경망 학습의 불완전성이 만들어낸 정교한 보간의 결과임을 논의하고자 합니다.

 

2. 디노이징 프로세스와 스코어 함수(Score Function)의 역학

확산 모델은 무질서한 노이즈 상태에서 가우시안 커널을 통해 역으로 정보를 추출하는 디노이징 과정을 통해 데이터를 생성합니다. 이 과정의 물리적 실체는 스코어 함수(SF)가 형성하는 '역장(Force Field)'으로 설명될 수 있습니다.

 

2.1 '역장'으로서의 스코어 함수와 수렴성

디노이징 과정을 공간에 흩뿌려진 가스 입자들이 특정 형상으로 모여드는 과정으로 본다면, 스코어 함수는 각 입자가 매 순간 이동해야 할 최적의 벡터를 지시하는 역장과 같습니다. 학습이 진행됨에 따라 이 역장은 입자들을 학습 데이터의 분포가 높은 영역으로 강력하게 견인합니다.

 

2.2 완벽한 스코어 함수의 함정: 생성적 유틸리티의 붕괴

만약 신경망이 이론적 극한에 도달하여 '완벽한 스코어 함수'를 학습한다면, 역장은 모든 입자를 오직 학습 데이터 포인트 그 자체로만 수렴시킵니다. 이는 아키텍처 관점에서 심각한 '생성적 실패'를 의미합니다. 수조 원의 연산 비용을 들여 구축한 모델이 단순한 '정보 검색 도구(Information Retrieval Tool)'로 전락하게 되며, 모델의 확률 밀도는 학습 데이터 지점에서만 무한히 치솟는 디라크 델타(Dirac delta) 함수 형태에 가까워집니다. 즉, 완벽한 학습은 역설적으로 모델의 창의적 엔진을 정지시키는 결과를 초래합니다.

 

3. 스코어 스무딩: 암기에서 창의적 보간으로의 전환 메커니즘

확산 모델이 암기의 늪을 벗어나 창의성을 발휘하게 되는 핵심 기제는 신경망이 함수의 급격한 변화를 완벽하게 학습하지 못하는 특성, 즉 '스코어 스무딩(Score Smoothing)'(Scarvelis et al., TMLR 2025)에 있습니다.

 

3.1 1차원 예시를 통한 스무딩 효과 분석

데이터 포인트가 +1과 -1만 존재하는 1차원 공간을 가정해 봅시다.

• 이론적 최적해: 0을 경계로 방향이 급변하는 '날카로운 절벽(Sharp Cliff)' 형태의 스코어 함수를 가집니다. 이는 입자를 무조건 ±1 중 하나로 밀어 넣어 암기를 강제합니다.
• 스무딩된 해: 실제 신경망은 정규화 효과로 인해 이 절벽을 완만하고 부드러운 '경사(Gentle Slope)'로 변형시킵니다.

3.2 정규화와 AdamW: 저역 통과 필터(Low-pass Filter)로서의 역할

신경망 최적화에 널리 사용되는 AdamW 알고리즘과 가중치 감쇠(Weight Decay, WD)는 스코어 함수를 매끄럽게 만드는 핵심 도구입니다. 수리적으로 가중치 감쇠는 신경망 가중치의 L2 노름을 제한함으로써 함수 공간에서 고주파 성분(급격한 기울기 변화)을 억제하는 '저역 통과 필터' 역할을 수행합니다. Savarese et al.(2019)의 함수 공간 이론에 따르면, 이러한 정규화는 모델이 '날카로운 절벽'을 학습하는 능력을 제한하며, 그 결과 입자들이 천천히 흐르며 데이터 사이의 빈 공간에 안착하는 보간 구역(Interpolation Zone)을 형성하게 합니다.

 

3.3 암시적 정규화(Implicit Regularization)의 영향

흥미로운 점은 명시적인 WD를 설정하지 않더라도, Vastola(2025), Wang & Pehlevan(2025) 등이 지적한 '암시적 정규화' 효과에 의해 경사하강법 자체가 스무딩을 유도한다는 것입니다. 이는 신경망 기반 확산 모델이 본질적으로 창의적 보간 능력을 타고난다는 이론적 근거가 됩니다.

 

4. 고차원 데이터 매니폴드 회복과 방향성 스무딩 전략

현실의 복잡한 데이터는 고차원 픽셀 공간 내에서 가느다란 시트 형태의 '데이터 매니폴드(Data Manifold)'를 형성합니다. 이미지 생성의 본질은 유한한 학습 데이터를 통해 이 매니폴드를 복구(Manifold Recovery)하고, 그 위의 미지의 점들을 찾아내는 것입니다.

 

4.1 방향 의존적(Direction-dependent) 스무딩의 전략적 가치

고차원 공간에서 스코어 스무딩은 방향에 따라 차별적인 물리적 효과를 발생시키며 '골디락스 존(Goldilocks Zone)'을 형성합니다.

• 접선 방향(Tangential Direction): 데이터 매니폴드와 평행한 방향입니다. 이 방향으로의 스무딩은 기존 데이터 포인트들 사이의 간극을 메우는 보간 효과를 발생시켜 새로운 콘텐츠를 창조합니다.
• 법선 방향(Normal Direction): 매니폴드에 수직인 방향입니다. 이 방향의 스코어 함수는 이미 선형에 가까운 매끄러운 특성을 가지므로, 스무딩을 가해도 입자가 매니폴드로 수렴하는 속도에 큰 지장을 주지 않습니다.

결과적으로 스무딩은 수렴 속도를 희생하지 않으면서도(이미지의 선명도 유지), 매니폴드 상에서의 자유로운 변주(독창성 확보)를 가능케 합니다. 이를 통해 모델은 현실적(Realistic)이면서도 새로운(Novel) 데이터를 생성하게 됩니다.

 

5. 결론: 창의적 확산 모델을 위한 최적화 전략 및 제언

스코어 스무딩은 학습의 오류가 아니라, 확산 모델을 진정한 창의적 엔진으로 기능하게 하는 수학적 필연성입니다. 연구자들은 스코어 함수의 정밀도가 아닌 '스무딩의 질'을 제어함으로써 모델의 성능을 극대화해야 합니다. 이에 본 연구원은 향후 모델 설계를 위한 세 가지 핵심 전략을 제언합니다.

1. 정규화 스케줄링을 통한 암기-보간 균형 최적화: 학습 단계별로 가중치 감쇠 강도를 동적으로 조절하여, 초기에는 매니폴드의 대략적인 구조를 학습하고 후기에는 적절한 스무딩을 통해 보간 능력을 확보해야 합니다.
2. 신경망 아키텍처의 립시츠 연속성(Lipschitz Continuity) 관리: 스코어 함수의 기울기 변화율을 제어할 수 있는 아키텍처 설계를 통해, 스무딩 효과가 전 데이터 영역에서 균일하게 발생하도록 유도해야 합니다.
3. 조건부 생성(Conditional Generation)에서의 도메인 확장: Bonnaire et al.(2025) 등의 논의를 확장하여, 신약 개발이나 분자 설계와 같은 영역에서 알려진 구조 사이의 '안정적 중간체(Stable Intermediates)'를 발견하기 위한 수단으로 스코어 스무딩의 보간 원리를 적극 활용해야 합니다.