임베딩 모델 - SIGReg 임베딩 붕괴 방지 튜토리얼

https://rezabyt.github.io/blogposts/sigreg-tutorial.html

2026.7.21
[SIGReg from First Principles]

이 튜토리얼은 공동 임베딩 예측 아키텍처(JEPA)에서 발생하는 표현 붕괴(Representational Collapse) 현상을 해결하기 위한 정규화 기법인 SIGReg의 원리와 구현을 상세히 설명합니다. 텍스트는 임베딩 분포를 표준 등방성 가우시안으로 유도함으로써 모든 정보가 하나의 점으로 수렴하는 것을 방지하는 수학적 체계를 구축합니다. 이를 위해 푸리에 변환 기반의 특성 함수를 비교하는 Epps–Pulley 통계량을 도입하고, 고차원 데이터를 다루기 위해 Cramér–Wold 정리와 무작위 투영(Random Projections) 기법을 결합합니다. 결과적으로 이 소스는 복잡한 자기지도 학습의 안정화 기법을 수학적 제1원리부터 실제 하이퍼파라미터 조절까지 연결하며, 이론적 무결성과 실용적 효율성을 동시에 갖춘 항붕괴(Anti-collapse) 솔루션을 제시하는 데 목적이 있습니다.

 

 

1 · 문제점 (§1 The problem)

이 튜토리얼은 두 개의 관련된 뷰(예: 이미지의 두 크롭, 마스킹된 영역과 원본 영역, 인접한 비디오 프레임 등)를 공유 인코더로 임베딩하는 일반적인 JEPA 설정에서 출발하며, LeWM(LeWorldModel)이라는 시간축 예측 응용을 구체적 사례로 사용합니다. 인코더·예측기·예측 손실로 구성된 구조에서, 인코더가 모든 입력을 동일한 상수 벡터로 매핑해버리면 예측 손실이 정확히 0이 되면서도 표현이 아무 정보를 담지 않는 "표현 붕괴(representational collapse)"가 발생합니다. 이를 막기 위한 정규화 항이 만족해야 할 조건으로 (1) 등방성 가우시안 분포일 때만 이론적으로 0이 되고 (2) 미분 가능하며 (3) 고차원·대규모 배치에서도 계산 가능해야 한다는 세 가지가 제시됩니다. github + 2

 

[보완 내용] JEPA(Joint Embedding Predictive Architecture) 자체는 Yann LeCun이 2022년 제안한 개념으로, 픽셀을 재구성하지 않고 잠재 표현 공간에서 예측 관계를 모델링하는 자기지도학습 패러다임입니다. 에너지 기반 관점에서 JEPA의 손실은 입력 공간이 아니라 임베딩 공간에서의 예측 오차로 정의되는데, 이 구조적 특징이 바로 본문이 지적하는 "상수 함수로도 손실이 0이 되는" 붕괴 취약점의 근본 원인입니다. (출처: arXiv:2508.10399, arXiv:2309.16014) arxivarxiv

 

2 · 특성 함수 (§2 Characteristic functions)

분포의 밀도함수 대신 분포를 비교할 방법으로, 확률분포의 푸리에 변환에 해당하는 특성 함수(characteristic function)를 도입합니다. 표준정규분포 N(0,1)의 특성 함수는 e^(-t²/2)라는 깔끔한 형태를 가지며, 이는 가우시안이 푸리에 변환에 대해 자기 유사성을 갖는 구조적 특징이라고 설명합니다. 샘플 기반 추정치인 경험적 특성함수(empirical CF)는 N개 샘플이 단위원 위에 만드는 점들의 중심(centroid)으로 기하학적으로 해석되며, 이 값은 표본 크기가 커질수록 참 특성함수로 수렴하고 샘플에 대해 매끄럽게 미분 가능하다는 두 성질이 강조됩니다. github + 3

 

3 · 1차원 가우시안성 테스트 (§3 Epps–Pulley statistic)

경험적 CF와 목표 CF 사이의 가중 L² 거리로 정의되는 Epps–Pulley 통계량을 도입하며, 가중치 없이 적분하면 유한 표본의 CF가 고주파에서 1/N 바닥으로 수렴하지 않아 적분이 발산한다고 설명합니다. 이 문제는 리만-르베그 보조정리와 관련되며, 경험적 CF는 이산 분포의 CF이므로 감쇠하지 않고 진동을 유지합니다. 해결책으로 가우시안 가중치 w(t)=exp(-t²/2λ²)를 곱해 적분을 유한하게 만들며, 대역폭 λ가 테스트가 어떤 주파수(=분포의 어떤 모멘트)까지 감지할지를 결정합니다. github + 2

 

[보완 내용] Epps–Pulley 검정은 실제로 1983년 T.W. Epps와 L.B. Pulley가 Biometrika에 발표한 정규성 검정입니다. 경험적 특성함수와 정규분포 특성함수 사이 제곱 절댓값 차이의 가중 적분을 사용하며, 다양한 대립가설에 대해 높은 검정력을 갖는 옴니버스 검정으로 제안되었습니다. 이후 Baringhaus와 Henze(1988)가 다변량으로 확장한 것이 BHEP 검정이며, 이 계열은 여전히 경험적 특성함수 기반 정규성 검정의 주류로 남아 있습니다. LeJEPA 논문에서도 경험적 CF가 복소지수함수의 단순 평균이라 자연스럽게 미분 가능하고 분산 학습 환경의 all-reduce 연산으로도 쉽게 계산된다는 점을 SIGReg 채택의 핵심 근거로 제시합니다. (출처: Epps & Pulley 1983, Biometrika 70(3); arXiv:2511.08544) Oxford Academic + 2

 

4 · 구적법 (§4 Quadrature)

연속 적분을 유한한 주파수 노트(knot) 집합에서의 가중합으로 근사하는 사다리꼴 구적법을 사용하며, 가우시안 가중치가 적분 구간을 사실상 [0.2, 4] 정도로 국한시키고 피적분함수가 매끄럽기 때문에 소수의 노트(K=16 정도)로도 오차가 0.01% 수준까지 빠르게 줄어든다는 실험 결과를 제시합니다. 특히 경사하강법은 정확한 손실값이 아니라 유용한 그래디언트 방향만 필요하므로, K=4처럼 다소 거친 구적법에서도 학습이 올바른 방향으로 수렴한다고 설명합니다. githubgithub

 

5 · 크라메르-볼드 (§5 Cramér–Wold)

D차원 임베딩에 대해 모든 좌표축 방향만 검사하는 것으로는 대각선 방향의 비정규성(예: Z=(X,X))을 놓칠 수 있다는 문제를 지적하고, 이를 해결하기 위해 "모든 단위벡터 방향으로의 1차원 사영이 일치하면 원래 분포도 일치한다"는 크라메르-볼드 정리를 도입합니다. 등방성 가우시안 N(0,I_D)의 경우 단위벡터 u에 대한 사영이 항상 동일하게 N(0,1)이 된다는 성질 덕분에, 모든 방향에 같은 목표 CF를 재사용할 수 있다는 점, 그리고 구(sphere) 전체를 검사할 수 없으므로 M개의 무작위 방향을 몬테카를로 샘플링해 평균내는 방식으로 근사하며, 추정량의 분산이 1/√M로 줄어든다는 것을 실험적으로 확인했다고 설명합니다. github + 2

 

[보완 내용] 크라메르-볼드 정리는 1936년 Harald Cramér와 Herman Wold가 London Mathematical Society 저널에 발표한 "Some Theorems on Distribution Functions"에서 유래한 것으로, R^k 위의 보렐 확률측도가 그 모든 1차원 사영들의 전체 집합에 의해 유일하게 결정된다는 정리입니다. 이후 Cuesta-Albertos, Fraiman, Ransford(2007) 등이 모멘트 조건 하에서 "충분히 풍부한" 저차원 사영 집합만으로도 분포가 결정됨을 보이며, 무작위 사영을 이용한 검정으로 확장했습니다. LeJEPA 관련 후속 연구에서도 이 정규화가 크라메르-볼드 정리를 활용한 무작위 1차원 사영을 통해 임베딩을 지정된 등방성 가우시안 분포에 맞추는 방식으로 구현된다고 설명합니다. (출처: Cramér & Wold 1936, J. London Math. Soc. 11(4); arXiv:2605.26900) HandWiki + 2

 

6 · 붕괴를 막는 이유 (§6 Why it prevents collapse)

SIGReg(Z)=0이면 모든 방향의 Epps-Pulley 통계량이 0이고, 이는 모든 1차원 사영이 N(0,1)임을 뜻하며, 크라메르-볼드에 의해 다시 Z가 N(0,I_D)임을 뜻한다는 논리 사슬을 제시합니다. 등방성 가우시안은 공분산이 I_D로 전 계수(full rank)이므로, 이 정규화의 이상적인 최솟값 자체가 붕괴와 양립할 수 없다는 것이 핵심 주장입니다. 실험적으로는 200×3 임베딩을 계수 1(rank-1)로 초기화한 뒤 SIGReg만으로 학습시켰을 때, 500 스텝 만에 세 고유값이 모두 1에 수렴하는 것을 확인했으며, 유한 N, 유한 M, 유한 K로 인한 근사 오차가 이 "증명 가능한 항붕괴" 주장을 실제로는 다소 완화시킨다는 한계도 명시적으로 언급합니다. github + 3

 

7 · 훈련 루프 (§7 Training loop)

최종 손실은 예측 손실과 SIGReg 항을 λ_reg(=0.1, LeWM 기본값)로 가중합한 형태이며, 예측 손실만 있으면 상수 인코더로 붕괴하고 SIGReg만 있으면 임베딩이 등방성은 갖되 동역학 정보를 담을 유인이 없어진다는 점에서 두 항이 상호보완적이라고 설명합니다. 간단한 2차원 회전 예측 실험에서 SIGReg 없이는 인코더가 비등방적(이방성)으로, SIGReg를 추가하면 거의 등방적으로 수렴함을 수치로 확인했습니다. githubgithub

 

8 · 큰 그림 (§8 Big picture)

전체 구성을 "크라메르-볼드(정확) → 몬테카를로 M방향 샘플링(근사, 오차~1/√M) → Epps-Pulley·푸리에 유일성(1차원에서 정확) → 사다리꼴 구적 K개 노트(근사, 오차~1/K²)"의 사슬로 요약하며, λ(대역폭)=1.0, K(노트 수)=16, M(사영 수)=1024, λ_reg(혼합 계수)=0.1을 실용적 기본값으로 제시합니다. 마지막으로 크라메르-볼드는 1936년, Epps-Pulley는 1983년의 고전적 결과이며, 이를 현대 딥러닝에 적용한 것이 최근의 기여라는 점을 강조하며 글을 맺습니다. github + 2

 

참고 자료 (References)

본문이 인용하는 두 핵심 논문은 (1) Randall Balestriero와 Yann LeCun의 LeJEPA(arXiv:2511.08544, 2025) — SIGReg를 처음 도입하고 등방성 가우시안 임베딩이 다운스트림 위험을 최소화한다는 이론적 근거와 원 구현을 제공, (2) Lucas Maes 외의 LeWorldModel(arXiv:2603.19312, 2026) — SIGReg를 시간축 잠재 세계모델에 적용하고 본 튜토리얼이 사용하는 표기와 학습 루프 설정의 출처입니다. github