임베딩 모델 - LeJEPA: 이론 기반 자기 지도 학습

https://arxiv.org/pdf/2511.08544

https://github.com/galilai-group/lejepa

2025.11.14
[LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics]

이 자료는 인공지능이 세계의 구조와 역동성을 스스로 학습할 수 있도록 설계된 자기 지도 학습(Self-Supervised Learning) 알고리즘인 LeJEPA를 소개합니다. 연구진은 기존 모델들이 복잡한 수식이나 경험적인 편법에 의존하여 불안정했던 점을 지적하며, 통계학적 원리에 기반한 증명 가능하고 확장 가능한 새로운 훈련 목적 함수를 제안합니다. 핵심 아이디어는 하위 작업에서 예측 위험을 최소화하는 최적의 임베딩 분포가 등방성 가우시안(Isotropic Gaussian) 형태라는 것을 수학적으로 증명하고, 이를 강제하기 위해 계산 효율성이 뛰어난 SIGReg(Sketched Isotropic Gaussian Regularization) 기법을 도입한 것입니다. 결과적으로 LeJEPA는 별도의 복잡한 장치 없이도 표현 붕괴(Representation Collapse) 현상을 방지하며, 다양한 데이터 도메인과 대규모 모델 아키텍처 전반에서 안정적이고 뛰어난 성능을 입증했습니다.