사전 학습 (Pre-Training) - 멀티모달 사전 학습의 물리학

https://arxiv.org/abs/2608.05000

2026.8.6
[Towards Physics of Multimodal Pretraining: Knowledge Flow, Modality Synergy, Early Unification, and Recipes]

이 문서는 멀티모달 사전학습의 근본적인 원리를 규명하기 위해 언어, 시각 이해, 시각 생성이라는 세 가지 축의 상호작용을 체계적으로 분석한 연구입니다. 저자들은 데이터 사이의 지식 흐름이 비대칭적이라는 점을 발견했으며, 특히 언어와 시각 이해 능력이 시각 생성 능력을 촉진하는 강력한 토대가 됨을 증명했습니다. 또한, 모델의 시각적 게으름(vision laziness) 현상을 방지하기 위해서는 학습 초기 단계부터 여러 양식을 동시에 결합하는 조기 통합(Early Unification) 전략이 필수적임을 강조합니다. 효율적인 모델 설계를 위해 공유 어텐션과 양식별 전결합 층(FFN)을 조합한 최적의 아키텍처를 제안하며, 이를 통해 적은 비용으로도 뛰어난 성능을 구현하는 실제적인 방법론을 제시하고 있습니다. 최종적으로 이 소스는 단순한 성능 개선을 넘어 멀티모달 모델이 어떻게 지식을 습득하고 시너지를 내는지에 대한 물리학적 토대를 제공하는 데 목적이 있습니다.