AI 해석력 - VibeThinker-3B 검증 가능한 추론 능력 탐구

https://arxiv.org/abs/2606.16140

2026.6.15
[VibeThinker-3B: 소규모 언어 모델에서 검증 가능한 추론의 최전선 탐구]

이 기술 보고서는 Sina Weibo Inc.에서 개발한 30억 개의 파라미터를 가진 소형 언어 모델인 VibeThinker-3B를 소개하며, 작은 모델 체제에서도 검증 가능한 추론 능력이 어디까지 도달할 수 있는지 탐구합니다. 이 모델은 커리큘럼 기반의 지도 미세 조정(SFT)과 멀티 도메인 강화 학습(RL) 등을 포함하는 최적화된 파이프라인을 통해, 자신보다 수백 배 더 큰 DeepSeek V3.2나 Gemini 3 Pro와 같은 최상위 모델들에 필적하는 성능을 수학 및 코딩 분야에서 증명했습니다. 연구진은 이러한 성과를 바탕으로 복잡한 논리적 추론은 작은 코어에 압축될 수 있다는 매개변수 압축-커버리지 가설을 제시하며, 소형 모델이 단순히 효율적인 대안을 넘어 독립적인 기술 경로가 될 수 있음을 강조합니다. 결과적으로 이 소스는 소형 모델이 지식의 양은 부족할지라도 고밀도 추론 깊이를 충분히 확보할 수 있음을 보여주며 고성능 추론 시스템 설계의 새로운 가능성을 열어줍니다.