LLM - 추론 최적화 - 잠재 추론을 활용한 테스트 시간 컴퓨팅 성능 향상: 순환 깊이 접근법

https://arxiv.org/pdf/2502.05171

2025.2.17
[Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach]

이 논문은 별도의 중간 텍스트를 생성하지 않고도 잠재 공간(latent space)에서의 반복 연산을 통해 인공지능의 추론 능력을 비약적으로 높이는 순환 깊이(recurrent depth) 구조의 언어 모델을 제안합니다. 기존의 추론 모델들이 더 많은 토큰을 출력하여 연산량을 늘리는 것과 달리, 이 모델은 공유된 순환 블록을 여러 번 반복 실행함으로써 테스트 시점에 추론 연산량을 유연하게 확장할 수 있는 것이 특징입니다. 35억 개의 매개변수로 구성된 시제품 모델인 'Huginn'은 별도의 추론 데이터 없이도 수학 및 코딩 벤치마크에서 뛰어난 성능을 보였으며, 특히 적응형 컴퓨팅과 자기 복제 디코딩 같은 복잡한 기능을 추가 학습 없이 자연스럽게 지원합니다. 연구진은 모델이 복잡한 문제를 해결할 때 잠재 공간 내에서 궤도(orbit)나 슬라이더 같은 기하학적 패턴을 그리며 스스로 사고하는 창발적 계산 행동을 보인다는 점을 입증하며, 언어 모델의 성능을 높이는 새로운 세 번째 축을 제시했습니다.