AI - LLM 추론 최적화 - LLM은 어떻게 생각하는 법을 배우는가

https://arxiv.org/pdf/2607.16097

2026.7.17
[Understanding Reasoning from Pretraining to Post-Training]

이 연구는 체스를 통제된 실험 환경으로 활용하여, 거대 언어 모델(LLM)의 사전 학습(Pretraining) 단계와 강화 학습(RL) 단계가 상호작용하는 원리를 규명합니다. 연구진은 모델의 크기와 데이터양에 따른 결합 스케일링 법칙(Joint Scaling Law)을 정립하여, 사전 학습 단계의 손실(Loss) 값이 낮을수록 강화 학습 이후의 최종 성능이 향상되며 사전 학습 데이터의 규모가 클수록 강화 학습을 통한 성능 개선 속도가 선형적으로 빨라진다는 사실을 입증했습니다. 또한, 강화 학습이 단순히 기존 지식을 정교화하는 데 그치지 않고, 어려운 문제에서 잠재된 정답 후보(Tail Discovery)를 끌어올리는 역할을 하지만 동시에 오답을 강화할 위험도 있다는 메커니즘 분석을 제시합니다. 궁극적으로 이 논문은 한정된 컴퓨팅 자원을 사전 학습과 강화 학습에 어떻게 분배해야 하는지에 대한 최적의 연산 효율성 경계(Compute-optimal frontier)를 제안하며, 이러한 체스 기반의 발견이 수학 도메인에서도 유사하게 나타남을 확인했습니다.

 

Understanding Reasoning from Pretraining to Post-Training (arXiv 2607.16097)

NYU 등 연구진이 발표한 논문으로, 사전학습(pretraining)과 RL 포스트트레이닝의 상호작용을 정량적으로 규명하기 위해 체스를 통제된 실험장으로 사용합니다.

 

Overview

연구는 두 가지 핵심 질문을 다룹니다: (1) 사전학습 선택(모델 크기, 데이터량)이 RL compute의 수익률을 어떻게 결정하는가, (2) RL이 실제로 모델에 무엇을 하는가. 자연어 LLM에서는 사전학습 코퍼스가 방대하고 통제 불가능해 이를 직접 연구하기 어렵기 때문에, 체스를 사전학습→SFT→RL 전체 파이프라인을 재현할 수 있는 통제된 테스트베드로 사용했습니다.

 

Background

기존 관점은 두 갈래로 나뉩니다: 사전학습된 prior를 강조하는 진영(모델·데이터 스케일업)과, RL을 통한 "경험"을 강조하는 진영(AlphaZero처럼 self-play로 학습). RL이 실제로 무엇을 하는지에 대해서도 선행 연구들의 견해가 갈립니다 — RL이 base 모델이 이미 선호하던 패턴을 단순히 "sharpen"한다는 주장(Yue et al.)과, 기존 스킬을 조합해 새로운 능력을 만든다는 주장(Yuan et al.)이 대립합니다.

 

Methods

• 사전학습: 5M~1B 파라미터 모델을 Lichess 인간 체스 기보(54B 토큰)로 사전학습
• SFT: 사전학습 모델이 생성한 후보 수들을 트리 구조로 직렬화한 synthetic reasoning trace로 지도학습 (자연어 없이 체스 수 토큰만으로 "사고")
• RL: 검증 가능한 퍼즐 환경에서 GRPO로 강화학습 (정답 수순과 정확히 일치해야 보상 1)
• 10개 모델 크기 × 여러 compute 예산으로 36개 pretraining–RL 조합을 스윕
• 전이 검증을 위해 1B 파라미터 언어모델을 수학 텍스트(Nemotron-CC-Math 등)로 추가 훈련

Experiments

• 스케일링 법칙: 특정 RL compute 수준에서의 성능(pass@1)은 사전학습 loss로 강하게 예측되며, RL reward 곡선의 기울기는 사전학습 토큰 수와 거의 선형 관계를 보입니다.
• Compute 배분: 총 compute가 커질수록 최적의 RL 비중이 증가합니다 (예: 20M 모델 기준 RL 비중이 5%→32%로 증가).
• 메커니즘 분석: 쉬운 퍼즐에서는 RL이 SFT가 이미 선호하던 정답 수를 강화(ground-truth amplification)하지만, 어려운 퍼즐에서는 거의 나타나지 않던 정답 수를 표면화(tail discovery)하는 동시에 틀린 수도 강화(wrong-mode amplification)하는 이질적 효과를 보였습니다.
• 수학 도메인 전이: 1B OLMo-2 모델에서도 동일한 패턴(긴 사전학습 → 높은 post-RL 성능, 가파른 RL 향상 기울기)이 재현되었습니다.

Conclusion

사전학습 loss와 RL 성능 사이의 joint scaling law를 확립했으며, compute 예산이 커질수록 RL에 더 많은 비중을 할당하는 것이 최적이라는 결론을 얻었습니다. 다만 RL의 효과는 균일한 "sharpening"이 아니라 퍼즐 난이도에 따라 질적으로 다르게 나타납니다. 저자들은 체스가 vocab이 작고 검증이 완벽하다는 점에서 자연어와 차이가 있어 정량적 결과의 직접적 일반화는 제한적임을 명시하며, 향후 pretraining/RL 전환 시점 결정, wrong-mode amplification 완화 등을 연구 방향으로 제시했습니다.

 

 

[보고서] 거대 모델의 지능 습득 연대기: 체스 환경을 통한 RL의 추론 메커니즘 분석

 

1. Overview: 추론 모델 학습의 전략적 가치와 체스 테스트베드

현대 AI 엔지니어링의 패러다임은 단순히 모델의 크기를 키우는 시대를 넘어, 사전 훈련(Pretraining)과 사후 훈련(Post-training) 사이의 연산 자원을 어떻게 배분할 것인가라는 전략적 최적화의 시대로 진입했습니다. 특히 복잡한 추론 과제를 수행하는 언어 모델(LLM)의 성능 극대화를 위해서는 학습의 전 과정(End-to-End)을 관통하는 지능 형성 메커니즘을 정밀하게 통제하고 이해하는 능력이 필수적입니다.

 

자연어 환경은 데이터 혼합의 이질성과 추론 과정의 불투명성으로 인해 특정 학습 단계의 기여도를 고립시켜 분석하기 매우 어렵습니다. 본 보고서에서는 이러한 한계를 극복하기 위해 '체스(Chess)'를 고도로 통제된 테스트베드(Controlled Testbed)로 채택했습니다. 체스는 다음과 같은 전략적 시사점을 제공합니다.

• 행동 공간의 고립과 검증 가능성: 체스는 행동 공간이 명확하며, 모든 수의 품질을 엔진(Stockfish 등)이나 승패라는 결과 지표로 즉각 검증할 수 있습니다. 이는 자연어의 모호함을 제거하고 '순수 추론 성능'을 정량화하게 해줍니다.
• 학습 변수의 정밀 제어: 플레이어의 숙련도(Elo)와 과제 난이도(B1-B5)에 따라 데이터를 큐레이션함으로써, 사전 훈련의 품질이 이후 강화 학습(RL)의 효율성에 미치는 상관관계를 변인 통제 하에 분석할 수 있습니다.

본 보고서는 "사전 훈련의 선택이 RL의 연산 효율을 어떻게 결정짓는가?"와 "RL은 모델의 내부 정책(Policy)을 단순히 연마하는가, 아니면 새로운 경로를 발견하는가?"라는 두 가지 핵심 질문에 대한 정량적 해답을 제시합니다.

 

2. Background: 학습의 3단계와 'Cold-start' 문제의 이해

모델의 추론 능력은 단계적 계통성을 가집니다. 인간의 기보를 모방하며 기초적인 '사전 분포(Prior)'를 형성하는 것에서 시작하여, 직접적인 환경 상호작용을 통해 지능을 확장하는 과정이 조화롭게 설계되어야 합니다.

 

학습의 3단계 정의

1. 사전 훈련(Pretraining): 대규모 Lichess 기보 데이터를 통해 게임의 규칙과 유망한 수의 배치에 대한 '직관' 및 도메인 지식을 습득합니다.
2. 지도 미세 조정(SFT): 단순한 결과값의 모방을 넘어, 합성 추론 트레이스(Synthetic Reasoning Traces)를 통해 '사고의 과정(Chain-of-Thought)'을 학습함으로써 모델이 결론 도출 전 시나리오를 검토하도록 유도합니다.
3. 강화 학습(RL): 검증 가능한 보상(Reward)을 기반으로 환경과 상호작용하며 성능을 극대화하는 단계입니다.

'Cold-start'와 사전 분포의 상관관계

경험 위주의 학습(Experience-only approach)이 이론적으로는 가능하나, 실제 추론 과제에서 직면하는 핵심 장벽은 '희소한 보상(Sparse Reward)'에 따른 탐색 효율성 저하입니다. 무작위로 초기화된 모델이 광활한 행동 공간에서 우연히 정답 경로를 찾아 보상을 받을 확률은 극히 낮습니다. 따라서 사전 훈련은 RL이 유의미한 탐색(Exploration)을 시작할 수 있도록 가이드라인을 제공하는 '사전 분포'를 형성하는 단계이며, 이 사전 분포의 품질이 RL의 학습 출발선(Cold-start)과 수렴 속도를 결정짓는 핵심 변수가 됩니다.

 

3. Methods: 체스 추론 모델 구축을 위한 파이프라인 설계

이론적 통찰을 실현하기 위해 본 연구는 데이터 구성부터 알고리즘 선택까지 고도의 정밀성을 갖춘 파이프라인을 설계했습니다.

 

데이터 구축 및 구성 전략

• Lichess 기반 데이터 큐레이션: 2022년 Lichess에서 발생한 수십억 개의 토큰을 활용했습니다. 특히 난이도별(B1~B5) 퍼즐 데이터 구성을 통해 모델이 쉬운 문제와 어려운 문제에서 각각 어떤 행동 변화를 보이는지 추적 가능하도록 체계화했습니다.
• 합성 추론 트레이스의 직렬화(Serialization): 모델의 사고 궤적을 텍스트화하기 위해 트리 탐색 구조를 활용했습니다. 200M 규모의 제안 모델(Proposal Model)을 사용하여 특정 국면에서 여러 가능한 경로(Rollouts)를 샘플링하고, 이를 깊이 우선 탐색(DFS) 순서로 나열했습니다. <T>, <sep>, </T> 태그를 활용한 직렬화 전략은 모델이 최종 결론에 도달하기 전 내부적으로 시나리오를 시뮬레이션하도록 강제합니다.

학습 알고리즘: GRPO(Group Relative Policy Optimization)

본 파이프라인은 연산 효율성과 안정적 수렴을 위해 GRPO를 채택했습니다.

• 전략적 이점: 별도의 가치 모델(Value Model)을 유지하지 않고 그룹 내의 상대적 보상을 활용함으로써 메모리 및 연산 자원을 절감합니다.
• 수렴 안정성: 체스와 같이 정답이 명확한 환경에서 보상을 효과적으로 정규화하여, 정책이 급격하게 붕괴하지 않고 안정적으로 최적화되도록 돕습니다.

4. Experiments & Analysis: RL 이후의 행동 변화와 메커니즘 분석

실험 결과, RL은 단순한 성능 향상을 넘어 모델의 정책을 근본적으로 재구성하는 것으로 나타났습니다. 특히 사전 훈련의 성과 지표가 RL의 개선 가능성을 예측하는 강력한 선행 지표임을 확인했습니다.

 

스케일링 법칙(Scaling Law)의 수식적 통찰

• 사전 훈련 손실의 예지력: 사전 훈련 단계의 검증 손실(Validation Loss)은 RL 이후 도달할 최종 성능(Pass@1)을 매우 정확하게 예측합니다. 특정 연산량에서의 RL 성능은 사전 훈련 손실의 함수로 정의될 수 있습니다.
• 데이터 규모와 개선 속도: RL 보상 곡선의 기울기(Slope)는 사전 훈련에 투입된 데이터 토큰(T)의 로그 값과 선형적인 상관관계를 보입니다. 흥미롭게도 모델의 크기(N)보다 사전 훈련 토큰의 양(T)이 RL의 개선 속도를 결정짓는 더 지배적인 변수로 작용합니다.

메커니즘 분석: RL의 세 가지 행동 변화

RL은 정책의 다양성을 높이기보다 특정 모드로 수렴시키는 '첨예화(Sharpening)' 성질을 가집니다.

행동 변화 범주	정의 및 메커니즘	전략적 특징
정답 증폭 (GT Amplification)	SFT 단계에서 이미 선호하던 정답의 확률을 극대화함.	쉬운 과제(B1-B2)에서 지배적이며, 기존 지식을 '연마'하는 효과.
꼬리 발견 (Tail Discovery)	SFT에서 무시되던 희박한 확률(Tail)의 정답을 수면 위로 인양함.	어려운 과제(B4-B5)에서 잠재된 성능을 일깨우는 핵심 기제.
잘못된 모드 증폭 (Wrong-mode Amp)	RL의 Sharpening 성질로 인해 오답 경로를 확신하며 강화함.	어려운 과제에서 발생하는 RL의 부작용으로, 다양성(Pass@k)을 저해함.

 

Pass@1 vs Pass@k

RL은 최고 확률 답변의 정확도(Pass@1)를 비약적으로 상승시키지만, 다양성을 고려한 지표인 Pass@k(k=16 등)에서는 이득이 적거나 오히려 성능이 하락하는 경향을 보입니다. 이는 RL이 새로운 사고 경로를 넓게 탐색하기보다, 발견된 경로(정답 혹은 고착된 오답)로 확률 질량을 집중시키는 'Sharpening' 본능에 충실하기 때문입니다.

 

5. Conclusion: 학습 프론티어의 확장과 미래 전략

본 연구를 통해 도출된 Compute-optimal Frontier 가이드는 향후 대규모 AI 모델 설계 시 연산 자원 할당의 나침반이 될 것입니다.

 

아키텍트를 위한 자원 배분 가이드

• 예산 임계치와 RL 비중: 총 연산 예산이 작을 때는 Chinchilla-optimal에 따른 사전 훈련에 집중하는 것이 유리합니다. 그러나 총 연산량이 임계치를 넘어설수록 RL에 할당하는 비중을 20%에서 28% 이상으로 공격적으로 확대해야 합니다. 이는 강력한 사전 분포가 형성된 이후에는 RL을 통한 경험적 학습의 효율이 사전 훈련의 한계 효용을 상회하기 때문입니다.
• 사전 훈련의 전략적 고점: 사전 훈련 손실은 RL이 도달할 수 있는 성능의 '천장'을 결정합니다. 따라서 목표로 하는 RL 성능 수준에 맞춰 필요한 사전 훈련의 품질을 선제적으로 정의해야 합니다.

차세대 학습 전략 제언

향후 연구는 '꼬리 발견'을 극대화하면서도 '잘못된 모드 증폭'을 억제하는 방향으로 나아가야 합니다. 단순히 정답 유무만을 보상으로 주는 현재의 RL을 넘어, 사고 경로의 다양성을 보존(Pass@k 보존)하고 오답에 대한 패널티를 정교화하는 알고리즘 설계가 차세대 추론 모델의 핵심 과제가 될 것입니다.

 

핵심 요약

• 예측 가능성: 사전 훈련 손실로 RL 이후의 고점을 예측할 수 있습니다.
• 데이터의 힘: 사전 훈련 데이터 스케일이 RL의 학습 속도(Slope)를 결정합니다.
• 전략적 전환: 연산 예산이 커질수록 RL 투입 비중을 높여 경험적 지능을 확보하십시오.
• Sharpening의 경계: RL의 본질적 수렴 성질이 가져오는 다양성 훼손을 경계해야 합니다.