사후 학습 (Post-training) - On-policy (Self-)Distillation (OPD / OPSD)

https://arxiv.org/abs/2608.06296
프로젝트 페이지: williamium3000.github.io/u-opsd/
코드: github.com/williamium3000/u-opsd

2026.8.9
[On-Policy Self-Distillation without Any Supervision]

이 논문은 외부의 정답지나 상위 모델의 개입 없이 인공지능이 스스로를 가르치는 무감독 온-폴리시 자기 증류(U-OPSD) 기술을 소개합니다. 기존 방식들은 학습을 위해 인간이 만든 해설이나 외부 피드백에 의존해야 했으나, 본 연구는 모델이 생성한 여러 답변 중 다수의 선택을 받은 결과를 의사 정답(pseudo-solution)으로 삼아 내부적인 일관성을 확보합니다. 모델은 이 확신 있는 정답을 바탕으로 자신이 틀렸던 지점을 스스로 수정하며, 이 과정에서 발생하는 토큰 단위의 정밀한 피드백을 통해 추론 능력을 극대화합니다. 결과적으로 U-OPSD는 수학적 사고력 평가에서 정답 라벨을 사용한 기존의 지도 학습 방식과 대등하거나 오히려 능가하는 성능을 보여주며, 데이터 라벨링 비용이 비싼 영역에서 모델이 독자적으로 진화할 수 있는 가능성을 입증했습니다.

 

 
 
 
Overview (개요)
이 논문은 LLM의 post-training 방법 중 하나인 on-policy (self-)distillation(OPD/OPSD)이 강력한 성능을 보였지만, 기존 방법들이 정답(ground-truth) 신호, 환경 피드백, 또는 더 큰 모델의 지도 등 외부 supervision에 크게 의존하고 있어 진정한 의미의 "self"-distillation이라 보기 어렵다는 문제의식에서 출발한다. 저자들은 모델 자신의 생성 결과만으로, 즉 내부 일관성(internal consistency)만으로 on-policy self-distillation이 가능함을 보이며, 이를 unsupervised on-policy self-distillation(U-OPSD)이라 명명한다.
 
U-OPSD는 먼저 여러 rollout을 샘플링하고 self-consistency threshold 하에서 다수결 투표로 pseudo-solution을 구성한 뒤, teacher 분포를 이 pseudo-solution에 조건화하고 다수결과 불일치하는(disagreeing) completion들에 이를 distill함으로써, 모델이 스스로 확신을 갖고 틀린 부분을 정밀하게 교정하도록 한다. 다섯 개 수학 추론 벤치마크(AIME24, AIME25, HMMT25, MATH500, AMC23)에서, U-OPSD는 Qwen3 non-thinking 모드 4B와 8B 규모에서 base 모델 대비 각각 8.5%, 10.7% 향상되었고, 정답 라벨을 사용하는 OPSD 대비 각각 3.2%, 2.3% 앞섰다. thinking 모드에서는 OPSD와 대등한 수준을 유지하며 4B에서 0.9%, 8B에서는 거의 동률(정확히는 근소한 차이)을 보였고, GRPO 대비로는 각각 0.7%, 1.1% 앞섰다.
 
Background (배경 · 관련 연구)
핵심 개념 구도
On-policy distillation은 SFT와 RL을 잇는 방법으로, 모델 자신이 생성한 결과물로 학습함으로써 학습-추론 불일치를 줄이고 teacher-forced SFT의 catastrophic forgetting을 완화하면서도, 희소한 스칼라 보상 대신 조밀한(dense) 토큰 단위 supervision을 유지한다. DistiLLM은 skewed KL을 도입했고, DistiLLM-2는 teacher와 student가 생성한 응답에 비대칭적 목적함수를 적용했다. 이후 연구들은 신뢰할 수 있는 teacher 토큰에만 supervision을 제한하여 장기 학습을 안정화하거나, teacher score를 사전 계산해 시스템 오버헤드를 줄이는 등의 방향으로 발전했다. 그러나 이러한 방법들은 여전히 별도의 강력한 teacher 모델에 크게 의존한다.
On-policy self-distillation(OPSD)은 여기서 한발 더 나아가, 하나의 LLM이 teacher와 student 역할을 모두 수행하도록 하여 별도의 강한 teacher 모델의 필요성을 없앤다. 이때 teacher(모델 자신)는 정답 해(ground-truth solution)를 조건으로 받고, student는 문제만을 본다. 후속 연구들은 정보 누출(information leakage)과 불안정성 문제를 지적하거나, privileged context를 재설계하거나, agentic 환경으로 확장하는 방향으로 발전해왔다.
그럼에도 불구하고 기존 OPD·OPSD 방법들은 정답 해, 환경 피드백, 더 강한 모델의 지도 등 외부 supervision에 의존한다는 근본적 한계를 갖는다. 즉 teacher와 student가 파라미터를 공유한다는 의미에서만 "self"-distillation일 뿐, teacher를 더 유능하게 만드는 정보 자체는 여전히 모델 외부에서 온다. 이 지점에서 저자들은 "on-policy self-distillation의 teacher가 정말로 정답 해를 필요로 하는가? 모델이 스스로 privileged context를 구성하여 진정한 self-distillation을 수행할 수 있는가?"라는 질문을 던진다.
 
관련 연구 세 갈래

1. Self-rewarding RL: RLVR이 추론 능력 강화에 효과적이지만 정제된 정답 라벨의 비용과 희소성이 한계로 작용하며, 이에 self-certainty나 predictive entropy 같은 신뢰도 기반의 label-free 보상, 그리고 다수결 투표·self-consistency 기반 test-time training 등이 대안으로 제시되어 왔다.
2. On-policy (self-)distillation: 검증된 해, 데모/in-context 예시, privileged observation, 환경 피드백 등 다양한 teacher 조건화 방식이 탐구되어 왔으나, U-OPSD는 이 논문에서 주석·데모·환경 피드백·정답·외부 검증 결과 없이 rollout들 간 일치/불일치만으로 teacher reference와 교정 대상을 구성한다는 점에서 차별화된다.
3. Self-training·self-distillation·consistency: 정답 검증이나 보상 신호로 자기 생성 데이터를 선별하는 self-training, 서로 다른 스냅샷·아키텍처·증강 뷰 간 지식을 전달하는 self-distillation, 그리고 추론시 다수결로 여러 경로를 종합하는 self-consistency 개념들이 U-OPSD의 토대가 된다.

 
 
Methods (방법론) — 단계별 상세
1) 사전 정의(Preliminaries)
πθ를 컨텍스트 c에 대해 다음 토큰 분포 πθ(·|c)를 정의하는 LLM이라 하고, π̄를 그래디언트가 detach된(stop-gradient) 동일 네트워크라 정의한다. 지도학습 post-training은 문제-정답 쌍 (x, y⋆)로 구성된 라벨링된 코퍼스 S를 사용하지만, U-OPSD는 라벨이 없는 문제 x ~ U만을 사용한다.
 
2) 비교 대상 방법들의 수식적 구조

• GRPO는 검증 가능한 보상을 그룹 내에서 정규화하여 사용하는 방법으로, 각 rollout의 정답 일치 여부(0/1)를 그룹 평균·표준편차로 정규화한 advantage를 clipped surrogate objective에 적용한다. 이때 supervision은 정답 a⋆이며 신호는 시퀀스 단위로 희소하다.
• On-policy distillation(OPD)은 이 희소성을 해결하기 위해 모델 자신의 rollout을 학습 궤적으로 유지하면서, 스칼라 보상 대신 teacher의 다음-토큰 분포로 조밀한 supervision을 제공한다. 다만 teacher는 대개 student보다 강한 별도 모델이다.
• OPSD는 teacher와 student를 동일 모델의 서로 다른 조건화 컨텍스트로 구성한다. student는 문제 x만 보고, teacher는 문제 x와 정답 해 y⋆를 모두 조건으로 받아, 두 분포 간 divergence(기본적으로 forward KL, β=0)를 최소화한다. 이 방식은 teacher와 student가 파라미터를 공유하지만 여전히 정답 해 y⋆라는 외부 supervision을 필요로 한다.
  
  

3) U-OPSD의 3단계 절차
U-OPSD는 모델이 자신의 rollout들 간의 다수결(majority vote)을 통해 정답 해를 대신할 pseudo-solution을 스스로 구성하고, 그 결과로 얻어진 teacher 분포를 다수결과 불일치하는 rollout들에만 distill한다는 점에서 기존 방법들과 다르다.

• (1) Sample(샘플링): 각 프롬프트마다 학습 온도에서 G개의 rollout을 독립적으로 샘플링하고, \boxed{...}에서 정규화·표준화를 거쳐 최종 답 a^(g)를 추출한다. 답을 파싱할 수 없는 rollout(주로 truncation)은 무효(invalid) 처리된다.
• (2) Vote(투표): 유효한 답들 중 다수결(동점 시 무작위)로 pseudo-answer ã(x)를 정하고, rollout들을 일치(Y⁺)와 불일치(Y⁻) 집합으로 분할한다. 무효 rollout은 어느 집합에도 속하지 않는다. 전체 G개 중 다수결에 일치한 비율을 self-consistency score c(x)로 정의하며, c(x)가 threshold τ(기본값 1/2) 미만이면 해당 프롬프트는 이번 스텝에서 학습에 기여하지 않는다.
• (3) Distill(증류): 유효한 다수결이 성립하면, 일치 rollout 중 하나(y⁺)를 정답 해 대신 teacher reference로 선택하고, 불일치 rollout의 부분집합을 distillation 대상으로 삼는다. 이때 손실 함수는 y⁺로 조건화된 teacher 분포와 student 분포 간 divergence를 disagreeing rollout의 각 접두사(prefix)마다 계산하여 평균한 형태를 취한다.
  
  

이 절차는 다수결이 충분히 일치하지 않아 pseudo-answer를 신뢰할 수 없는 경우와, 모든 유효 rollout이 이미 일치하여 교정할 불일치가 없는 경우 두 부류의 샘플을 자연히 건너뛴다. 그 결과 학습은 모델이 그럴듯한 해를 일관되게 찾아내면서도 상충하는 궤적에 상당한 확률을 여전히 배정하는, 이른바 "competence frontier(역량의 경계선)"에 자연스럽게 집중된다. 이 커리큘럼은 외부 난이도 라벨이나 스케줄링 없이 모델 자신의 투표 통계로부터 직접 발생한다.
중요한 차별점은, U-OPSD가 라벨링된 쌍 (x, y⋆) 없이 오직 모델 자신의 on-policy rollout만으로 privileged context를 구성하며, 단순히 선택된 응답을 teacher-forced 방식으로 모방하는 기존 다수결 self-training과 달리, 자신의 불일치 궤적을 따라 solution-conditioned 다음-토큰 분포를 전이시켜, 모델의 합의(consensus)와 어긋나는 답으로 향하는 접두사 지점에 정확히 조밀한 교정 supervision을 제공한다는 점이다.
 
Experiments (실험)
설정(Setup)
Qwen3-4B, Qwen3-8B(각각 non-thinking·thinking 모드), Qwen3-4B-Instruct-2507, Qwen3-30B-A3B-Instruct-2507 등 4개 Qwen3 변형을 사용했으며, 모든 실험에서 동일한 체크포인트가 student와 teacher 역할을 함께 수행한다. 학습 데이터로는 OPSD를 따라 OpenThoughts의 3만 개 서브셋을 사용하되, U-OPSD는 문제 문장만 사용하고 정답 필드는 전혀 사용하지 않는다. 비교 대상은 동일 프롬프트로 학습한 SFT, 정답 기반 이진 보상 GRPO, 정답 해로 teacher를 조건화한 OPSD 세 가지 지도학습 baseline이다.
평가는 AIME24·AIME25·HMMT25(avg@12)와 MATH500·AMC23(avg@4) 다섯 개 경시대회 수준 수학 벤치마크에서 이루어졌으며, vLLM으로 온도 1.0, 최대 생성 길이 38k 조건으로 디코딩했다.
U-OPSD는 LoRA(rank 64, α=128)를 모든 attention·MLP projection에 적용했고, 학습률 5×10⁻⁶, gradient-norm clipping 0.1, 샘플링 온도 1.1(top-p 0.95, top-k 20)로 150 스텝 학습했다. U-OPSD 고유 하이퍼파라미터로는 프롬프트당 G=8개의 rollout, confidence threshold τ=0.5(기본값)를 사용했으며, boxed 정답까지 도달해야 하므로 최대 completion 길이를 OPSD의 1,024에서 4,096 토큰으로 늘렸다.
주요 결과

항목	Non-thinking 모드	Thinking 모드
4B 평균 (base→U-OPSD)	40.96 → 49.49 (+8.5%p)	74.85 → 77.05 (+2.2%p)
8B 평균 (base→U-OPSD)	43.57 → 54.31 (+10.7%p)	76.09 → 77.99 (+1.9%p)
OPSD 대비	4B +3.2%p, 8B +2.3%p 우위	4B +0.9%p 우위, 8B는 거의 동률

non-thinking 모드에서는 U-OPSD가 SFT·GRPO·OPSD를 포함한 모든 지도학습 baseline을 능가했고, 두 모델 규모 모두에서 5개 벤치마크 중 4개에서 최고 성능을 기록했다. 반면 label-free RL baseline(TTRL, RENT, Intuitor)들은 동일한 rollout 예산 하에서 최대 1.5%p 개선에 그쳤다. thinking 모드에서의 상대적으로 작은 이득은, base 모델의 정확도가 이미 74.9~76.1 수준으로 높아 합의(consensus)로부터 얻을 수 있는 정보량 자체가 non-thinking 모드보다 제한적이기 때문으로 해석된다.
instruction-tuned 모델에서도 U-OPSD는 Qwen3-30B-A3B-Instruct-2507을 75.77에서 77.46으로, Qwen3-4B-Instruct-2507을 67.00에서 68.78로 개선했으며, 두 모델 모두에서 OPSD를 각각 1.1%p, 1.7%p 앞섰다. 이는 동일한 학습 레시피가 모델 크기와 상관없이(특히 30B 규모의 mixture-of-experts 모델까지) 전이됨을 보여준다.
 
 
 
Ablation 및 분석 (핵심 요약)

• Pseudo-label 품질: 기본 설정(G=8, 4096토큰, τ=0.5)에서 rollout의 96.3%가 파싱 가능한 답을 냈고, 프롬프트의 94.0%가 threshold를 통과해 pseudo-label을 받았으며, 이 중 86.7%가 실제 정답과 일치했다. 유효 rollout 중 프롬프트 다수결과 불일치하는 비율은 10% 미만으로, distillation 대상 집합이 작고 집중되어 있다.
• Divergence 계산 전략: 전체 어휘에 대해 divergence를 계산하는 방식이 student가 샘플링한 토큰에서만 비교하는 방식보다 우수했으며, 이 격차는 정답 supervision 하에서보다 pseudo-label 하에서 오히려 더 컸다(AIME25에서 17.8%p, HMMT25에서 7.5%p 차이).
• Self-consistency threshold τ: 모든 프롬프트를 수용하는 τ=0(최선, 59.21)부터 τ=0.9(44.40)까지 단조적으로 성능이 하락했으며, 기본값 τ=0.5는 53.93으로 최적이 아니었다. 즉 필터링으로 제거되는 노이즈보다 필터링 자체의 비용(학습 데이터 손실)이 더 컸다.
• 프롬프트당 rollout 수 G: G=4와 G=8은 각각 56.99, 57.10으로 거의 차이가 없었고, G=12에서 4.7%p 이득을 얻었으나 G=16에서는 그 절반을 잃었다. 논문은 OPSD와의 비교 가능성을 위해 기본값을 G=8로 유지했다.
• Teacher 업데이트 방식: 초기 정책에 고정하는 방식(fixed, 기본값) 대비, teacher가 student를 EMA로 따라가는 방식(특히 decay 0.995)이 최적 체크포인트에서 2.4%p, 150스텝 시점에서는 4.1%p 더 나은 결과를 보였다.
• Teacher reference·distillation target 선택: 두 축 모두 가장 긴(longest) rollout을 선택할 때 가장 좋았고, teacher reference를 boxed 정답만으로 축소하면 11.4~15.6%p의 성능 손실이 발생해 base 모델 이하로 떨어졌다. 즉 teacher가 최종 답이 아닌 더 긴 전체 추론 과정을 조건으로 받는 것이 효과적 distillation에 필수적이다.
• 불일치 rollout 선택 정책: cap을 둔 모든 변형이 지도학습 baseline을 능가했으며, cap 없이 모든 불일치 rollout을 사용하는 방식이 가장 나빴다(HMMT25에서 base 이하로 하락).
• Teacher 어휘 truncation: top-k(k=50~200) truncation이 전체 어휘 사용과 비슷하거나 오히려 더 나은 결과를 보여, 계산 비용을 줄이는 실용적 최적화로 활용 가능함을 시사했다.
• Divergence 종류: forward KL(β=0)이 기본값보다 우수했으며, 대칭적 JSD는 13.8%p 손실로 base 모델 수준까지 떨어졌고, reverse KL은 아예 수렴하지 않고 생성 길이가 폭주하는(최대 토큰까지) 붕괴 양상을 보였다.

 
Conclusion (결론)
저자들은 on-policy self-distillation에서 정답 해를 모델 자신의 다수결 합의로 대체할 수 있음을 보였다: 일치하는 rollout이 teacher의 reference 역할을 하고, distillation은 자기 불일치(self-inconsistent) rollout에만 적용된다. OPSD의 나머지 레시피는 그대로 유지한 채, 이 label-free 버전은 5개 벤치마크 평균에서 지도학습 버전을 능가했으며, 두 모델 크기와 두 추론 모드에 걸친 실험에서 non-thinking 모드에서는 우위가, thinking 모드에서는 동률(base 모델이 이미 충분히 강해 개선 여지가 적은 상황)이 재현되었다. 결론적으로 저자들은, on-policy self-distillation의 핵심 제약이 정답 해에 대한 접근이 아니라 모델 자신의 불일치를 드러내고 교정하는 메커니즘이며, 이 메커니즘 자체는 supervision을 필요로 하지 않는다고 주장한다.


저자가 명시한 한계(Limitations)

• 범위: 실험은 하나의 모델 패밀리(Qwen3, 4B·8B, 두 추론 모드)와 자동 검증 가능한 정답이 있는 하나의 도메인(경시 수학)에만 국한된다. 투표 메커니즘은 추출·정규화 가능한 답을 전제로 하므로, 개방형(open-ended) 생성으로 확장하려면 정확 일치 투표를 더 부드러운 합의 방식으로 대체해야 한다.
• 이득 크기의 영역 의존성: OPSD 대비 우위는 non-thinking 모드에서 크고 thinking 모드에서는 작다(4B/8B에서 각각 8.5%p·10.7%p → 2.2%p·1.9%p로 축소). thinking 모드는 이미 base 정확도가 74.9·76.1로 높고 rollout이 훨씬 길어, 동일한 150스텝 예산으로 완결된 투표를 더 적게 얻기 때문으로 설명된다.
• base 모델 역량에 대한 의존성: 다수결 supervision은 base 모델이 이미 가장 자주 생성하는 답을 재생산하므로 그 답의 정확도에 의해 상한이 결정된다. 저자들의 측정에서는 도메인 내 pseudo-label의 13.3%가 오답이었으며, 의도적으로 오염된 투표 하에서의 학습 역학은 측정하지 않았다.
• 분산과 반복 실험: 매 체크포인트를 12개 샘플·5개 벤치마크로 평가하고 두 스케줄·세 방법 변형에서 주 효과를 재확인했으나, 모든 학습 설정에 대한 시드 반복 오차 막대는 아직 준비 중이며 개정판에 추가될 예정이다.