네이버 AI 랩에서 발표한 이 연구는 대규모 언어 모델(LLM)의 사후 학습을 개선하기 위한 온-폴리시 델타 증류(OPD²)라는 혁신적인 방법론을 제안합니다. 기존의 온-폴리시 증류가 단순히 스승 모델의 결과물을 모방하는 방식이었다면, 본 논문은 스승 모델이 추론 능력을 갖추기 전인 기초 모델과 튜닝된 모델 간의 확률 차이인 '델타 신호'를 핵심 학습 지표로 활용합니다. 이러한 방식은 단순한 문장 생성 능력보다는 모델이 논리적 추론 과정에서 습득한 정제된 지식만을 선택적으로 학생 모델에게 전달함으로써 학습의 효율성과 정확도를 높입니다. 연구진은 수학, 과학, 코딩 등 복잡한 사고력이 필요한 분야에서 OPD²가 기존 방식보다 뛰어난 성능을 보임을 입증하였으며, 이는 추론 성능의 비약적인 향상을 이끄는 새로운 이정표가 될 것으로 기대됩니다.
NAVER AI Lab이 발표한 논문으로, on-policy distillation(OPD)의 보상(reward) 설계 자체를 다시 들여다보고 새로운 신호인 "delta signal"을 제안합니다.
Overview
On-policy distillation(OPD)은 강화학습(RL)을 대체할 수 있는 포스트트레이닝 방법으로, teacher 모델이 student가 직접 생성한 토큰에 대해 점수를 매겨주는 방식입니다. 이 논문은 OPD가 여러 환경에서 연구·적용되어 왔음에도 그 근본적인 설계는 충분히 탐구되지 않았다는 점에 주목하고, teacher의 출력 분포를 그대로 모방하는 대신 teacher와 그 base 모델(추론 튜닝 이전 모델)의 차이(delta)를 증류 신호로 사용하는 OPD²(On-Policy Delta Distillation)를 제안합니다.
Background
기존 OPD는 teacher와 student 간 로그확률 차이를 토큰 보상으로 사용해, teacher가 선호하는 토큰은 강화하고 그렇지 않은 토큰은 약화시킵니다.
그런데 저자들은 추론 튜닝을 거친 teacher 모델이 튜닝 이전부터 갖고 있던 자연스러운 문체·선호까지 함께 담고 있어, teacher 하나만 모방해서는 teacher가 "추론 능력을 얻게 된 학습 궤적" 자체를 온전히 드러내지 못한다고 주장합니다.
가장 관련 있는 선행 연구인 ExOPD는 teacher-base 차이를 증폭 계수(λ>1)로 확대해 student가 teacher를 능가하도록 유도하는 반면, 이 논문은 그 차이 자체를 주된 보상으로 사용한다는 점에서 다릅니다.
Methods
Delta signal: 기존 OPD 보상 대신, teacher와 teacher-base의 로그확률 차이 를 새로운 보상으로 정의합니다.
분석: 워드클라우드·토큰 단위 시각화·통계 분석을 통해, delta signal이 hence, however, thus 같은 논리 연결어를 강화하고, perhaps, tackle, consider 같은 모호한 탐색성 표현은 억제하는 경향을 확인했습니다.
OPD² 설계: delta signal을 그대로 쓰면 학습이 특정 토큰으로 완전히 수렴(one-hot)해버리는 불안정성이 있어, 두 가지 보완 장치를 추가합니다.
Experiments
설정: Qwen3(1.7B/4B/8B, non-thinking·thinking 모드)와 Gemma4-E4B-it을 student로, 동일 계열의 더 큰 모델을 teacher로 사용. Math·Science·Code 3개 도메인을 1:1:1로 섞은 데이터로 학습 후 7개 Math, 3개 Science, 4개 Code 벤치마크(pass@1)로 평가.
Non-thinking 모드: OPD²는 모든 모델 크기·도메인에서 최고 평균 성능을 기록했으며, Qwen3-1.7B의 경우 Math 평균이 34.8→54.6으로 상승해 OPD·ExOPD를 각각 3.6점, 3.2점 앞섰습니다. 특히 OPD²로 학습한 4B 모델이 OPD·ExOPD로 학습한 8B 모델보다 더 높은 성능을 보였습니다.
Thinking 모드(이미 강한 baseline): 기존 OPD는 종종 성능을 오히려 떨어뜨리고 ExOPD도 개선 폭이 제한적인 반면, OPD²는 모든 크기·도메인에서 가장 높은 평균 성능을 유지했습니다. 예로 Qwen3-8B의 HMMT25 점수는 44.3→52.3으로 향상(OPD 43.3, ExOPD 46.3).
Gemma4 일반화: 표준 OPD는 세 도메인 모두에서 성능을 크게 떨어뜨렸지만, OPD²는 Math 평균을 60.6→67.8로 끌어올리며 다른 모델 계열로도 효과가 전이됨을 보였습니다.
학습 동역학: OPD·ExOPD는 초반에 정점을 찍은 뒤 정체되거나 하락하는 반면, OPD²는 더 큰 초기 개선과 함께 학습 전 구간에서 꾸준히 우위를 유지했습니다.
Ablation: delta signal을 제거(기존 OPD로 되돌림)했을 때 성능 저하가 가장 컸고, joint condition·centering 제거는 상대적으로 영향이 작아 delta signal이 핵심 기여 요소임을 확인했습니다.
연산 비용: teacher-base의 추가 forward pass가 필요해 학습 시간이 OPD 대비 약 24~28%(Qwen3), 8%(Gemma4) 증가했지만, ExOPD와는 비슷한 수준입니다.
Conclusion
저자들은 teacher와 그 base 모델의 차이(delta signal)가 추론 튜닝으로 얻어진 지식만을 선명하게 담아내는 효과적인 증류 신호임을 보였고, 이를 centering과 joint condition으로 안정화한 OPD²가 Math·Science·Code 3개 도메인, 14개 벤치마크, 1.7B~8B 크기의 Qwen3·Gemma4 전반에서 기존 OPD 및 최신 기법(ExOPD) 대비 일관되게 우수한 성능을 낸다는 결론을 내립니다. 특히 이미 강한 thinking-mode 모델에서도 성능 저하 없이 개선을 이끌어낸다는 점을 on-policy distillation 설계의 중요한 이정표로 제시합니다.
OPD2: 델타 시그널을 통한 차세대 AI 추론 능력 강화 및 효율적 전이 전략
출처: 260716 네이버 AI 랩, "대규모 언어 모델의 학습 후 특정 추론 능력을 분리하고 정제하는 온-폴리시 델타 증류(OPD2) 방법"
1. 서론: AI 교육의 패러다임 시프트와 OPD2의 철학
현대 AI 정렬(Alignment) 전략의 핵심은 단순한 지식의 양적 팽창이 아니라, 복잡한 문제를 해결하는 '추론의 질'을 어떻게 효율적으로 내재화하느냐에 있습니다. 기존의 지식 증류(Knowledge Distillation) 방식이 교사 모델의 외형적 결과물을 복제하는 데 급급했다면, 본 연구에서 제시하는 OPD2(On-Policy Delta Distillation)는 모델이 '사고를 형성하는 궤적' 그 자체를 전이하는 전략적 진화를 의미합니다.
이를 교육적 관점에서 비유하자면, 전통적인 온-폴리시 증류(OPD)는 선생님이 아는 모든 지식과 말투, 심지어 불필요한 습관까지 학생에게 무분별하게 받아적게 하는 방식입니다. 이 경우 학생은 추론 능력뿐만 아니라 선생님의 고유한 편향성까지 학습하게 되어 모델의 순수성이 훼손될 우려가 있습니다.
반면, OPD2는 '공부하기 전의 선생님(Base)'과 '추론 튜닝을 마친 선생님(Tuned)' 사이의 격차, 즉 '비법(Delta)'만을 정밀하게 추출하여 학생에게 전달합니다. 선생님이 학습을 통해 새롭게 깨달은 논리적 매듭과 문제 해결의 핵심 시그널만을 이식함으로써, 학생 모델은 본래의 범용 지식 체계는 보존하면서도 고도화된 추론 기술만을 날카롭게 연마할 수 있습니다. 이는 모델의 개성을 유지하며 핵심 역량만을 강화해야 하는 기업용 맞춤형 AI 구축에 있어 필수적인 방법론입니다.
2. 어휘의 진화: 논리적 정교화와 사고의 반추 분석
모델의 추론 능력이 비약적으로 향상되었음은 단순히 정답률 수치가 아니라, 모델이 구사하는 '논리적 이정표'의 변화에서 명확히 드러납니다. OPD2 학습 후 나타나는 어휘적 특징은 AI의 답변 신뢰도(Reliability)와 직결되는 비즈니스적 가치를 내포합니다.
워드 클라우드 및 통계 분석(Table 1, Figure 2)에 따르면, OPD2는 추론의 인과관계를 정의하는 논리 연결어의 사용 빈도를 전략적으로 강화합니다. 특히 'hence', 'however', 'thus'와 같은 단어의 급증은 모델이 단순한 결과 나열이 아닌, '사고의 반추(Self-reflection)'와 '반박 시나리오 검토'라는 고차원적 공정을 수행하고 있음을 시사합니다. 'regardless'의 증가는 조건부 추론의 강화를, 'note'는 중요 논거에 대한 자기 검증 능력을 상징합니다.
반대로 'perhaps', 'try', 'maybe'와 같은 불확실한 추측 어휘와 'tackle', 'look', 'consider'와 같이 모호한 문제 해결 서술어는 눈에 띄게 감소합니다. 이는 모델이 막연한 시도 대신 명확한 논리 전개를 선택함으로써 추론의 확신도와 정밀성을 확보했음을 보여줍니다.
구분
주요 어휘
전략적 의미 및 비즈니스 가치
강화된 논리 어휘
hence, however, regardless, note, thus, instead
사고의 인과관계 명확화, 대안 검토를 통한 답변 신뢰도 향상
억제된 모호 어휘
perhaps, maybe, tackle, look, consider, analyze
모호한 시도 배제, 명확한 논리 구조 정립을 통한 정답 도달율 상승
3. 핵심 메커니즘: '델타 시그널'의 정밀 타격 전략
OPD2의 기술적 핵심은 교사 모델의 학습 궤적을 수치화한 '델타 시그널(\(R_\Delta\))'에 있습니다.
이는 모델이 이미 알고 있는 일반 상식(Base)을 다시 가르치는 데 컴퓨팅 자원을 낭비하지 않고, 오직 '문제 해결의 정수'에만 학습 동력을 집중시키는 정밀 타격 전략입니다. 기존 OPD가 교사와 학생의 전체 확률 분포 차이를 줄이려 했다면, OPD2는 교사가 학습을 통해 얻은 '지능의 상승분'에만 집중합니다.
추론 신호의 순수 분리: 교사 모델의 문체적 편향이나 배경 지식을 배제하고, 오직 추론 튜닝 단계에서 형성된 고차원적 논리 구조만을 학생에게 주입합니다.
전략적 학습 효율성: 방대한 데이터 전체를 학습시키는 대신 핵심 성능 격차(Delta)만을 전이함으로써 데이터 효율성을 극대화하고 학습 안정성을 확보합니다.
Strong-to-Weak의 한계 극복: 교사와 학생 간의 체급 차이에서 발생하는 노이즈를 델타 시그널이 필터링하여, 소형 모델이 자기 주도적으로 논리 체계를 구축하도록 돕습니다.
4. 성능 지표 및 산업적 임팩트: SLM의 강력한 도약
OPD2는 소형 모델(SLM)이 짧은 사후 학습만으로도 체급을 뛰어넘는 추론 성능을 확보할 수 있음을 입증했습니다. 이는 특히 최신 기법인 ExOPD(Extrapolated OPD)와 비교했을 때도 압도적인 우위를 점합니다.
학습 동역학 및 비교 우위
실험 데이터(Figure 4)에 따르면, OPD2는 학습 초기부터 OPD 및 ExOPD 대비 훨씬 가파른 성능 향상 곡선을 그리며 고점에 도달합니다. ExOPD가 성능 도달 후 정체되거나 하락하는 경향을 보이는 것과 달리, OPD2는 델타 시그널의 명확한 가이드 덕분에 안정적인 고점을 유지하는 강력한 학습 동역학을 보여줍니다.
도메인별 성능 성취 (1.7B ~ 8B 모델)
수학 (AIME, MATH500): Qwen3-1.7B 모델은 OPD2 적용 후 수학 성능이 34.8점에서 54.6점으로 급상승했습니다. 이는 자신보다 체급이 큰 8B 모델의 초기 성능을 위협하는 수준입니다.
과학 (GPQA): 4B 모델에서 최대 60.0점을 기록하며, 복잡한 대학원 수준의 과학 추론에서 대형 모델에 근접하는 성과를 도출했습니다.
코딩 (CodeContests): 1.7B 모델 기준 기존 대비 약 19점 이상의 점수 향상을 기록하며, 논리적 구조 설계 및 코드 생성 능력이 비약적으로 발달했습니다.
경제적 타당성 분석
OPD2는 학습 단계에서 교사 베이스 모델의 연산이 추가되어 약 24~28%의 추가 비용이 발생합니다. 그러나 이를 통해 소형 모델이 대형 모델급 성능을 구현함으로써 얻는 추론 단계의 인프라 비용(OPEX) 절감 효과는 초기 학습 비용을 압도합니다. 이는 저전력 온디바이스(On-device) AI 환경에서도 고난도 추론 엔진을 탑재할 수 있게 하는 실질적인 경제적 타당성을 제공합니다.
5. 결론 및 향후 적용 방안
OPD2는 AI 포스트 트레이닝 분야에서 '지식의 양'보다 '사고 궤적의 정제'가 중요하다는 사실을 입증한 이정표적 연구입니다. 모델의 사고 과정을 증류하는 이 방식은 향후 AI 정렬 기술의 표준으로 자리 잡을 것입니다.
[보완 내용 (Appendix)]
1. 수렴 안정성을 위한 '일치 조건(Agreement Condition)' 델타 시그널(\(R_\Delta)\)만을 사용할 경우 학생 모델이 교사의 신호를 과도하게 추종하여 특정 토큰에만 수렴하는 불안정성이 발생할 수 있습니다. 이를 해결하기 위해 OPD2는 학생 모델의 신호 방향이 교사 모델의 원래 신호와 일치할 때만 학습을 진행하는 '일치 조건'을 도입했습니다. 이는 학습의 수렴 속도를 높이면서도 모델의 붕괴를 막는 안전장치 역할을 합니다.
2. 연산 비용과 ROI(투자 대비 효과) Table 9에 명시된 바와 같이, OPD2는 추가적인 Forward pass로 인해 표준 OPD 대비 학습 시간이 24~28% 증가합니다. 그러나 이는 단 100회의 짧은 학습 단계만으로도 모델 규모를 뛰어넘는 성능 점프를 가능케 합니다. 운영 단계에서 수십 배 비싼 대형 모델을 대신하여 SLM을 배포할 수 있다는 점을 고려할 때, 이는 매우 높은 ROI를 보장하는 전략적 선택입니다.
3. 도메인 혼합 전략의 가치 본 연구에서 활용한 1:1:1 혼합 데이터셋 구성은 각 도메인에서 추출된 델타 시그널들이 서로 보완 작용을 일으키도록 설계되었습니다. 이는 수학적 엄밀성, 과학적 탐구심, 코딩의 논리 구조가 결합된 범용적 지능 지수 향상에 기여하며, 실제 비즈니스 현장의 복합적인 문제 해결에 최적화된 모델을 생성합니다.
