에이전트 AI - SEED:에이전트 강화 학습을 위한 자체 진화형 온-정책 증류

 

https://arxiv.org/pdf/2607.14777v1

2026.7.16
[SEED: SELF-EVOLVING ON-POLICY DISTILLATION FOR AGENTIC REINFORCEMENT LEARNING]

본 논문은 에이전트 인공지능이 복잡한 장기 과제를 수행할 때 겪는 보상의 희소성 문제를 해결하기 위해 SEED(자체 진화형 온-정책 증류) 프레임워크를 제안합니다. 이 시스템은 에이전트가 스스로 생성한 성공 및 실패 경로를 분석하여 사후 통찰 기술이라는 자연어 가이드를 추출하고, 이를 정책 모델에 다시 주입하여 토큰 단위의 세밀한 학습 신호를 생성합니다. 핵심은 모델이 행동하는 '행동가'와 경로를 분석하는 '분석가' 역할을 동시에 수행하며, 정책이 업데이트될 때마다 분석 역량도 함께 진화하여 최신 상태에 최적화된 지도를 제공한다는 점입니다. 결과적으로 SEED는 추론 시 별도의 외부 메모리나 추가 프롬프트 없이도 학습 효율과 일반화 성능을 대폭 향상시키며 다양한 벤치마크에서 기존 강화 학습 기법을 상회하는 성과를 증명했습니다.

 

Tsinghua大 등 연구진이 발표한 논문으로, 긴 호흡(long-horizon)의 에이전트형 LLM을 RL로 학습시킬 때 발생하는 "성긴 보상" 문제를 해결하는 프레임워크를 제안합니다.

 

Overview

멀티턴 상호작용·도구 사용을 하는 LLM 에이전트는 보통 outcome 기반 RL로 학습되지만, 에피소드 단위의 성긴 보상은 개별 결정에 대한 지침을 거의 주지 못해 결과 수준의 피드백과 토큰 수준의 정책 학습 사이에 감독 공백이 생깁니다. Seed는 완료된 on-policy 궤적을 "hindsight skill"(사후적으로 얻은 재사용 가능한 교훈)로 변환하고, 이를 다시 정책에 증류(distill)하는 self-evolving 루프를 제안합니다. 

 

Background

• Reflexion, ExpeL 등 기존 hindsight 학습 기법들은 사후 경험을 정적인 메모리나 추론 시점 컨텍스트로만 활용하는 한계가 있습니다.
• On-policy distillation 계열 연구들은 외부 teacher 없이 같은 모델을 다른 맥락에서 비교해 학습 신호를 만들지만, 특권적 supervision(teacher 역할)의 소스가 정적이거나 정책과 별개로 갱신되는 경우가 많아 정책이 발전할수록 낡은 신호가 됩니다.
• 저자들은 효과적인 hindsight supervision이 갖춰야 할 세 조건으로 on-policy(현재 정책의 상태 반영), dense(토큰 단위 신호), self-evolving(정책과 함께 진화) 을 제시합니다.

Methods

Seed는 2단계로 구성됩니다.

1. Hindsight-Skill SFT: 기본 정책으로 수집한 궤적들을 외부 분석 모델(GLM-5.2)이 분석해 "재사용 가능한 워크플로우/결정적 관찰/실패 회피 규칙" 등을 자연어 스킬로 요약하도록 만들고, 이를 학습해 정책 스스로 궤적 분석 능력을 갖추게 합니다.
2. Self-Evolving OPD: RL 도중 현재 정책이 (a) 궤적을 수집하는 actor 역할과 (b) 그 궤적을 스킬로 요약하는 analyzer 역할을 동시에 수행합니다. 동일한 샘플링된 행동을 "스킬 미포함 맥락"과 "스킬 포함 맥락"에서 각각 재채점해, 그 확률 차이(로그확률 shift)를 신뢰도 게이트를 거쳐 토큰 단위 증류 신호로 변환하고, 이를 GRPO 기반 outcome RL과 함께 결합해 최적화합니다. 추론(배포) 시에는 analyzer/스킬 없이 순수 정책만 사용됩니다.

Experiments

• 벤치마크: ALFWorld(체화 상호작용), WebShop(웹 탐색·구매), Search-based QA(NQ·TriviaQA·HotpotQA 등 7개 데이터셋) — Qwen2.5-3B/7B-Instruct, Qwen3-1.7B-Instruct 3개 백본에서 평가.
• 주요 결과: GRPO 대비 Seed는 ALFWorld 평균 성공률을 14.9~45.9점, Search QA를 1.4~9.3점, WebShop 점수를 8.7~19.8점, 성공률을 5.5~39.0점 향상시켰습니다. Skill-GRPO(스킬을 프롬프트에 넣어 탐색만 유도)보다도 큰 폭으로 앞섰습니다. 
• 학습 동역학: ALFWorld에서 학습 40스텝 시점에 Seed는 약 57%, GRPO는 약 35%의 성공률을 보였고, Seed는 평균 에피소드 길이도 더 빠르게 28턴에서 13턴으로 줄어든 반면 GRPO는 약 16턴에 그쳤습니다. 
• 샘플 효율성: Seed는 훈련 데이터의 60%만으로 GRPO 전체 데이터 학습 성능(75.0)을 넘어서는 80.7점을 기록했습니다. 
• 일반화: ALFWorld의 미학습(unseen) 스플릿에서 Seed는 평균 성공률을 70.9→86.2로 끌어올려 GRPO보다 15.3점 높았습니다. 
• Ablation: hindsight-skill SFT, self-evolving OPD, on-policy 스킬(정적 라이브러리 대신 실시간 생성) 각각을 제거하면 ALFWorld 평균이 91.8에서 각각 86.0/87.0/84.4로 떨어져, 세 요소 모두가 성능에 기여함을 확인했습니다.

Conclusion

Seed는 완료된 궤적에서 얻는 "사후적 통찰"을 정적 메모리가 아니라 정책과 함께 계속 진화하는 토큰 단위 증류 신호로 전환함으로써, outcome 기반 RL만으로는 놓치는 세밀한 credit assignment 문제를 보완합니다. 체화 상호작용·웹 탐색·검색 기반 QA 등 다양한 장기 에이전트 과제에서 일관되게 성능·샘플 효율성·미학습 환경 일반화를 개선했으며, 배포 시에는 별도의 analyzer나 스킬 프롬프트 없이 순수 정책만으로 동작한다는 실용적 장점도 있습니다.

 

 

1. 서론: 에이전트 강화 학습의 새로운 지평

현재 인공지능 기술은 단순한 텍스트 생성을 넘어, 환경과 복잡하게 상호작용하고 도구를 사용하며 스스로 경로를 수정하는 '에이전트(Agentic)' 모델로 진화하는 중대한 기술적 변곡점에 서 있습니다. 특히 다회차 상호작용이 필요한 긴 여정(Long-horizon)의 과업에서 에이전트가 얼마나 효율적으로 학습하고 일반화할 수 있는지는 곧 서비스의 생존과 직결되는 전략적 핵심 경쟁력입니다.

기존의 에이전트 학습은 주로 '성공 혹은 실패'라는 결과론적인 보상에만 의존해 왔습니다. 그러나 우리는 SEED(Self-Evolving On-Policy Distillation)를 통해 새로운 패러다임을 제시하고자 합니다. SEED는 단순히 보상을 쫓는 기계적 최적화를 넘어, 자신의 행동을 사후에 분석하고 그 지혜를 파라미터 내부에 내면화하는 '스스로 진화하는 에이전트'를 향한 여정입니다.

이제 기존 강화 학습이 직면한 근본적인 한계가 무엇인지, 왜 우리가 '사후 통찰'에 주목해야 하는지 살펴보겠습니다.

 

2. [개념 분석] 사후 통찰(Hindsight)과 증류(Distillation): 일상의 언어로 이해하기

복잡한 알고리즘 이면에 숨겨진 학습의 본질은 우리가 일상에서 지식을 습득하는 방식과 매우 닮아 있습니다. 기술적 장벽을 낮추기 위해 이를 비유로 풀어보겠습니다.

• 사후 통찰(Hindsight): 이는 '시험이 끝난 뒤 작성하는 오답 노트'와 같습니다. 실전 중에는 무엇이 정답인지 확신하기 어렵지만, 에피소드가 끝난 뒤 전체 과정을 복기하면 어느 지점에서 결정적인 실수를 했고, 어떤 단서가 승부처였는지 명확히 알 수 있습니다. SEED는 이 '사후의 깨달음'을 학습의 핵심 재료로 삼습니다.
• 증류(Distillation): 이는 '스승의 가르침을 내면화하여 홀로서기를 준비하는 과정'입니다. 사후 통찰이라는 '스승'이 준 고차원의 가이드를 모델의 기본 정책에 심어줌으로써, 나중에는 별도의 힌트(Prompt) 없이도 스스로 최적의 판단을 내릴 수 있게 만드는 것입니다.

[표 1] 전통적 강화 학습 vs SEED의 사후 통찰 학습 비교

항목	전통적 강화 학습 (Outcome-only RL)	SEED (Self-Evolving & Internalized)
학습 시점	에피소드 종료 후 결과 기반	에피소드 종료 후 전체 과정 복기 및 분석
정보의 질	성공/실패라는 단순 스칼라 값	자연어로 기술된 전략 및 실패 교훈(Skill)
피드백의 밀도	매우 희소함 (경로당 보상 하나)	조밀함 (모든 토큰 레벨의 세밀한 가이드)
추론 시 특징	일반적인 정책 실행	추가 프롬프트 없이 지혜 내면화

이러한 직관적인 개념들이 실제 환경에서 어떤 문제를 해결하는지 구체적인 '감독의 간극'을 통해 짚어보겠습니다.

 

3. [문제 제기] 희소한 보상과 감독의 간극(Supervision Gap)

긴 상호작용의 끝에 주어지는 단 하나의 보상은 모델에게 있어 매우 '가혹한 선생님'입니다. 수백 번의 토큰 생성과 도구 사용이 이루어진 뒤 "실패"라는 짧은 통보만 받는다면, 모델은 자신의 결정 중 정확히 어느 지점이 잘못되었는지 알 길이 없습니다.

• 신용 할당(Credit Assignment)의 어려움: 수많은 결정 중 어떤 행동이 성공에 기여했는지, 혹은 어떤 사소한 실수가 실패로 이어졌는지 구분하는 '희소한 보상'의 문제는 학습 효율을 극도로 저하시킵니다.
• 정보의 손실: 설령 임무에 실패했더라도 그 과정 속에는 훌륭한 '부분적 성공'이나 '유효한 시도'가 포함될 수 있습니다. 전통적 방식은 이러한 소중한 경험을 단순히 '실패작'으로 분류하여 폐기하는 비효율성을 보입니다.

SEED는 과거의 실수를 단순한 데이터가 아닌 재사용 가능한 '기술(Skill)'로 변환합니다. 이는 모델이 스스로를 가르치는 메커니즘을 구축함으로써, 데이터 한 점에서도 최대의 교훈을 추출해내는 당위성을 확보하는 과정입니다.

 

4. [1단계] 사후 통찰 기술 지도 학습(Hindsight Skill SFT)

SEED의 첫 단계는 모델이 자신의 행동을 '언어로 요약하고 분석'하는 기초 체력을 기르는 것입니다. 행동가(Actor)가 되기 전에 먼저 분석가(Analyzer)로서의 자질을 갖추는 부트스트래핑(Bootstrapping) 과정입니다.

• 오프라인 궤적 수집: 베이스 모델을 통해 다양한 환경에서 날것의 경험(Trajectory)을 수집합니다.
• 기술 주석(Skill Annotation): 여기서는 GLM-5.2와 같은 강력한 외부 분석기(External Analyzer)를 활용합니다. 수집된 궤적을 보고 "전구를 찾으려면 먼저 서랍을 확인해야 함"과 같은 성공 전략이나 실패 교훈을 자연어 '기술'로 추출합니다.
• SFT 공정: 모델은 '자신이 수행한 전체 과정'을 입력받아 '추출된 기술'을 예측하도록 학습됩니다.

이 단계를 통해 모델은 파라미터 내부에 '행동가'인 동시에 자신의 과거를 복기할 줄 아는 '분석가'의 잠재력을 갖게 됩니다. 이제 실전 학습 환경에서 본격적으로 자아를 확장할 준비가 끝났습니다.

 

5. [2단계] 자기 진화형 온-정책 증류(Self-Evolving OPD)

SEED의 진정한 혁신은 '행동하는 나'와 '분석하는 나'가 동일한 모델(\pi_\theta) 안에서 공생하며 동반 성장한다는 점에 있습니다. 이를 우리는 자가 진화(Self-Evolving) 루프라고 부릅니다.

 

5.1 Actor와 Analyzer의 공생 (Co-evolution)

모델은 환경에서 데이터를 수집하는 'Actor'와, 수집된 데이터를 보고 기술을 뽑아내는 'Analyzer' 역할을 동시에 수행합니다. 모델의 정책이 업데이트될수록 분석의 질도 함께 정교해지며, 이는 다시 더 신선하고 정확한 감독 신호로 이어집니다.

 

5.3 추론 효율성: 목발 없는 홀로서기

이 과정의 결과는 고무적입니다. 학습 시에는 '기술'이라는 목발을 짚고 배웠지만, 학습이 끝난 뒤(Inference)에는 추가 프롬프트나 외부 메모리 없이 모델 파라미터 자체가 그 지혜를 담고 있게 됩니다. 즉, 계산 자원의 낭비 없이 최고 수준의 지능을 발휘합니다.

6. [구현 가이드] 엔지니어링 관점의 단계별 이행 전략

실제 시스템을 구축하고자 하는 엔지니어를 위해 소스 문헌의 핵심 요구사항을 로드맵으로 정리했습니다.

1. 데이터 파이프라인: 오프라인 궤적 수집 시 결과의 유효성 검증(Validity check) 엔진을 구축하십시오. 잘못된 기술 주석은 전체 학습의 수렴을 방해합니다.
2. 동기화 메커니즘: 정책 업데이트 시 Analyzer 역할도 동일한 체크포인트를 공유하므로, 별도의 Teacher 모델 관리 없이도 '신선한' 피드백이 유지되도록 설계하십시오.
3. 손실 함수 통합: 최종 손실 함수는 다음과 같이 정의됩니다.
   

[전략적 증거: SEED의 압도적 성능]

• 샘플 효율성: SEED는 단 60%의 데이터만으로도 100% 데이터를 사용한 GRPO의 성능을 능가합니다. 이는 학습 자원을 40% 절감할 수 있다는 강력한 비즈니스적 가치를 의미합니다.
• 일반화 성능: ALFWorld "Unseen" 데이터셋에서 15.3포인트의 성능 향상을 기록했습니다. 이는 모델이 단순히 궤적을 암기한 것이 아니라, 재사용 가능한 전략을 성공적으로 내면화했음을 증명합니다.
• 도메인 확장성: WebShop(웹 탐색) 및 Search-based QA에서도 일관된 성능 우위를 보이며 에이전트 기술의 광범위한 적용 가능성을 보여주었습니다.

7. 결론: 스스로 성장하는 인공지능 에이전트의 미래

SEED는 에이전트 강화 학습의 고질적인 난제였던 '희소한 보상'을 '사후 통찰의 파라미터 내면화'라는 혁신적인 방법으로 정면 돌파했습니다. 이제 에이전트는 단순히 환경에 부딪히는 존재가 아니라, 자신의 과거를 거울삼아 스스로의 지능을 조각해나가는 주체로 거듭났습니다.