LLM 추론 최적화 - MemHarness 기억 재구성 시스템

https://arxiv.org/pdf/2607.28272

2026.7.30
[MemHarness: Memory Is Reconstructed, Not Replayed]

MemHarness는 거대언어모델(LLM) 에이전트가 과거의 경험을 단순히 있는 그대로 복제하여 사용하는 기존의 '단순 재생(Replay)' 방식의 한계를 극복하기 위해 제안된 혁신적인 프레임워크입니다. 이 기술은 인간의 기억이 현재 상황에 맞춰 유연하게 재구성된다는 점에 착안하여, 검색된 기억을 현재의 상태와 비교하고 비판적으로 검토하여 최적화된 지침으로 재구축(Reconstruction)하는 과정을 도입했습니다. 연구 결과에 따르면 이러한 맥락 기반의 재구성 알고리즘은 잘못된 정보가 전이되는 것을 방지할 뿐만 아니라, 에이전트의 본질적인 추론 능력을 강화하여 미학습 환경에서도 높은 성능을 발휘하게 합니다. 결과적으로 MemHarness는 명시적인 기억 저장소의 추적 가능성과 학습된 파라미터의 적응성을 결합함으로써, 더욱 영리하고 유연하게 판단하는 인공지능 에이전트의 새로운 표준을 제시합니다.

 

과거 경험을 검색하는 것은 대규모 언어 모델 에이전트의 성능을 향상시키는 일반적인 전략이 되었습니다. 그러나 기존의 메모리 증강 에이전트들은 대부분 검색된 경험을 정적인 기록으로 취급하여 현재 상황과 일치하는지 여부와 관계없이 그대로 재생합니다. 이러한 "재생" 패러다임은 저장된 경험의 추상적이고 일반적인 특성과 의사 결정 시점에 마주하는 구체적이고 끊임없이 변화하는 상태 사이의 간극을 무시하여 부정적인 전이를 자주 초래합니다. 반면, 인간은 과거 경험을 그대로 회상하는 경우가 드물고, 대신 검색된 기억을 재구성하고 현재 맥락에 맞게 적용합니다. 이러한 점에 착안하여, 본 논문에서는 LLM 에이전트가 현재 맥락을 기반으로 과거 경험을 능동적으로 활용하고 재구성할 수 있도록 하는 프레임워크인 MemHarness를 제안합니다. 각 의사 결정 단계에서 통합 정책 모델은 현재 상태를 고려하여 검색된 경험을 비판적으로 분석하고 재구성하여 행동하기 전에 맥락에 기반한 지침을 제공합니다. 이러한 재구성 능력은 GRPO를 사용한 엔드투엔드 학습을 통해 자연스럽게 나타납니다. ALFWorld와 WebShop 데이터셋에 대한 실험 결과, MemHarness는 순수 강화 학습(RL) 및 정적 메모리 증강 기반 알고리즘보다 훨씬 뛰어난 성능을 보였으며, 데이터 분포 이탈(OOD) 시나리오에서도 강력한 안정성을 입증했습니다. 나아가, 본 연구의 분석 결과는 이러한 재구성 목표가 부정적 전이를 방지할 뿐만 아니라 훈련 과정에서 잠재적인 지침 역할을 하여 에이전트의 내재적 추론 능력을 근본적으로 향상시킨다는 것을 보여줍니다.

 

 

 

 

2026년 7월 31일에 공개된 MemHarness: Memory Is Reconstructed, Not Replayed(Shanghai AI Lab, 저장대, 상하이자오퉁대 등 공동 저술) 논문입니다. 위 다이어그램은 이 논문 핵심 파이프라인을 요약한 것이고, 아래에서 단계별로 상세히 풀어드립니다. 원문에 충분한 설명이 없어 보충이 필요한 부분은 [보완 내용]으로 표시하고 별도 출처를 밝혔습니다.

 

1. 개요 (Overview)

이 논문의 문제의식은 단순합니다. 대부분의 기존 메모리 증강 에이전트는 검색된 경험을 정적인 기록으로 취급하여 현재 상황과의 정합성과 무관하게 그대로 컨텍스트에 삽입하는 "재생(replay)" 방식을 따른다는 것입니다. 저자들은 이와 대조적으로 인간은 과거 경험을 그대로 회상하는 경우가 드물고, 대신 현재 맥락에 맞게 검색된 기억을 재조직하고 적응시킨다는 점에서 착안해, 에이전트가 현재 맥락을 바탕으로 검색된 경험을 능동적으로 활용하고 재구성하도록 만드는 프레임워크인 MemHarness를 제안합니다. 핵심은 이러한 재구성 능력이 별도의 지도 신호 없이 GRPO를 이용한 종단간(end-to-end) 학습을 통해 자연스럽게 발현된다는 점이며, ALFWorld와 WebShop 실험에서 MemHarness가 순수 RL 및 정적 메모리 증강 베이스라인을 크게 능가하고, 분포 외(OOD) 상황에서도 강건함을 보인다고 보고합니다.

 

2. 배경 (Background)

기존 접근의 한계. LLM 에이전트는 순차적 의사결정을 위한 자율 에이전트로서 강력한 능력을 보여왔고, 경험적 기억은 이런 에이전트가 과거 성공을 재사용하고 반복된 실수를 피하도록 돕는다는 전제에서 출발합니다. 문제는 검색된 궤적이나 원칙이 정적인 기록으로 취급되어 모델 컨텍스트에 직접 삽입되는 방식이 검색 관련성과 행동 차원의 적용가능성을 혼동한다는 데 있습니다. 어떤 기억이 과제와 의미적으로 관련이 있어도, 그것이 형성된 환경 조건이 다르면 현재 상호작용 상태에는 부적절할 수 있다는 것이죠. 한편 경험을 모델 파라미터에 내재화하는 계열의 연구는 상태 조건부 행동을 가능하게 하지만, 그 경험과 결정에 미치는 영향이 암묵적이어서 검토하거나 수정하기 어렵고, 명시적 메모리 뱅크는 추적성은 좋으나 이런 적응적 활용이 부족하다고 지적합니다. 저자들은 이 지점에서 명시적이고 귀속 가능한 기억을 유지하면서도 현재 상태에 맞게 동적으로 재구성한다는 절충 지점이 필요하다고 봅니다.

 

인지과학적 영감. 이 절충 지점은 인간의 기억이 재생적이 아니라 재구성적이라는 인지과학의 핵심 통찰을 반영한다고 저자들은 설명합니다.

[보완 내용] 논문이 이 대목에서 인용한 참고문헌은 Loftus & Palmer(1974)의 고전적 연구 "Reconstruction of automobile destruction"입니다. 이 연구는 참가자들에게 교통사고 영상을 보여준 뒤 "차가 얼마나 빨리 (hit/smashed/collided 등) 했을 때"처럼 동사만 바꿔 속도를 질문했는데, "smashed"라는 단어를 사용했을 때 사람들이 더 높은 속도를 추정했다는 실험 결과가 나왔습니다. 더 흥미로운 점은 목격자의 기억은 사건 당시 지각한 정보와 사건 이후에 주어진 정보라는 두 가지 정보로 구성되며, 유도 질문을 통해 사후에 주입된 정보가 원래 기억을 왜곡시킨다는 이른바 오정보 효과(misinformation effect)입니다. 즉 기억은 고정된 기록의 재생이 아니라 새로운 단서에 의해 매번 다시 조립되는 과정이라는 것이 이 연구의 핵심 시사점이며, MemHarness가 차용한 "재생이 아니라 재구성"이라는 비유의 실증적 근거가 됩니다. (출처: simplypsychology.org, quizlet.com 요약)

 

이 통찰을 바탕으로 저자들은 기억 유도 의사결정을 환경 관찰, 경험 검색, 기억 비평, 맥락적 기억 재구성, 행동 생성이라는 다섯 단계로 재구성하고, "검색 후 재생"에서 "검색, 평가, 재구성"으로의 패러다임 전환을 제안합니다.

 

관련 연구. LLM 에이전트는 ReAct 같은 프롬프팅 패러다임으로 상호작용적 과제를 수행하며 계획이나 자기반성으로 보강되지만, 이런 학습 불필요(training-free) 방식은 고정된 모델 능력에 갇혀 있다는 한계가 있습니다. 과제 특화 기술을 습득하기 위해 지도학습이나 강화학습으로 파인튜닝하지만, 표준 RL 프레임워크는 에피소드 간 경험을 축적하고 재사용하는 명시적 메커니즘이 부족합니다. 메모리 증강 에이전트 계열에서는 Mem0, ExpeL, MemP 등이 과거 상호작용이나 정제된 통찰을 검색하지만 대부분 고정된 정책에 의존하며, 최근 연구들은 외부 메모리와 RL을 결합하되 검색된 경험을 그대로 주입하기 때문에 상태 분산이 큰 상호작용 과제에서 정합되지 않거나 오도하는 지침을 유발한다고 정리합니다.

 

3. 방법론 (Methods)

문제 정식화. 순차적 의사결정은 상태·행동·관찰 공간과 전이·보상 함수로 이루어진 POMDP로 모델링되며, 정책은 부분 관측성을 다루기 위해 최근 이력 윈도우를 조건으로 행동을 선택합니다. 경험적 메모리 뱅크는 추상 전략과 그 출처 관찰로 구성된 항목들을 보유하며, 의미론적 중복 제거를 수행하고 경험적 효용을 추적해 저효용 항목을 주기적으로 가지치기합니다. 핵심 수식적 차이는, 기존의 재생 방식이 검색된 경험을 곧바로 행동 생성의 조건으로 사용하는 반면, MemHarness는 먼저 재구성된 지침을 생성한 뒤 이를 바탕으로 행동한다는 점입니다.

 

전체 프레임워크(위 다이어그램). 추론 파이프라인은 검색, 맥락적 기억 재구성, 행동 생성이라는 세 단계로 구성되며, 이는 앞서 말한 다섯 단계 개념을 구현한 것으로 이력 윈도우가 환경 관찰 역할을, 기억 비평은 재구성 단계에 접혀 포함됩니다.

 

• ① 검색: 에이전트는 현재 이력을 바탕으로 메모리 뱅크를 쿼리할지 결정하고, 트리거되면 관련 경험을 반환하되 이를 곧바로 행동 컨텍스트에 추가하지 않고 재구성 대상으로 삼는다.
• ② 재구성: 정책은 검색된 경험을 현재 이력에 대해 비평하고 상태별 지침을 생성하여, 적용 가능한 지식은 유지하되 정합되지 않는 내용은 폐기하거나 수정합니다. 적용 가능한 경험이 없다고 판단되면 정책은 EMPTY를 출력하고, 이 경우 자체 추론에 의존하도록 지시하는 대체 지침이 사용됩니다.
• ③ 행동 생성: 동일한 정책이 이력과 재구성된 지침을 조건으로 실행 가능한 행동을 생성하며, 재구성과 행동 생성은 파라미터를 공유하고 함께 최적화됩니다.
•  

GRPO를 이용한 학습.

[보완 내용] 논문 본문은 GRPO가 별도의 가치망(critic) 없이 여러 궤적 그룹으로부터 어드밴티지를 추정한다고만 간략히 설명합니다. 처음 접하는 경우를 위해 보충하면, GRPO(Group Relative Policy Optimization)는 DeepSeekMath 논문에서 처음 제안된 방법으로, 기존 PPO가 응답의 가치를 추정하기 위해 별도로 학습된 critic 네트워크를 두었던 것과 달리, 동일한 프롬프트에 대해 생성된 응답 그룹을 샘플링하고 각 응답을 그룹 평균 대비 상대적으로 평가합니다. 이렇게 하면 그룹 평균을 넘어서는 응답은 강화되고 못 미치는 응답은 억제되며, critic 모델을 유지하는 데 드는 메모리와 연산 비용을 크게 절감할 수 있습니다. (출처: DeepSeekMath 원 논문 arXiv:2402.03300, snorkel.ai 설명 글)

 

논문에서 제시하는 구체적 설계는 다음과 같습니다.

• 보상은 희소한 과제 결과(성공 시 10점, 실패 시 0점)를 주로 반영하고, 형식적 제약을 강제하는 소규모 보너스가 추가됩니다.
• 형식 점수는 단계당 정확히 하나의 사고·행동 블록, 에피소드당 1~5회의 적절한 기억 검색 빈도, 엄격한 영어 출력이라는 세 기준을 동일 가중으로 반영합니다.
• 각 과제마다 G개의 궤적을 그룹으로 샘플링해 그룹 정규화된 어드밴티지를 계산하고, 이 궤적 수준 어드밴티지는 궤적 내 모든 토큰에 부여되어 사고 과정·재구성·행동 생성에 공유된 신용을 제공합니다. 여기에 PPO 스타일의 클리핑된 목적함수와 KL 정규화를 결합해 재구성과 행동 생성을 동시에 최적화합니다.

 

구체적 사례. 논문 부록에 실린 두 사례는 재구성이 실제로 어떻게 작동하는지 잘 보여줍니다.

• ALFWorld: 검색된 기억이 신용카드를 커피테이블에 놓으라는, 전혀 다른 과거 궤적에서 온 것이었는데도 MemHarness는 이를 있는 그대로 재생하지 않고 "목표 대상을 최종 위치에 놓는다"는 절차적 스킬을 추출해 현재 대상(컵, 사이드테이블)에 맞게 명시적으로 재작성했습니다.
• WebShop: 검색된 기억은 "모든 제약 조건을 확인한 뒤 구매 버튼을 클릭하라"는 추상적 휴리스틱이었는데, MemHarness는 재구성 단계에서 현재의 노이즈 섞인 관찰을 스캔해 사용자 제약과 맞춰 실제 구매할 상품 ID를 직접 출력하는 실행 가능한 지침으로 전환했습니다.

 

4. 실험 (Experiments)

연구 질문과 설정. 실험은 기존 기법 대비 우위(RQ1), 재구성 모듈 등 구성요소의 기여도(RQ2), OOD 강건성(RQ3), 재구성이 실제 상태 비교에 의존하는지(RQ4), 학습 중 메모리 활용 행동의 진화(RQ5)라는 다섯 질문에 답하도록 설계되었습니다. 평가는 ALFWorld(임베디드 가정 내 과제)와 WebShop(목표 지향적 온라인 쇼핑)이라는 두 상호작용 벤치마크에서 이루어지며, GPT-4o·Gemini-2.5-Pro 같은 폐쇄형 모델, ReAct·Reflexion·Mem0·ExpeL·MemP·SimpleMem 같은 프롬프트/메모리 기반 기법, RLOO·GRPO·MemRL·EvolveR·Mem0+GRPO·SimpleMem+GRPO 같은 RL 학습 기법과 비교됩니다.

 

[보완 내용] 두 벤치마크가 논문에서는 각주로만 인용되어 있어 보충하면, ALFWorld는 TextWorld 엔진을 임베디드 ALFRED 환경과 정렬한 텍스트 기반 상호작용 벤치마크로, 물체 배치, 조명 아래 관찰, 세척, 가열, 냉각, 두 물체 조작이라는 여섯 가지 과제 유형을 포함하며 부엌·침실·욕실·거실 등 다양한 방에서 이동·집기·열기 같은 고수준 명령을 수행해야 합니다. WebShop은 약 118만 개의 실제 상품과 12,087개의 크라우드소싱된 자연어 쇼핑 지시문으로 구성된 시뮬레이션 이커머스 환경으로, 에이전트는 검색과 클릭이라는 두 가지 행동만으로 지정된 속성·옵션·가격 조건에 맞는 상품을 찾아 구매해야 합니다. (출처: arxiv.org/pdf/2605.06614)

 

주요 결과. MemHarness는 ALFWorld 85.2%, WebShop 75.6%의 성공률로 가장 우수한 결과를 기록했습니다. 70억 파라미터 규모임에도 Gemini-2.5-Pro 대비 ALFWorld에서 23.1퍼센트포인트, WebShop에서 39.7퍼센트포인트 더 높은 성능을 보였다는 점이 눈에 띕니다. 특히 순수 RL(GRPO)은 강력한 베이스라인이지만 외부 메모리를 단순히 결합하면(Mem0+GRPO, SimpleMem+GRPO) 오히려 성능이 크게 저하되는 반면, MemHarness는 상태 조건부 재구성으로 이 문제를 해결해 표준 GRPO 대비 ALFWorld에서 8.8퍼센트포인트, WebShop에서 9.5퍼센트포인트 향상시켰습니다.

 

Ablation 연구. 형식 정렬만 학습한 cold-start 모델은 성능이 낮아(ALFWorld 7.6%) RL이 실제 상호작용적 의사결정 능력 획득에 필수적임을 확인했습니다. 정제되지 않은 원본 메모리를 주입하면 ALFWorld 성능이 오히려 떨어져, 있는 그대로의 재생이 상태 불일치 노이즈를 유발한다는 것을 보여줍니다. 흥미롭게도 테스트 시점 메모리를 완전히 끈 경우에도 순수 RL 베이스라인보다 우수(ALFWorld 83.0% 대 76.4%)하여, 학습 중의 재구성 목표가 에이전트의 내재적 추론 능력 자체를 향상시키는 고품질 잠재 지침으로 작용함을 시사합니다. 또한 내부 재구성 모듈을 범용 명령어 튜닝 LLM으로 교체하면 성능이 크게 저하(85.2%→77.7%)되어, 제로샷 텍스트 재작성만으로는 불충분하고 환경 역학에 맞춘 종단간 RL 학습이 핵심임을 보여줍니다.

 

OOD 일반화. 훈련 중 보지 못한 방 배치와 물체 배치를 사용하는 ALFWorld OOD 설정에서 MemHarness는 가장 높은 평균 성공률(85.9%)을 기록해 원본 메모리 재생 베이스라인(76.3%)을 크게 상회했습니다. 적응되지 않은 메모리를 그대로 주입하면 낯선 환경에서 오히려 성능이 저하되어(82.4%) 검증되지 않은 재생이 노이즈를 유발함을 재확인합니다.

 

메커니즘 심층 분석. 재구성 과정에서 출처 상태를 완전히 제거하면 거부율은 변하지 않지만 과제 성공률이 떨어지고(85.2%→80.0%), 출처 상태를 무작위로 바꾸면 거부율이 뚜렷이 증가(ALFWorld 8.7%→13.3%, WebShop 56.0%→63.3%)하여, 정책이 실제로 과거와 현재 상태를 비교해 부적합한 기억을 걸러낸다는 것을 확인했습니다. 강한 LLM으로 현재 상태를 최소한으로 편집해 검색된 기억을 부적용하게 만드는 1천 개의 반사실적 프로브를 구성한 결과에서도, 두 환경 모두 상태의 미세한 변화에 반응하는 패턴이 확인됩니다.

 

학습 동역학. MemHarness는 고정된 규칙이 아니라 과제별 메모리 전략을 학습하는데, ALFWorld는 궤적당 2~3회 수준의 희소한 검색 정책으로 수렴하는 반면 WebShop은 빈번한 검색과 지속적인 능동적 필터링을 유지합니다. 두 환경 모두에서 수용된 재구성을 포함한 궤적이 거부된 재구성을 포함한 궤적보다 일관되게 높은 성공률을 보여, 에이전트가 기억의 적용 가능성을 실제로 판단하는 법을 학습했음을 확인합니다.

 

5. 결론 (Conclusion)

MemHarness는 메모리 증강 에이전트를 있는 그대로의 재생에서 상태 조건부 재구성으로 전환시키는 RL 기반 프레임워크입니다. GRPO로 종단간 최적화된 단일 통합 정책이 과거 경험을 자율적으로 비평하고 상태별 지침으로 재작성한 뒤 행동하는 법을 학습하며, ALFWorld와 WebShop 실험에서 70억 파라미터 모델이 폐쇄형 모델 및 RL 베이스라인을 특히 OOD 환경에서 상당히 능가했습니다. 분석 결과 이 메커니즘은 정합되지 않는 노이즈를 능동적으로 걸러낼 뿐 아니라, 추론 시 메모리를 사용할 수 없을 때조차 에이전트의 내재적 추론 능력을 근본적으로 향상시킨다고 저자들은 결론짓습니다. 향후 연구는 더 큰 모델과 개방형(open-ended) 환경으로의 확장을 탐구할 계획입니다.