AI 에이전트 - CLAUDE.md 파일은 왜 계속 커지는 걸까요?

https://arxiv.org/abs/2608.11095

2026.8.11
[Why Does CLAUDE.md Keep Growing? Catastrophic Remembering in Agentic Coding]

이 논문은 에이전트 코딩용 지침 파일인 CLAUDE.md와 같은 프롬프트가 시간이 흐를수록 무분별하게 비대해지는 '파괴적 기억(catastrophic remembering)' 현상을 규명하고 그 해결책을 제시합니다. 연구진은 약 1,800개의 저장소를 분석하여, 관리자들이 과거 지침을 추가한 잠재적 추론(latent reasoning)을 망각하기 때문에 혹시 모를 오류를 방지하고자 불필요한 지침을 삭제하지 못하고 계속 쌓아두기만 한다는 점을 발견했습니다. 이러한 무제한적인 성장은 결국 인공지능의 지시 이행 능력(instruction-following)을 저하시키는 원인이 되지만, 지침마다 이유를 설명하는 프롬프트 주석(prompt comments)을 도입하면 불필요한 지침의 99%를 제거하고 성능을 최대 23.1%까지 개선할 수 있음을 입증했습니다. 결과적으로 이 소스는 "영어가 새로운 코드라면, 왜 코드처럼 주석을 달지 않는가?"라는 질문을 던지며 에이전트 프롬프트 관리의 새로운 표준으로 주석 기반의 유지보수를 제안합니다.

 

1. Overview (개요)

이 논문은 CLAUDE.md, AGENTS.md, copilot-instructions.md 같은 에이전트형 코딩 리드미 파일이 실제 저장소에서 끝없이 커지며, 저장소가 폐기되거나 누군가 파일을 전면 재작성할 때만 성장이 멈춘다는 현상을 다룬다. 저자는 이 원인을 "불완전한 기억(imperfect recall)"으로 추적한다 — 지침을 추가하는 비용은 항상 저렴하지만, 일단 그 지침의 근거(rationale)가 사라지면 정확도 저하 위험 없이 삭제하려면 |D|개의 지침을 가진 프롬프트에서 O(2^|D|)의 비용이 든다.

저자는 이 발산 현상을 **"catastrophic remembering(파국적 기억)"**이라 명명하며, 이는 지속학습(continual learning) 분야에서 다루는 파국적 망각(catastrophic forgetting)의 역(inverse)이라고 설명한다.

핵심 결과는 세 갈래다:

• 1,867개 저장소의 247,694개 지침 생애주기를 분석한 결과, 에이전트 프롬프트는 생애 동안 3배 이상(+226%) 커지고, 커밋마다 평균 +4.9개의 순증가가 발생하며, 지침이 오래될수록 삭제될 가능성이 낮아진다(로그-위험도 -0.032/커밋).
• IFEval을 역전시켜 최적 프롬프트가 알려진 검증 가능한 "월드(worlds)"를 만들었을 때, 잠재적 추론을 인코딩한 주석(comment)이 초과 지침의 99.3%를 제거했다(+211.3%에서 +1.4%로).
• 동일한 역전 기법을 WildIFEval에 적용하자, 프롬프트 주석이 실제 환경의 에이전트 지침 준수율을 최대 23.1%까지 개선했다.

 

2. Background (배경)

문제의식

copilot-instructions.md, AGENTS.md, CLAUDE.md 같은 에이전트 리드미는 지침을 계속 얻고 거의 버리지 않는다(Chatlatanagulchai et al., 2025 인용). 그렇다고 파일을 아예 삭제하는 것도 해법은 아니다 — 해당 파일을 보유한 저장소가 에이전트 작업을 더 빠르고 적은 토큰으로 완료한다(Lulla et al., 2026). 반대로 모든 걸 유지하는 것도 공짜가 아니다 — 제약이 누적될수록 지침 준수 성능이 저하되며(Jiang et al., 2024; Lior et al., 2025), 중앙값 파일은 이미 39개의 지침을 담고 있다.

세 가지 경쟁 가설

저자는 성장의 원인으로 세 가지 메커니즘을 제시하고 이를 구분하고자 한다:

1. 지침 노후화(instruction staleness): 요구사항이 더 이상 적용되지 않으면 삭제 위험도가 나이와 함께 상승해야 함
2. 콘텐츠 취약성(content fragility): 취약한 지침이 일찍 죽고 강건한 지침만 남으면 위험도가 하락
3. 불완전한 기억(imperfect recall): 유지관리자가 지침의 근거를 잊으면 위험도가 나이와 함께 하락하고, 유지관리자 수가 늘수록 더 가파르게 하락한다는 것이 이 가설만의 고유 예측

기존에는 라인 단위 diff나 파일 크기만으로는 개별 지침을 시간에 걸쳐 추적할 수 없어 근본 원인을 특정하지 못했다.

[Reference] 관련 연구(5장)는 크게 다섯 갈래로 이 논문을 자리매김한다:

① 에이전트 컨텍스트 파일 실증 연구(Chatlatanagulchai 2025, Tafreshipour 2025, Lulla 2026),

② 에이전트 메모리·삭제 시스템(MemGPT, Mem0, Zep, FSFM — 이들은 모두 관찰 가능한 "노후화 프록시"에 의존하는 반면 이 논문은 저작된 지침에는 그런 프록시가 없다고 지적),

③ 조직행동론의 규칙 변화 연구(Lehman의 법칙, Zhou 1993, Schulz 1998, March et al. 2000),

④ 소프트웨어공학의 주석 관행(Knuth의 literate programming, McConnell의 Code Complete),

⑤ 지속학습(EWC, L2P, DualPrompt, CODA-Prompt) 및 지침 준수 벤치마크(IFEval, FollowBench, WildIFEval).

 

3. Methods (방법론)

논문은 세 층위의 방법론을 결합한다.

3.1 이론적 모델 (2장)

프롬프트 유지관리를 검열되고 잡음이 섞인 피드백으로부터 관측 불가능한 제약 집합을 온라인으로 추정하는 문제로 모델링한다. 과제 j=(oⱼ,Cⱼ)는 목표 oⱼ와 관측 불가능한 제약 Cⱼ⊆C로 구성되고, 시점 t의 프롬프트 Dₜ는 유한한 지침 집합이며 각 지침은 나이 aₐ=t-τₐ를 가진다.

유지관리자의 목표는 기대 제약 만족을 최대화하는 최소 커버(minimum cover) D*를 찾는 것이며, 모든 실험은 **정확도(correctness)*와 초과 크기(excess size, |Dₜ|/|D|-1) 두 축으로 평가된다.

숨겨진 제약 집합은 다섯 가지 속성(A1 지시가능성, A2 간섭, A3 중복성, A4 검열, A5 확률성)을 가정한다. 핵심 통찰은: 회귀 위험 없이 지침을 삭제하려면 D{d} 부분집합을 탐침해야 하는데, 중복성 때문에 하나씩 탐침하는 방식은 무력화된다 — 정직한 감사에는 O(2^|Dₜ|)번의 부분집합 탐침이 필요하다는 것이다. 지침의 잠재적 추론(latent reasoning) rₐ를 알면 이 비용이 O(1)로 줄어들지만, rₐ는 나이에 따라 빠르게 소멸한다(회수 가능성 ρ(d,a)). 이로부터 삭제 위험도 h(a)≈ρ̄(a)s(a)가 유도되고, 흐름 균형식을 통해 무한 성장(|D∞|→∞)이 폐쇄형으로 도출된다 — 이것이 "파국적 기억"의 수학적 정식화다(식 5).

3.2 실증적 코퍼스 분석 (3장)

1,867개 GitHub 저장소, 1,801개 다중 버전 파일, 299,440개 버전 간 전환, 247,694개 지침 생애주기를 대상으로 한다.

• 분절(segmentation): 절 단위 명령문을 "지침"으로, 나머지(헤딩, 코드블록, 표, 2단어 미만 조각)를 "페이로드"로 분류
• 버전 간 매칭: 정확 일치 → 정규화 일치 → 유사도 70 이상의 퍼지 매칭의 3단계 캐스케이드. 50개 수작업 주석 전환 표본에서 정밀도 1.000, 재현율 0.933을 달성
• 경쟁 위험 검열: 한 커밋에서 파일의 살아있는 지침 중 50% 이상이 소멸하면 "재작성(rewrite)"으로, 텍스트가 자매 파일에 재등장하면 "마이그레이션"으로 분류하여 경쟁 위험으로 검열
• 삭제 위험도 추정: Nelson–Aalen 추정량, 저장소 단위 층화 부트스트랩
• 경쟁 가설 검정: 콘텐츠 취약성은 감마 프레일티(gamma frailty) 모델로, 불완전한 기억의 고유 예측(다중 저자 상호작용)은 조각별 지수(piecewise-exponential) 위험 모델로 검정

3.3 통제된 실험: Inverted IFEval / WildIFEval (4장)

[Reference] IFEval(Zhou et al., 2023)은 원래 언어모델이 프로그래밍적으로 검증 가능한 형식 지침(단어 수, 글머리 기호 개수 등)을 얼마나 잘 따르는지 채점하는 벤치마크다. 이 논문은 이를 "역전(invert)"시켜 사용한다:

① 원 지침 Dⱼ를 숨기고 이를 참조 최소 커버 D*로 삼아 초과 크기를 측정 가능하게 만들고,

② 검증기 Cⱼ는 그대로 유지하여 하니스만 사용하고 유지관리자에게는 절대 공개하지 않으며,

③ 더 강력한 모델이 Dⱼ를 손실 압축해 일반적인 과제 목표 oⱼ를 생성한다.

이후 새 유지관리자(모델)가 검열되고 잡음 섞인 피드백만으로 T단계에 걸쳐 Dⱼ를 재구성한다. 세 실험군(arm)으로 비교한다:

• CONTROL: 주석 없음
• PLACEBO: 주석 형태의 잡음(내용은 없이 형식만 주석처럼 보이는 텍스트)
• TREATMENT: 정보를 담은 주석(라운드 번호·재발 횟수·반증 계보·원문 복원 인용을 포함하는 "COMMIT" 스키마)

하니스는 실행기(executor)에게 프롬프트를 전달하기 전 주석을 제거하고, 과거 실패를 언급하는 지침은 거부하여 주석만이 잠재적 추론이 살아남을 수 있는 유일한 채널이 되도록 강제한다. 주로 claude-haiku-4-5를 유지관리자·실행기로 사용했고, 유지관리자 역량 비교를 위해 Sonnet 5, Opus 5도 시험했다.

이어서 WildIFEval(Lior et al., 2025)을 동일한 방식으로 역전시켜, 프롬프트에 N-K개의 참 지침과 다른 항목에서 뽑은 G개의 잡음 지침을 함께 심어 실전 프롬프트로의 전이를 검증했다. WildIFEval의 제약은 코드 검증기가 없는 자연어 서술이므로, claude-haiku-4-5를 판정자로 사용해 채점하고 gpt-5.6-luna로 재채점하여 판정자 편향을 검증했다.

 

4. Experiments (실험 결과)

4.1 코퍼스 결과 — "래칫(ratchet)" 패턴

• 마지막으로 추적된 버전 기준 중앙값 파일은 39개 지침(90번째 백분위수 131개)을 보유하며, 1,576개 다중 버전 저장소 중 64.3%는 지침 수가 늘고 26.6%만 줄어 순증가 중앙값은 +7개다. 재작성을 제외하면 커밋당 평균 +4.9개 순증가가 발생한다
• 파일 자체 생애 동안 지침 수는 평균 +226%, 평균 지침 길이는 +10% 늘고, 전체 프롬프트 크기도 +140% 증가한다
• 지침 소멸의 77.3%는 전면 재작성이나 자매 파일로의 마이그레이션을 통해 발생 — 즉 개별적 삭제 판단이 아니라 "모두 밀어버리는" 방식이 지배적이다
• 첫 전면 재작성을 기준으로 정렬하면 지침 수는 재작성 시점에 사전 값의 59.5%로 떨어졌다가 이후 10개 커밋 안에 91.5%까지 회복되며, 재작성 이후 성장 속도는 오히려 더 빨라진다(재작성 전 커밋당 4.1% vs 재작성 후 4.9%) — 즉 재작성은 크기를 초기화할 뿐 근본 원인은 건드리지 못한다
• 삭제 위험도는 나이에 따라 하락한다(로그-위험도 기울기 -0.032/커밋, 95% CI [-0.047, -0.019]) — 이는 지침 노후화 가설과 정반대 방향이다
• 콘텐츠 취약성 통제: 감마 프레일티 모델에서 가장 강한 형태(동일 텍스트를 공유하는 지침)도 하락폭의 30.8%만 흡수했고, 나머지 기울기(-0.0355, CI [-0.0414,-0.0296])는 여전히 유의했다
• 다중 저자 상호작용: 인간 저자 수를 통제한 결과 다중 저자×나이 계수는 -0.021(z=-11.7)로, 불완전한 기억만이 예측할 수 있는 패턴을 확인

4.2 통제 실험 결과 — Inverted IFEval

실험군	T=15 초과크기	T=51 초과크기
CONTROL (주석 없음)	+60.4%	+211.3%
PLACEBO (주석형 잡음)	+53.2%	+147.9%
TREATMENT (정보 담은 주석)	-5.8%	+1.4%

세 실험군의 제약 만족률은 동등한 수준(parity)을 유지했다 — 즉 크기를 줄이면서도 정확도를 희생하지 않았다. 소거 실험(ablation)은 주석이 반드시 결과(outcome)를 담아야 하며, 결과 없는 시도 서술만으로는 오히려 최악의 성능(+70.0%)을 보였다는 것을 보여준다. 또한 유지관리자 모델이 강해질수록(Haiku 4.5→Sonnet 5→Opus 5) 통제군의 초과 크기는 더 커지지만, 주석 프로토콜의 이점도 함께 커진다.

 

4.3 실전 검증 — WildIFEval

64개 월드에서 K=1, G=16 조건일 때 잡음 지침은 이미 프롬프트에 있는 참 지침의 정확도를 24.1퍼센트포인트 깎아먹었다(G=0일 때 65.6% vs G=16일 때 41.5%). 주석은 3라운드에 걸쳐 만족도를 50.4%에서 62.0%로 끌어올렸다(11.6퍼센트포인트, 상대적으로 23.1% 개선). 두 번째 판정자(gpt-5.6-luna)로 6,336건을 재채점한 결과 두 판정자의 효과 크기 차이는 3.8퍼센트포인트로 통계적으로 구별되지 않았다.

[Reference] 부록 결과 중 주목할 만한 부분: TREATMENT 실험군은 8개 프롬프트 중 1개꼴로 지침을 완전히 비워버리는 경향이 있었고(비교: 무주석군은 40개 중 1개꼴), 이렇게 비워진 "어려운 월드"들에서는 모든 실험군의 만족도가 평균보다 크게 낮았다. 이는 저자가 윤리 섹션에서 밝히듯 "삭제 자율성을 무한정 부여하면 안 되고, 삭제 경로에는 사람이 개입해야 한다"는 권고의 근거가 된다.

 

5. Conclusion (결론)

논문은 두 가지 핵심 기여로 요약된다: (i) 에이전트 프롬프트는 지침의 잠재적 추론이 지침 자체보다 빨리 소멸하기 때문에 성장하며, (ii) 작성 시점에 그 잠재적 추론을 프롬프트 주석에 저장하면 지침 수를 줄이고 지침 준수력을 되찾을 수 있다는 것이다.

저자는 소프트웨어공학이 수십 년 전 동일한 문제(주석을 통한 근거 기록)를 이미 해결했고, 지속학습 분야는 지금 그 쌍대 문제(파국적 망각)를 풀고 있다는 유비를 제시하며, 세 가지 후속 연구 방향을 제안한다: ① 코딩 에이전트 개발자를 위한 주석 문법 설계, ② 에이전트 프롬프트 유지관리 모범 사례 정립(소프트웨어공학 관행과 겹치지만 다를 것으로 예상), ③ 이 접근을 능가하는 방법(프롬프트에 대한 리허설/정규화의 유사물)과 더 나은 측정법 연구.

주요 한계

• 50% 재작성 임계값, 50개 표본에서만 검증된 매처, 코퍼스별로 고정된 분절 문법이라는 세 가지 측정 선택은 한 번도 바꿔보지 않았다
• 통제 실험의 커버 크기는 2~3개 지침으로, 중앙값 실제 파일의 39개보다 한 자릿수 작다
• WildIFEval의 제약은 코드가 아닌 산문이라 LLM 판정자로 채점했으며, 어느 판정자도 정답(ground truth)은 아니다
• 코퍼스는 CLAUDE.md/AGENTS.md/copilot-instructions.md를 가진 공개 GitHub 저장소로 한정되며, 언어 분포는 측정하지 않아 비영어권 지침에는 결과가 적용되지 않을 수 있다

윤리 및 사용상 주의

저자는 근거를 회수할 수 있는 지침을 삭제하라고 권고하는데, 이를 자동화하는 운영자는 실제로 유효했던 근거를 가진 지침까지 삭제할 위험이 있다고 명시한다. 주석을 쓰는 것은 아무것도 제거하지 않으므로 안전하지만, 그에 따라 행동(삭제)하는 것은 그렇지 않다 — 따라서 삭제 경로에는 사람이 남아있어야 하고, 안전 관련 지침은 검증 전까지 이 프로토콜의 적용 범위에서 제외해야 한다고 권고한다.