에이전트 AI - EPOCH AI, GPT-5.6의 경우 장시간 지연 시간은 제곱에 비례하지만, Claude 5의 경우에는 거의 선형적으로 증가

https://epoch.ai/publications/long-context-latency-scaling-gpt-vs-claude

2026.9.8
[Long-context latency scales quadratically for GPT-5.6 but nearly linearly for Claude 5]

이 보고서는 인공지능 모델의 입력 데이터 양(컨텍스트 길이)이 늘어날 때 응답 속도가 어떻게 변하는지를 분석하며, OpenAI의 GPT-5.6과 Anthropic의 Claude 5 사이에 존재하는 결정적인 아키텍처 설계의 차이를 조명합니다. 실험 결과 GPT 모델은 데이터가 많아질수록 지연 시간이 기하급수적(이차 함수 형태)으로 증가하는 반면, Claude 모델은 처리 속도가 비교적 일정하게 유지(선형 형태)되는 효율성을 보였습니다. 이러한 현상은 두 기업이 긴 문맥을 처리하는 방식에 있어 서로 다른 기술적 선택을 내렸음을 시사하며, 이는 향후 AI 모델의 사용 비용과 서비스 확장성에 중대한 영향을 미칠 수 있는 핵심적인 데이터입니다. 결국 이 텍스트는 미래의 인공지능이 더 방대한 정보를 기억하고 활용하기 위해 어떠한 효율적 연산 구조를 채택해야 하는가에 대한 통찰을 제공합니다.