CPU - 에이전트 AI(Agentic AI) 시대의 CPU 병목 현상

https://www.viksnewsletter.com/p/the-cpu-bottleneck-in-agentic-ai

https://arxiv.org/pdf/2511.00739

이 보고서는 단순한 연산 처리를 넘어 스스로 판단하고 행동하는 에이전트 AI(Agentic AI) 시대가 도래함에 따라, 그동안 GPU의 그늘에 가려져 있던 중앙처리장치(CPU)의 중요성이 다시 부각되고 있음을 심도 있게 설명합니다. 저자는 에이전트가 복잡한 계획을 세우고 다양한 도구를 제어하는 과정에서 CPU가 병목 현상의 핵심이 되고 있으며, 이에 따라 서버 인프라 내에서 CPU와 GPU의 하드웨어 비율 및 구성 방식이 근본적으로 변화해야 한다고 주장합니다. 본문은 추론과 실행이라는 두 가지 축을 기준으로 하드웨어 성능을 평가하는 프레임워크를 제시하며, 특히 코어 개수와 메모리 대역폭 같은 9가지 핵심 지표를 통해 최신 프로세서들이 에이전트 환경에서 어떠한 가치를 지니는지 분석합니다. 궁극적으로 이 자료는 인공지능 기술의 진화 방향이 단순 모델 실행에서 복합적인 작업 조율(Orchestration)로 이동하고 있음을 밝히며, 이에 최적화된 하드웨어 선택이 미래 AI 인프라의 경쟁력을 결정지을 것이라는 통찰을 제공합니다.

 

 

 

추론 중심 워크플로우의 상대적 지표 중요성, Vik의 뉴스레터

다음과 같은 이유로 NVIDIA의 Vera CPU는 고강도 추론 작업에 매우 적합한 CPU의 한 예입니다.

• 코어당 성능 : 멀티스레딩을 지원하는 빠르고 강력한 올림푸스 맞춤형 ARM 코어 88개. 코어 수는 가장 많지 않지만, 코어당 성능은 우수합니다.
• CPU-xPU 인터커넥트 : 1.8TB/s 양방향 속도의 NVLink-C2C. 일관성 있는 메모리 공유를 통해 Rubin GPU는 마치 자신의 메모리인 것처럼 CPU 메모리에서 직접 읽을 수 있습니다. 이것이 바로 Vera를 추론 전용 CPU로 만드는 핵심적인 특징입니다. 다른 어떤 CPU도 이에 필적할 수 없습니다.
• 메모리 대역폭 및 용량 : 8개의 SOCAMM 모듈에 걸쳐 1.5TB의 LPDDR5를 탑재하여 1.2TB/s의 대역폭을 제공합니다. KV 캐시 확장을 위한 대용량을 갖추고 있습니다.

베라를 선택하면 NVIDIA 생태계에 묶이게 되고 ARM 아키텍처로 인해 도구 호환성이 의심스럽긴 하지만, GPU와의 엄청난 상호 연결 대역폭, 빠른 코어, 그리고 풍부한 DRAM 덕분에 추론 집약적인 작업 부하에 중요한 모든 지표에서 높은 점수를 얻습니다.

 

 

행동 중심 워크플로우의 상대적 지표 중요성, Vik의 뉴스레터

 

추론 중심의 작업 부하와 비교해 보면, 동작 중심의 작업 부하에서는 CPU 지표가 훨씬 더 중요하다는 것을 알 수 있습니다. AMD의 차세대 Venice Dense CPU는 다음과 같은 이유로 고강도 동작 작업 부하에 매우 적합한 CPU입니다.

• 코어별 성능, 캐시 : 높은 클럭당 명령어 처리량(IPC)과 코어당 4MB L3 캐시 × CCD당 32개 코어 × 8개 CCD = 1GB L3 캐시.
• 코어 수 : 256개의 Zen6c 코어, SMT를 지원하는 512개의 스레드. 많은 에이전트를 처리할 수 있는 충분한 코어 수.
• ISA : x86은 다양한 에이전트 워크로드에 대해 가장 폭넓은 툴 호출 호환성을 제공합니다.
• 와트당 성능 : AMD EPYC 시리즈는 인텔에 비해 전력 효율성과 와트당 성능이 우수하다는 평판을 얻고 있습니다.

코어 수가 많고 AMD의 멀티칩렛 서버 CPU 방식의 단점은 처리해야 할 NUMA 도메인이 더 많아진다는 것입니다. 따라서 에이전트 스케줄링은 NUMA를 고려해야 합니다.