CPU - 에이전트 AI(Agentic AI) 시대의 GPU 중심 AI를 넘어서

https://arxiv.org/pdf/2511.00739

이 연구는 에이전틱 AI(Agentic AI)가 단순히 거대언어모델(LLM)을 실행하는 것을 넘어 외부 도구 사용과 추론을 병행함에 따라 발생하는 시스템 병목 현상을 분석합니다. 연구진은 기존의 GPU 중심 최적화에서 벗어나, 도구 실행을 담당하는 CPU의 역할에 주목하여 에이전틱 작업 부하를 오케스트레이션, 실행 경로, 반복성이라는 세 가지 기준으로 체계화하였습니다. 실측 데이터에 따르면, 특정 작업에서 CPU 기반의 도구 처리가 전체 지연 시간의 최대 88%를 차지하며, 고성능 GPU를 사용할수록 병목 현상이 CPU로 전이되는 CPU-바운드(CPU-bounded) 특성이 강해짐을 확인했습니다. 이러한 한계를 극복하기 위해 제안된 COMB(CPU-Aware Overlapped Micro-Batching)는 CPU와 GPU의 연산을 효율적으로 겹쳐 실행하여 지연 시간을 줄이며, MAS(Mixed Agentic Scheduling)는 CPU 집약적 요청과 GPU 집약적 요청이 섞인 환경에서 자원 배분을 최적화합니다. 결과적으로 이 논문은 차세대 AI 서비스 시스템이 성능을 극대화하기 위해서는 CPU와 GPU의 유기적인 동시 활용을 핵심 설계 원칙으로 삼아야 함을 강조합니다.