AI 메모리 - COMPUTEX 2026 이후 AI 추론 시대 메모리 혁명

https://insights.trendforce.com/p/ai-inference-drives-memory-demand

2026.6.15
[How AI Inference Is Creating New Memory Demand]

이 보고서는 AI 추론 기술의 발전이 하드웨어 시장, 특히 메모리와 스토리지 수요에 어떠한 구조적 변화를 일으키는지 분석하고 있습니다. 주요 동인으로는 복잡한 추론 과정에서 발생하는 데이터를 효율적으로 관리하는 KV 캐시 오프로딩 기술과 자율적으로 작업을 수행하는 에이전트 AI(Agentic AI)의 등장을 꼽고 있습니다. 이러한 흐름은 기존의 연산 처리 중심 설계에서 벗어나 초저지연(Ultra-low latency)을 중시하는 설계로의 전환을 이끌어내며, 결과적으로 CPU와 SSD의 성능 및 용량 확대를 강력하게 요구하고 있습니다. 결론적으로 AI 산업은 모델 학습 단계를 넘어, 실시간 사고와 도구 활용 능력을 극대화하기 위해 컴퓨팅 인프라 전반의 메모리 시스템을 혁신하는 새로운 국면에 진입했습니다.

 

 

 

 

KV 캐시의 총 크기를 계산하는 공식은 다음과 같습니다.

KV 캐시의 총 크기(바이트)

= 2 x 층 수 x KV 헤드 수 x 헤드 크기

x 시퀀스 길이 x 배치 x 정밀도(바이트)

 

COMPUTEX 2026에서 공개된 Nvidia BlueField-4 DPU 구조 모델에는 SK 하이닉스의 PEB210 E1.S 및 PE9010 M.2 SSD 샘플이 포함되어 있습니다. 출처: TrendForce

 

 

참고: SSD POD는 오프로드된 KV 캐시를 저장하기 위해 여러 개의 SSD 랙으로 구성된 독립형 스토리지 장치입니다. 로컬 SSD(G3)와 공유 스토리지(G4) 사이에 위치한 G3.5 계층으로, 로컬 SSD(G3)보다 KV 캐시 저장 용량이 더 크며 공유 스토리지(G4)보다 빠른 액세스 속도를 제공합니다.

 

 

 

SK하이닉스는 컴퓨텍스 2026에서 엔비디아 베라 루빈 슈퍼칩용으로 설계된 SOCAMM2 및 HBM4 샘플을 선보였습니다. (출처: 트렌드포스)