AI - LLM 추론 최적화 - AI 메모리 패러다임의 전환: 학습에서 추론으로

 

https://insights.trendforce.com/p/memory-hierarchy-paradigm-shift

2026.7.22
[From Training to Inference: A Paradigm Shift in the Memory Hierarchy]

이 텍스트는 인공지능 산업의 중심이 모델 학습에서 추론으로 이동함에 따라 발생하는 메모리 계층 구조의 근본적인 변화를 다루고 있습니다. 저자는 학습 단계에서 중요했던 대역폭 확장 중심의 HBM 기술만으로는 추론 과정에서 발생하는 막대한 데이터 처리량을 감당하기 어렵다는 점을 지적합니다. 이에 대응하여 업계는 HBF, SSD POD, SRAM과 같은 혁신적인 기술을 도입하여 메모리 용량과 속도의 한계를 동시에 극복하려 시도하고 있습니다. 궁극적으로 이 글은 복잡해지는 AI 추론 환경에 맞춰 하드웨어 아키텍처가 어떻게 다각화되고 진화하고 있는지를 설명하며 미래 반도체 시장의 방향성을 제시합니다.

 

 

 

AI 메모리 패러다임의 전환: 학습에서 추론으로의 구조적 진화와 대응 전략

AI 산업의 무게중심이 거대 모델을 구축하는 ‘학습(Training)’에서, 완성된 모델을 수백만 사용자에게 서비스하는 ‘추론(Inference)’ 단계로 급격히 이동하고 있다. 이러한 변화는 단순히 하드웨어의 양적 확대를 넘어, 반도체 설계의 근본적인 패러다임 시프트를 요구한다. 과거의 AI 인프라가 연산 성능을 극대화하는 ‘컴퓨트 스케일링(Scaling Compute)’에 집중했다면, 이제는 방대한 데이터를 효율적으로 처리하고 비용을 절감하는 ‘메모리 용량 및 효율 스케일링(Scaling Memory Capacity and Efficiency)’이 핵심 과제로 부상했다. 본 보고서는 학습과 추론의 메커니즘 차이를 분석하고, 2026년 상반기 기점으로 가속화되고 있는 차세대 메모리 계층 구조의 전략적 가치를 제안한다.

1. AI 구동의 두 축: '학습(Training)'과 '추론(Inference)'의 메커니즘 이해

AI 모델의 생애 주기에서 학습과 추론은 데이터 처리 방식과 하드웨어 자원 요구 사항에서 확연한 차이를 보인다. 학습이 처리량(Throughput) 중심의 대규모 연산 과정이라면, 추론은 지연 시간(Latency)과 비용 효율성이 생명인 실시간 서비스 과정이다.

학습 과정의 심층 분석

학습은 모델의 오차를 최소화하기 위해 수없이 반복되는 과정으로, 크게 세 단계로 나뉜다.

• 순방향 계산(Forward Pass): 메모리에서 가중치(Weights)를 읽어와 행렬 연산을 수행하고 예측값을 출력한다. 이때 손실 함수를 통해 정답과의 오차(Loss)를 측정한다.
  
  
• 역방향 계산(Backward Pass): 연쇄 법칙에 따라 각 층의 활성화(Activations) 데이터를 읽어 가중치 크기에 상응하는 그래디언트(Gradients)를 계산한다.
  
  
• 옵티마이저 업데이트(Optimizer Update): 계산된 그래디언트를 바탕으로 가중치를 수정한다. 이때 가중치와 동일한 크기의 옵티마이저 상태 데이터인 '제1모멘트(m)'와 '제2모멘트(v)' 텐서가 함께 업데이트되어 메모리에 기록된다.

이 과정은 반복적인 읽기/쓰기를 수반하므로, 높은 메모리 대역폭이 전체 학습 효율을 결정짓는 핵심 요소가 된다.

추론 과정과 KV 캐시의 역할

추론은 학습된 모델을 활용해 답변을 생성하며, 두 단계로 진행된다.

• Prefill: 입력된 프롬프트를 한 번에 처리하고, 각 층의 KV 벡터(Key/Value vectors)를 계산하여 메모리에 저장(KV 캐시)한다.
  
  
• Decode: 저장된 KV 캐시를 읽어 토큰을 하나씩 생성한다. 이때 대화의 턴(Turns), 컨텍스트 윈도우 길이, 그리고 배치 사이즈(Batch Size)가 증가함에 따라 KV 캐시가 점유하는 용량은 기하급수적으로 늘어난다. 이는 현대 AI 인프라에서 메모리 용량 부족을 야기하는 결정적인 병목 지점이 된다.
  
  

핵심 요약: 학습 vs. 추론 비교

구분	학습 (Training)	추론 (Inference)
전략적 목표	처리량(Throughput) 극대화 및 지능 구축	지연 시간(Latency) 단축 및 비용 최적화
데이터 상호작용	가중치, 활성화, 그래디언트의 반복 액세스	KV 캐시의 지속적인 읽기/쓰기 및 토큰 생성
메모리 요구사항	초고대역폭 (High Bandwidth)	대역폭 + 초고용량 (Capacity)
핵심 병목 지점	반복적인 데이터 액세스 속도	긴 컨텍스트 및 대규모 배치의 KV 캐시 용량

이러한 운영 원리의 차이는 기존 학습 중심의 HBM 기술을 넘어, 용량과 속도를 동시에 잡으려는 새로운 메모리 기술의 탄생을 견인하고 있다.

2. HBM에서 HBF까지: AI 메모리 기술의 진화 경로와 배경

일반 DRAM은 PCIe 인터페이스의 속도 한계(PCIe 6.0 x16 기준 단방향 128 GB/s)로 인해 AI의 폭발적인 연산 속도를 뒷받침하지 못했다. 이를 극복하기 위해 등장한 HBM은 산업의 표준이 되었으나, 최근 추론 시장의 확대로 인해 HBM만으로는 해결할 수 없는 '용량의 벽'에 직면했다.

HBM(High Bandwidth Memory)의 혁신

HBM은 여러 개의 DRAM 다이를 수직으로 쌓고 TSV(실리콘 관통 전극) 기술을 통해 연산 다이와 수직으로 연결된 구조다. 연산 장치와 동일한 패키지 내에 배치되어 데이터 이동 경로를 획기적으로 단축했다. 특히 차세대 HBM4는 2,048개의 핀을 통해 핀당 1 GB/s 이상의 속도를 제공하며, 전체 스택당 2 TB/s 이상의 대역폭을 구현해 AI 산업화를 주도해 왔다.

새로운 대안, HBF(High Bandwidth Flash)

추론 시 발생하는 대규모 KV 캐시 용량 문제를 해결하기 위해 SanDisk와 SK hynix가 협력하여 개발 중인 HBF는 전략적 전환점이 될 기술이다.

• 구조적 특징: NAND 플래시를 수직으로 적층하고 HBM과 동일한 TSV 기술로 연결한다.
  
  
• 전략적 가치: 1.6 TB/s의 높은 대역폭을 유지하면서도 단일 스택당 약 512GB의 용량을 제공한다. 이는 HBM4(48GB) 대비 약 10배 이상의 용량으로, HBM과 일반 DRAM 사이의 간극을 메우는 핵심 계층이 될 전망이다.
  
  

SSD POD의 등장 배경

NVIDIA는 로컬 SSD와 공유 스토리지 사이의 간극을 메우기 위해 2026년 SSD POD 개념을 도입했다. 이는 자주 사용되지 않는 'Cold' KV 캐시 데이터를 하위 계층으로 옮기는 오프로딩(Offloading) 기술을 통해, 비싼 HBM 자원을 점유하지 않고도 긴 컨텍스트를 처리할 수 있게 함으로써 비용 최적화를 실현한다.

3. 추론 효율 극대화를 위한 차세대 메모리 계층 구조 설계 전략

대규모 언어 모델(LLM)의 디코딩 속도를 높이고 인프라 비용(TCO)을 절감하기 위해서는 데이터의 사용 빈도와 속도에 따른 전략적 메모리 계층 설계가 필수적이다.

차세대 메모리 계층 구조(Memory Hierarchy) 제안

1. On-chip SRAM (L1 계층): Groq과 Cerebras의 사례처럼 칩 내부에 거대한 SRAM 영역을 확보하여, 외부 메모리 액세스 없이 극도로 빠른 디코딩 속도를 구현한다.
   
   
2. HBM4 (L2 계층): 실시간 연산에 직접적으로 필요한 데이터를 담당하며, 최상위 대역폭을 통해 연산 다이에 데이터를 공급한다.
   
   
3. HBF 및 CMX (L3 계층): 대규모 KV 캐시를 저장하는 고용량 계층이다. HBM의 대역폭과 NAND의 용량을 절충하여 시스템의 전체적인 데이터 수용 능력을 극대화한다.
   
   

기술적 차별화 요소 및 TCO 평가

단순한 용량 증설은 비용 부담을 초래하지만, 위와 같은 데이터 계층화 관리(Tiered Data Management)는 인프라 TCO에 긍정적인 영향을 미친다. 활성 상태의 토큰만 비싼 HBM에 유지하고, 나머지 방대한 KV 캐시는 HBF나 SSD POD로 분산 저장함으로써 토큰당 비용(Cost-per-token)을 획기적으로 낮출 수 있기 때문이다. 이는 기업들이 한정된 예산 내에서 더 많은 사용자에게 서비스를 제공할 수 있게 하는 핵심 경쟁력이 된다.

4. 패러다임 시프트: 학습 중심에서 추론 중심으로의 시장 향방

2026년 상반기를 기점으로 AI 산업의 주도권은 학습에서 추론으로 급격히 이동하고 있다. 이는 하드웨어 공급망 전반에 걸친 구조적 변화를 야기하고 있다.

주요 플레이어별 대응 전략 분석

• NVIDIA: 2025년 12월 Groq의 핵심 기술과 팀을 확보한 후, 이를 Rubin 시리즈에 통합하며 추론 시장 지배력을 강화하고 있다. 또한 CMX(컨텍스트 메모리) 플랫폼과 SSD POD를 통해 인프라 수준의 추론 최적화를 제안한다.
  
  
• Google: 학습용(TPU v8t)과 추론 전용(TPU v8i)으로 하드웨어를 이원화했다. 특히 TPU v8i는 추론 효율을 위해 학습용보다 72GB 더 많은 HBM3e와 384MB의 SRAM을 추가 탑재하여 설계되었다.
  
  
• ASIC 스타트업: SambaNova(SN50), Cerebras(IPO 추진 및 OpenAI/AWS 협력), Etched(Sohu 칩 테이프 아웃) 등은 특정 모델 아키텍처에 최적화된 칩을 통해 범용 GPU가 도달하지 못하는 영역을 공략하고 있다.
  
  

결론: '추론 경제'의 성패를 가를 메모리 아키텍처

과거 HBM 독점 시대에서 이제는 HBF, SSD POD, SRAM, CXL이 공존하는 다변화된 메모리 생태계로 전환되고 있다. 이러한 메모리 아키텍처의 진화는 단순히 기술적 우위를 넘어, 인공지능이 실제 경제적 가치를 창출하는 '추론 경제(Inference Economy)'의 성패를 결정짓는 핵심 요소가 될 것이다.

[용어 해설 및 기술 참조]

• TSV (Through Silicon Via, 실리콘 관통 전극): 칩에 미세한 구멍을 뚫어 상하층 칩을 전기적으로 연결하는 수직 적층 기술. HBM의 핵심 공정이다.
  
  
• KV Cache (KV 캐시): 추론 시 이전 토큰의 연산 결과(Key, Value)를 저장해 두어 중복 계산을 방지하는 영역. 용량 점유의 주범이다.
  
  
• HBM4 (High Bandwidth Memory 4): 차세대 초고대역폭 메모리. 2,048핀 구조를 통해 핀당 1 GB/s 이상의 전송 속도를 제공한다.
  
  
• CXL (Compute Express Link): 장치 간의 고속 연결을 위한 차세대 인터페이스. 주로 메모리 용량 확장 및 효율적 공유를 위해 활용된다.
  
  
• HBF (High Bandwidth Flash): NAND 플래시를 TSV로 쌓아 HBM급 대역폭과 NAND급 대용량을 결합한 신개념 메모리.
  
  
• Optimizer States (m, v): 학습 중 가중치 업데이트를 위해 저장하는 보조 데이터. 모델 크기에 비례하여 막대한 메모리를 점유한다.