AI 반도체 - Hot Chips Day3: 데이터를 얼마나 효율적으로 움직이고 처리할 것인가

https://www.jasonschips.ai/p/hot-chips-day-3-spicy-jalapeno-chips

2026.8.27
[Hot Chips Day 3 - Spicy (Jalapeno) Chips]

이 보고서는 2026년 'Hot Chips' 컨퍼런스 3일 차에 발표된 최신 반도체 기술들을 요약하며, 특히 AI 추론과 메모리 효율성을 극대화하려는 업계의 혁신적 흐름을 다룹니다. 삼성의 지능형 메모리(PIM)와 엔비디아의 멀티플레인 네트워킹처럼 데이터 병목 현상을 해결하기 위한 하드웨어 솔루션들이 주요 비중을 차지하며, 구글과 세레브라스 등 주요 기업들의 차세대 칩 설계 전략이 상세히 소개됩니다. 무엇보다 본문의 핵심은 소규모 팀이 인공지능 보조를 통해 단 9개월 만에 완성한 OpenAI의 'Jalapeno' 칩에 있으며, 이는 전통적인 칩 설계 방식을 뒤흔드는 하드웨어 개발의 민주화를 상징합니다. 결과적으로 이 글은 고성능 연산 장치들이 단순한 물리적 성능 향상을 넘어, AI 전용 언어와 효율적인 메모리 구조를 통해 어떻게 진화하고 있는지를 통찰력 있게 보여줍니다.

 

 

사례	던지는 질문
삼성 PIM	데이터를 굳이 멀리 이동해야 하는가?
NVIDIA 네트워킹	가속기 간 데이터 이동을 어떻게 줄일 것인가?
Google	AI workload에 맞춰 프로세서 구조를 어디까지 바꿀 것인가?
Cerebras	GPU 중심 구조 자체를 다른 방식으로 만들 수 있는가?
OpenAI Jalapeño	AI 모델을 만든 회사가 직접 inference ASIC까지 최적화할 수 있는가?

 

삼바노바 SN50 RDU

 

SambaNova는 기본적으로 디코딩이 추론의 병목 현상이며, HBM 대역폭이 디코딩의 병목 현상이라고 말합니다. 그리고 HBM 대역폭의 대부분은 가중치나 KV 캐시가 아닌 다른 데이터를 전송하는 데 사용됩니다.