AI 반도체 - AI의 메모리 병목을 어떤 구조의 메모리가 해결할 것인가?

https://www.jasonschips.ai/p/hot-chips-day-1-precious-memories

2026.8.24
[Hot Chips Day 1 - Precious Memories]

이 글은 반도체 컨퍼런스인 'Hot Chips' 첫째 날의 핵심 내용을 요약하며, AI 시대의 가장 큰 병목 현상인 메모리 부족과 대역폭 제한을 해결하기 위한 업계의 기술적 노력을 다룹니다. 필자는 삼성의 프로세싱 인 메모리(PIM) 기술이 데이터 이동을 줄여 효율성을 높이는 방식과 d-Matrix의 3D DRAM이 구현하는 혁신적인 적층 구조를 통해 추론 성능을 극대화하는 과정을 상세히 설명합니다. 또한, 고대역폭 메모리(HBM)의 고질적인 발열 문제와 패키징 솔루션, 그리고 특정 작업에서 경제적 대안이 될 수 있는 고대역폭 플래시(HBF)의 가능성을 분석합니다. 결론적으로 이 텍스트는 복잡한 하이테크 개념을 투자자 관점에서 쉽게 풀어내어, 차세대 반도체 시장을 주도할 메모리 기술의 구조적 진화를 조망하는 데 목적이 있습니다.

 

주된 관심사	메모리 기술 자체의 진화
중심 질문	“AI의 메모리 병목을 어떤 구조의 메모리가 해결할 것인가?”
핵심 기술	PIM, 3D DRAM, HBM 패키징, HBF
분석 단위	아키텍처/응용처
삼성의 의미	데이터 이동을 줄이는 메모리 컴퓨팅 전략
SK하이닉스의 의미	상대적으로 직접적인 비중은 낮음
HBF의 의미	HBM의 용량·비용 한계를 보완하는 새로운 메모리 계층
독자가 얻는 것	“앞으로 메모리 구조가 어떻게 다양화되는가?”