AI - 기술 스택 - LLM 추론 최적화 - SambaNova (삼바노바)

https://www.viksnewsletter.com/p/inside-sambanovas-inference-architecture

이 자료는 삼바노바(SambaNova)의 독특한 추상화된 데이터 흐름 단위(RDU)와 3계층 메모리 구조가 기존 GPU나 다른 AI 가속기들과 어떻게 차별화되는지를 심층적으로 분석합니다. 삼바노바는 고비용의 외부 메모리 통신에 의존하는 대신, 컴파일러 기반의 데이터 흐름 제어를 통해 칩 내부에서 계산을 완결함으로써 병목 현상을 획기적으로 줄이는 전략을 취합니다. 특히 대규모 모델을 여러 개의 전문 모델로 나누어 처리하는 모델 번들링(Model Bundling) 방식은 효율적인 추론을 가능하게 하며, 이를 위해 SRAM, HBM, DDR을 최적으로 배합하여 속도와 용량의 균형을 맞춥니다. 결과적으로 본문은 삼바노바의 설계를 단순한 하드웨어가 아닌 가변적인 워크로드에 대응할 수 있는 범용적인 솔루션으로 평가하며, 엔비디아의 루빈(Rubin)이나 그록(Groq) 같은 경쟁 기술과의 비교를 통해 그 기술적 우위를 강조하고 있습니다.

삼바노바 측에서 SN40L과 SN50 모두 TSMC 5nm 공정으로 제조되었으며 HBM2E를 사용한다