반도체 - 메모리 - 웨이퍼 스케일 - 세레브라스(Cerebras), 수율 및 PVT 보정

https://www.jasonschips.ai/p/cerebras-full-investment-analysis

이 분석은 웨이퍼 전체를 하나의 칩으로 사용하는 세레브라스(Cerebras)의 혁신적인 컴퓨팅 아키텍처와 그에 따른 투자 가치를 심층적으로 다룹니다. 저자는 세레브라스가 파이프라인 병렬 처리를 통해 기존 GPU보다 압도적으로 빠른 프리미엄 토큰을 생성할 수 있다는 강점을 강조하면서도, 매우 제한적인 메모리 용량과 입출력 대역폭으로 인한 경제적 비효율성을 날카롭게 지적합니다. 특히 실전 테스트를 통해 초고속 추론의 효용성이 CPU 병목 현상이나 모델의 지능 저하 문제에 가려질 수 있음을 입증하며, 현재의 재무 지표보다는 초고속 추론 시장의 실제 개척 여부가 기업 성패의 핵심이라고 분석합니다. 결과적으로 이 글은 세레브라스의 기술적 독창성이 가져올 미래의 불확실한 시장 기회와 현실적인 하드웨어 한계 사이의 균형 잡린 시각을 제공하는 데 목적이 있습니다.

이 메모리는 일반적으로 논리 처리 장치로 만들어지며 컴퓨팅 장치 바로 옆에 위치합니다.

웨이퍼 규모 수율

 

PVT 교정

 

PVT는 공정, 전압 및 온도 변화를 나타냅니다.

 

 

개별 GPU가 작업을 완료하면 모든 GPU가 서로 통신해야 하는 통합 리듀스(all-reduce)를 통해 결과를 공유해야 합니다. 이는 일반적으로 동일한 NVLink 스케일업 도메인 내에서 발생하므로 지연 시간은 마이크로초 단위에 불과합니다. 언뜻 보기에는 그리 나쁘지 않아 보이지만, 실제로는 두 가지 요소 때문에 빠른 추론에 상당한 문제가 발생합니다.

첫째, 디코딩은 순차적으로 이루어지기 때문에 모델이 생성하는 모든 토큰에 대해 이러한 축소 작업이 모두 수행되어야 합니다.

둘째로, 이는 모든 토큰에 대해 발생해야 할 뿐만 아니라 모델의 모든 레이어에 대해 발생해야 합니다. 트랜스포머는 여러 개의 어텐션 레이어와 다층 퍼셉트론 레이어로 구성됩니다.

 

HBM으로 인해 발생하는 별도의 지연 시간 병목 현상도 있습니다. 토큰을 생성할 때마다 HBM에서 컴퓨팅 영역으로 모델 가중치를 로드해야 합니다. 이는 방금 논의한 all-reduce 및 텐서 병렬 처리 방식과는 완전히 별개이지만, Cerebras가 Blackwell보다 훨씬 빠른 속도를 보이는 또 다른 이유입니다.

 

 

자, 여기서 세레브라(Cerebras)의 장점이 드러납니다. 세레브라는 아주 큰 칩을 사용합니다. GPU는 모델의 전체 레이어를 SRAM에 저장할 수 없지만, 세레브라는 가능합니다. 따라서 세레브라는 행렬 연산을 수행할 때, 모델 레이어의 여러 부분에 대한 결과를 결합하기 위해 전체 리듀스(all-reduce) 연산을 실행할 필요가 없습니다. 또한 HBM도 필요하지 않습니다. 모든 통신은 칩 내부에서 이루어지며, 칩 내부 통신은 매우 빠릅니다.