데이터센터 - AI 데이터센터 - GPU 네트워킹 기초 Part-3

https://www.chipstrat.com/p/gpu-networking-basics-part-3-scale

이 자료는 대규모 AI 모델 학습을 위한 네트워킹 기술의 핵심 원리와 하드웨어 트렌드를 다루는 전문 가이드입니다. 저자는 수만 개의 GPU가 유기적으로 작동해야 하는 분산 컴퓨팅 환경에서 낮은 지연 시간(Latency)과 미세한 시간 편차인 지터(Jitter)의 최소화가 전체 시스템의 효율성을 결정짓는 핵심 요소임을 강조합니다. 텍스트의 구조는 범용 기업용 네트워크와 하이퍼스케일 클라우드 시스템의 한계를 지적하는 것으로 시작하여, 대안으로 부상한 인피니밴드(InfiniBand) 및 최신 이더넷 기반 AI 스택(Spectrum-X, UEC)의 기술적 우위를 대조하며 설명합니다. 특히 인피니밴드가 특정 기업의 독점물이 아닌 개방형 표준에서 기원했다는 역사적 사실을 바로잡으며, AI 슈퍼컴퓨팅 시장 내 엔비디아의 영향력과 네트워킹 비즈니스의 확장성을 심도 있게 분석하는 목적을 지니고 있습니다.

 

각 줄은 두 GPU/XPU 간의 네트워크 통신을 나타냅니다.

GPU 하나가 지연되면 나머지 모든 GPU가 멈춥니다.

아래 1단계의 노란색 GPU들이 각각의 입력을 서로 다른 시간에 수신한다고 상상해 보세요. 그러면 모든 입력이 수신될 때까지 GPU들은 유휴 상태로 있어야 합니다.

이것이 바로 AI 네트워킹에서 지연 시간 과 지터가 매우 중요한 이유입니다.

 

지연 시간 은 데이터가 네트워크를 통과하는 데 걸리는 일방향 시간으로, 전송, 스위칭 및 큐 대기 시간을 모두 포함합니다. 이 예시에서는 GPU가 4개뿐이므로 지연 시간을 상상하기 어렵지만, 수천 개의 GPU가 하나 또는 두 개의 스위치 계층을 통해 연결되는 대규모 환경에서는 네트워크 혼잡이 발생하고 지연 시간이 누적됩니다. AI 학습에는 가능한 한 가장 낮은 지연 시간이 필요합니다.

 

지터 는 지연 시간의 변동성을 의미 합니다. 위 그림에서 GPU들의 도착 시간 분포를 생각해 보세요. 평균 지연 시간이 매우 낮더라도 이러한 변동성 때문에 결과가 언제 나올지 불확실해집니다. AI 학습에는 매우 낮은 지터가 필요합니다.

 

 

일론 머스크의  콜로서스 2 에서 찍은 사진  .  사진 제공: X.

 

엔비디아는 7가지 종류의 칩을 설계합니다. 하나는 GPU이고, 하나는 Arm 기반 CPU이며, 나머지 다섯 개는 네트워킹 칩입니다 .