토큰 경제 - Semianalysis, Vera Rubin NVL72와 GB200 NVL72 비교

https://newsletter.semianalysis.com/p/vera-rubin-nvl72-vs-gb200-nvl72-inference

2026.7.23
[Vera Rubin NVL72 vs GB200 NVL72? Inference TCO & Architecture Analysis]

이 보고서는 엔비디아의 차세대 AI 가속기인 베라 루빈(Vera Rubin) NVL72 아키텍처를 분석하며, 이전 세대인 블랙웰(Blackwell) 및 GB200 대비 비약적인 추론 성능 및 비용 효율성 향상을 강조합니다. 루빈은 3비트 프로그래밍 가능 LUT 텐서 코어와 8비트 블록 스케일 팩터 지원 등 혁신적인 하드웨어 설계를 통해 와트당 성능과 달러당 성능을 대폭 개선했으며, 기존 블랙웰 커널을 재사용할 수 있어 신속한 시장 진입이 가능합니다. 특히 데이터 전송 지연을 줄이는 카운티드 라이트(Counted Writes) 기술과 활성화 희소성 지원을 통해 대규모 언어 모델의 추론 속도를 높였습니다. 결과적으로 이 텍스트는 루빈이 고성능 추론 시장에서 압도적인 총소유비용(TCO) 우위를 점하고 있으며, 차기 아키텍처인 파인만(Feynman)으로 가는 가교 역할을 수행하고 있음을 설명합니다.

 

https://newsletter.semianalysis.com/p/vera-rubin-extreme-co-design-an-evolution

Vera

Rubin

 

 

 

 

 

개요 (Overview)

이 글의 핵심 주제는 Nvidia의 차세대 랙스케일 시스템인 Vera Rubin NVL72와 현행 GB200 NVL72의 추론(inference) 성능·비용(TCO)·아키텍처를 비교하는 것입니다. 초기 엔지니어링 샘플 결과에 따르면, DeepSeek R1을 구동할 때 Vera Rubin NVL72는 GB200 NVL72 대비 메가와트당 성능은 5.4배, 달러당 성능은 5배 높으며, 2025년 초기 GB200 NVL72 대비로는 격차가 더 크게 나타난다고 설명합니다. 다만 Rubin은 아직 초기 브링업(bring-up) 단계이므로 이 격차는 소프트웨어가 성숙할수록 더 벌어질 것으로 예상된다는 전망도 함께 제시됩니다.

또한 Nvidia가 CUDA 13.4와 함께 Rubin(SM_107) 소프트웨어 스택을 처음 공개했고, PyTorch·vLLM·OpenAI Triton 컴파일러에 Rubin 관련 코드를 업스트림했다는 점, 그리고 Blackwell은 Hopper의 커널을 재사용할 수 없었던 반면 Rubin은 Blackwell 커널을 재사용할 수 있어 소프트웨어 브링업이 한결 수월하다는 점도 개요에서 강조됩니다.

 

배경 (Background)

[보완 내용 – Nvidia 공식 발표 기준] Vera Rubin 플랫폼은 2026년 CES에서 공개되었으며, 여섯 개의 공동 설계된 칩을 하나의 통합 시스템으로 결합한 Nvidia의 3세대 랙스케일 아키텍처로 소개되었습니다. Nvidia 공식 블로그에서도 Rubin 플랫폼을 Blackwell 아키텍처의 후속작이자 회사 최초의 "extreme co-design" 6칩 AI 플랫폼이라고 설명합니다. 참고로  원문은 이를 "Oberon 랙스케일 아키텍처의 2세대"라고 표현하는데, 이는 GB200→GB300→Vera Rubin으로 이어지는 Oberon 계보 안에서의 세대 구분이고, Nvidia 측 "3세대"는 Hopper 기반 랙스케일 시스템까지 포함한 더 넓은 세대 구분으로 보입니다.

[수치 확인 필요: 두 세대 표기 기준의 정확한 차이]

 

[보완 내용] GPU 아키텍처 차원에서는 Rubin GPU가 강화된 텐서 코어, 새로운 HBM4 메모리 서브시스템, 3세대 트랜스포머 엔진을 통해 최대 50 페타플롭스의 NVFP4 성능을 내며, Blackwell 대비 에너지 단위당 최대 10배의 에이전틱 처리량 향상을 목표로 한다고 Nvidia는 밝히고 있습니다.

 

원문 기사로 돌아오면, Rubin 이후 세대인 Feynman(SM_140)에 대해서도 언급되는데, Blackwell에서 Rubin으로의 전환과 달리, Rubin에서 Feynman으로의 전환은 커널 관점에서 훨씬 더 복잡한 전환이 될 것이라고 예고합니다.

 

배경의 마지막 축은 벤치마크 생태계입니다. VR NVL72의 초기 성능 지표는 CoreWeave가 발표한 것으로, 가 독립적으로 검증한 수치는 아니며, Nvidia는 2026년 3분기까지 InferenceX에 검증 가능한 수치를 제출하기로 했고 Google은 TPUv7, AMD는 MI455X UALoE72 결과를 제출할 예정이라고 설명합니다.

 

방법론 (Methods / 분석 방법)

SemiAnalysis 는 CoreWeave가 발표한 원자료를 그대로 인용하지 않고, 자체 인프라 기준으로 재정규화(renormalize)하는 방식을 취합니다.

 

1. 비용·전력 모델: 자체 AI TCO 모델(칩별 capex, opex 등 다양한 비용 요소 추적)과 데이터센터 모델의 All-in Utility Provisioned Power 추정치를 활용해 성능/달러, 성능/와트를 계산합니다.
   
   
2. 측정 기준 정합화: CoreWeave의 벤치마크는 단일 턴(입력 8k, 출력 1k 토큰) 기준이며, y축은 총 처리량이 아닌 메가와트당 출력 토큰 처리량이고, 전력 수치는 출력 토큰만 집계함에도 prefill과 decode GPU 전력을 모두 포함한다는 차이를 발견하고, InferenceX는 decode GPU 전력만으로 출력 처리량을 측정하기 때문에, 비교를 위해 자체 데이터를 CoreWeave 기준에 맞춰 재정규화했다고 밝힙니다.
   
   
3. 적용된 최적화 기법 확인: CoreWeave는 GB200 NVL72 베이스라인과 Rubin NVL72 결과 모두에 NVFP4 정밀도, MTP 기반 추측 디코딩, Dynamo 기반 분리 서빙(disaggregated serving), 광범위한 전문가 병렬화(wide EP), TensorRT-LLM 등의 최적화를 동일하게 적용했다고 주장합니다.
   
   
4. 베이스라인 다변화: CoreWeave는 2025년 초기 GB200 NVL72를 베이스라인으로 사용했는데, 는 이 비교도 유지하되 추가로 2026년 기준 GB200 NVL72 성능, 그리고 가장 최신 비교 대상인 GB300 NVL72의 2026년 초 성능까지 함께 비교합니다. 이는 1년 묵은 소프트웨어 스택 기준 비교가 과장된 격차를 만들 수 있다는 문제의식에서 비롯된 방법론적 보정입니다.
   
   
5. 테스트 환경의 한계 명시: CoreWeave의 테스트는 스케일아웃 패브릭이 없는 사전 양산(pre-production) 랙, 구체적으로 Dell 엔지니어링 샘플 랙에서 이루어졌다는 점, 테스트에 사용된 DeepSeek R1 671B는 더 이상 널리 쓰이지 않는 모델이라는 점도 방법론적 한계로 지적합니다.

실험/결과 (Experiments / Results)

 

메가와트당 성능(Performance per MW)
2026년 7월 기준 GB300 NVL72와 비교했을 때, Rubin의 우위는 낮은 인터랙티비티 구간(초당 100토큰/사용자 수준까지)에서는 약 2배로 가장 작고, 약 200토큰/사용자 구간에서 약 4배로 정점을 찍은 뒤 다시 좁아진다고 합니다. 300토큰/사용자에서 나타나는 5.4배라는 수치는 Rubin이 더 앞서 나가서가 아니라 GB300이 자신의 프론티어(서빙 가능한 한계) 끝자락에 겨우 도달했기 때문에 비율이 부풀려진 결과이며, GB200은 애초에 300토큰/사용자에 도달조차 못한다고 설명합니다.

 

2025년 GB200 NVL72 베이스라인과 비교하면 양상이 달라, 곡선 중간 구간에서 격차가 가장 크게 나타난다. 낮은 속도에서는 3배 미만이지만 150토큰/사용자(Nvidia가 강조한 지점)에서 약 10배까지 벌어지고, 200토큰/사용자 부근에서 다시 6배로 좁아진다고 합니다. 350토큰/사용자 구간에서는 GB200과 GB300 모두 워크로드를 감당하지 못해 Rubin만 실질적인 곡선을 그리며, 이 지점에서 Rubin은 300토큰/사용자에서 메가와트당 96,446토큰, 350토큰/사용자에서 70,703토큰을 처리한다고 제시됩니다.

 

TCO당 성능(Performance per TCO)
Rubin의 GPU당 TCO는 Blackwell보다 높아, 소유·운영 시나리오(대여 가격이 아닌) 기준으로 GPU-시간당 3.57달러인 반면 GB200은 1.84달러, GB300은 2.36달러입니다. 이 때문에 달러당 토큰 우위는 메가와트당 우위보다 다소 작게 나타난다고 설명합니다.

 

2026년 7월 기준 GB200·GB300과 비교하면 Rubin은 모든 인터랙티비티 구간에서 더 저렴하며 격차는 속도가 높아질수록 커진다: 100토큰/사용자까지는 약 1.5배, 200~250토큰/사용자 구간에서는 3배까지 저렴해지고, 300토큰/사용자에서 GB300 대비 5배 우위는 메가와트당 결과와 마찬가지로 GB300이 프론티어 한계에 걸려 있기 때문입니다. 2025년 GB200 베이스라인 대비로는 낮은 속도에서 2배 남짓, 150토큰/사용자에서 약 8배로 정점을 찍은 뒤 200토큰/사용자 부근에서 5배로 되돌아간다고 하며, 350토큰/사용자에서는 Rubin만 서빙이 가능하고 이때 비용은 백만 출력 토큰당 4.18달러로 제시됩니다.

 

결론 (Conclusion)

 

• Vera Rubin NVL72는 특히 높은 인터랙티비티("fast mode") 구간에서 Blackwell 세대 랙 대비 뚜렷한 성능·비용 우위를 보이지만, 10배, 5.4배 같은 헤드라인 수치는 상당 부분 2025년 초기 GB200 베이스라인과 비교하거나, GB300이 자신의 서빙 한계 끝에 몰려 있는 지점을 비교한 결과이지, Rubin이 순수하게 그만큼 더 앞서서가 아니다라는 점이 핵심 메시지입니다.
• Rubin의 실제 성능은 소프트웨어가 성숙할수록 계속 개선될 것으로 예상되며, 이는 가 InferenceX 벤치마크에서 Blackwell에서도 확인했던 패턴과 동일합니다.
• CoreWeave가 구형 모델(DeepSeek R1)과 단일 턴 벤치마크만 사용한 것은 오히려 Rubin에 불리한 조건일 수 있는데, Rubin의 강점(더 큰 HBM 용량·대역폭)은 초대형 모델이나 멀티턴·장문 컨텍스트 에이전틱 워크로드에서 더 부각될 것으로 예상되기 때문이라고 지적합니다.
• 2026년 3분기 이후 Nvidia·Google·AMD의 InferenceX 검증 수치가 나오면 더 객관적인 비교가 가능해질 것이라는 전망으로 이 구간이 마무리됩니다.