인공지능 - AI 반도체 - CPO(Co-Packaged Optics)

(개념) 생성형 AI와 대규모 데이터센터의 폭발적인 데이터 트래픽 증가에 대응하기 위해 등장한 차세대 광통신 기술

- 스위치 ASIC(전용 집적회로)이나 GPU/XPU 등의 반도체 칩과 광학 엔진(Optical Engine)을 동일한 패키지 기판 위에 통합하는 것을 핵심으로 함

 

https://jasonschips.substack.com/p/the-lumentum-series-part-3-its-time

 

https://engineering-ladder.tistory.com/178

 

Lumentum 이 제시하는 CPO(Co-Packaged Optics) 기반 데이터센터 아키텍처의 3단계 진화 로드맵

 

CPO 기술 진화 단계별 비교표

구분	Phase 0: CPO Scale-Out	Phase 1: CPO Scale-Up	Phase 2: CPO Scale-Up (고급)
시대적 특징	초기 도입 단계	중간 확장 단계	고밀도 통합 단계
Compute Domain	• Single-rack 컴퓨트 클러스터 • 스위치 간 CPO 링크 • 3개 랙 기본 구성	• Multi-rack 컴퓨트 클러스터 • 3~4X CPO 링크 증가 • Inter-rack 연결 지원	• More racks (5개+ 랙) • Intra-rack + Inter-rack 동시 지원 • Phase 1 대비 3~4X 추가 증가
OCS (Optical Circuit Switch)	• Spine/Super Spine Switch • High Radix 300×300 • 전통적 네트워크 토폴로지	• Scale-Up Switch (~1K XPUs) • Medium Radix 64×64 • 랙 간 중거리 연결 최적화	• Scale-Up Switch (~10K XPUs) • High Radix 300×300 복귀 • 대규모 XPUs 집적 연결
Backplane	• Full Copper Backplane • 전통적 구리 배선 • 전기 신호 기반	• Full Copper Backplane • 구리 기반 유지 • 광학 신호는 랙 외부로 확장	• Hybrid Copper/Optical Backplane • 구리 + 광학 혼합 • 백플레인 자체 광학화
Packaging	• 단일 칩 패키징 • 기존 SoC 구조 • 표준 BGA/FC-BGA	• More HBM & Compute Chiplets • 칩렛 아키텍처 도입 • 2.5D 패키징	• 고밀도 Chiplet 통합 • 다수 HBM die 적층 • 3D/3.5D 패키징
주요 기술적 한계/진보	단일 랙 내 연결 한계	랙 간 광학 연결로 확장	백플레인 광학화로 전력/지연 최소화

 

Phase 0: CPO Scale-Out (초기 단계)

목표: 단일 랙(Single-rack) 내 스위치 간 고속 연결

• Compute Domain: 스위치 간 CPO 링크를 활용한 단일 랙 컴퓨트 클러스터. 그림에서 3개의 서버 랙이 CPO로 상호 연결된 기본 구성을 보여줍니다.
• OCS (Optical Circuit Switch): 전통적인 Spine/Super Spine 스위치를 사용하며, High Radix(300×300) 구조로 대규모 포트 연결을 지원합니다.
• Backplane: Full Copper Backplane - 완전한 구리 배선 기반의 전통적인 백플레인 구조를 유지합니다.
• Packaging: 단일 패키지 기반의 기존 칩 구조를 사용합니다.

Phase 1: CPO Scale-Up (중간 단계)

목표: 다중 랙(Multi-rack) 간 고속 연결로 확장, 3~4배의 CPO 링크 증가

• Compute Domain: Inter-rack(랙 간) CPO 링크를 포함하여 3~4배의 연결 대역폭을 확보. 여러 랙을 하나의 논리적 클러스터로 묶습니다.
• OCS: **Scale-Up Switch (~1K XPUs)**로 전환. 중간 규모의 집적도를 가지며, Medium Radix(64×64) 구조로 더 밀도 높은 내부 연결을 제공합니다.
• Backplane: 여전히 Full Copper Backplane을 사용하지만, 랙 간 광학 연결을 통해 Scale-Out 한계를 극복합니다.
• Packaging: More HBM & Compute Chiplets - 단일 칩에서 벗어나 HBM(고대역폭 메모리)과 컴퓨팅 칩렛을 더 많이 통합하는 칩렛(Chiplet) 아키텍처로 진화합니다.

Phase 2: CPO Scale-Up (고급 단계)

목표: 더 많은 랙을 포함하는 초고밀도 컴퓨트 클러스터, 광학 백플레인 도입

• Compute Domain: Phase 1 대비 3~4배의 CPO 링크 증가하며, Intra-rack(랙 내부) 연결까지 CPO로 확장. 그림에서 5개의 랙으로 클러스터가 확장된 것을 확인할 수 있습니다.
• OCS: **Scale-Up Switch (~10K XPUs)**로 대규모화되어 수천 개의 가속기(XPUs)를 단일 스위치로 연결. High Radix(300×300) 구조로 복귀하되, 훨씬 더 높은 집적도를 달성합니다.
• Backplane: Hybrid Copper/Optical Backplane - 핵심 진화 단계로, 구리와 광학 신호를 혼합한 백플레인을 도입하여 전기적/광학적 인터커넥트의 장점을 결합합니다.
• Packaging: 고도화된 Chiplet 아키덱처로, 여러 개의 HBM과 컴퓨팅 다이를 고밀도로 통합한 패키지를 보여줍니다.

 

 

핵심 기술 파라미터 요약

파라미터	Phase 0	Phase 1	Phase 2	변화 방향
연결 거리	Intra-rack (내부)	Inter-rack (랙 간)	Intra + Inter-rack	확장 → 재통합
스위치 집적도	300×300 (High)	64×64 (Medium)	300×300 (High)	일시적 감소 후 고도화
XPUs 연결 수	수십~수백 개	~1,000 개	~10,000 개	10배 → 100배 증가
백플레인 매체	Cu (구리 100%)	Cu (구리 100%)	Cu + Optical	광학 매체 도입
패키징 형태	Monolithic	Chiplet (2.5D)	Advanced Chiplet (3D)	다이 적층화

 

핵심 기술적 의미

1. Scale-Out vs Scale-Up 전환: 초기에는 랙 수를 늘리는 수평 확장(Scale-Out)에서, 광학 기술을 통해 랙 간 거리를 극복하고 하나의 거대한 컴퓨팅 자원으로 통합하는 수직 확장(Scale-Up)으로 전환됩니다.
2. OCS 역할의 변화: Phase 0의 단순한 Spine 스위치에서 Phase 2의 10K급 XPUs를 연결하는 대규모 Scale-Up 스위치로 발전하며, Radix(연결 포트 수)도 300×300으로 회복합니다.
3. Backplane의 광학화: Phase 2에서 Hybrid Copper/Optical Backplane이 등장하는 것은 CPO 기술이 단순히 스위치-서버 연결을 넘어, 백플레인 자체를 광학 신호로 대체하는 OIO(On-board Optics) 또는 Optical Backplane 단계로 진입함을 의미합니다.
4. Packaging 진화: 단일 SoC에서 HBM과 컴퓨트 칩렛을 통합하는 고급 패키징 기술(2.5D/3D stacking)이 필수가 되며, 이는 CPO와 광학 I/O가 결합된 미래형 AI 가속기의 모습을 예시합니다.

이 로드맵은 현재의 Pluggable Optical 모듈에서 출발하여 CPO를 거쳐 Hybrid Optical Backplane으로 이어지는 "Compute Shoreline(계산 해안선)" 확장을 통해, 향후 대규모 AI 데이터센터가 어떻게 구축될 것인지를 보여주는 기술 청사진입니다.

 

Lumentum 이 제시하는 데이터 전송 대역폭(Total Bandwidth) 대비 최대 전송 거리(Maximum Reach) 관계를 나타내는 기술 그래프

 

그래프 구성 요소 분석

구성 요소	의미 및 특성
X축	총 대역폭(Total Bandwidth): 400G → 800G → 1.6T → 3.2T (표준화된 전송 속도)
Y축	최대 전송 거리(Reach): 0~7m (미터 단위)
Standard Rack Height (2.2m)	데이터센터 표준 랙 높이를 나타내는 기준선 (점선)
Passive Copper (주황색 점선)	리타이머 없는 패시브 구리 케이블의 신호 도달 거리
Retimed Copper (주황색 실선)	리타이머(Retimer/DSP)를 적용한 구리 케이블의 신호 도달 거리
Copper Domain (주황색 영역)	구리 기술로 커버 가능한 범위
Optical Domain (파란색 영역)	광학 기술이 필수적인 범위

대역폭별 단계별 기술적 분석

1단계: 400G (현재 상용화 수준)

• Passive Copper: 최대 약 3m 전송 가능
• Retimed Copper: 최대 약 6~7m 전송 가능
• 기술적 의미: 표준 랙 높이(2.2m)를 고려할 때, 패시브 구리로도 한 랙 내에서 충분히 연결 가능. 리타이머를 사용하면 랙 간(Inter-rack) 연결도 구리로 커버 가능한 시점입니다.

2단계: 800G (현재 도입/전환기)

• Passive Copper: 최대 약 2m로 감소 (랙 높이 2.2m보다 짧음)
• Retimed Copper: 최대 약 4~5m로 감소
• 기술적 의미: 패시브 구리는 이제 단일 랙 내부(In-rack) 연결에도 한계가 발생. 리타이머 구리로는 여전히 랙 내/간 연결이 가능하지만 전력 소모와 비용이 급증합니다 engineering-ladder.tistory.com.

3단계: 1.6T (2025~2026년 예상)

• Passive Copper: 1m 미만 (실용성 상실)
• Retimed Copper: 약 2~2.5m 수준으로 한계 도달
• 광학 전환 임계점: 오른쪽 텍스트에 명시된 "At 1.6T, optical required between racks" (1.6T에서는 랙 간 연결에 광학 필수)
• 기술적 의미: 리타이머 구리도 표준 랙 높이(2.2m)를 간신히 넘기거나 못 넘는 수준. 랙 간 연결은 반드시 Optical Interconnect로 전환 필요. 이것이 **CPO Scale-Out (Phase 0→1)**로 연결됩니다.

4단계: 3.2T (2028년 이후 목표)

• Passive Copper: 0.5m 이하 (사용 불가)
• Retimed Copper: 1m 내외 (단자판에서 멀리 있으면 연결 불가)
• 광학 필수화: "At 3.2T, optical links required within racks (hybrid)" (3.2T에서는 랙 내부에서도 광학 링크(하이브리드) 필요)
• 기술적 의미: 리타이머를 사용해도 구리로는 더 이상 실용적인 거리를 확보할 수 없음. 랙 내부의 서버와 스위치 간 연결(Intra-rack)마저도 광학화되어야 하며, 이것이 **CPO(Co-Packaged Optics)**와 Hybrid Copper/Optical Backplane (이전 이미지의 Phase 2)로 구현됩니다 idtechex.com.

핵심 기술적 시사점

1. 구리의 물리적 한계: 대역폭이 2배로 증가(400G→800G→1.6T→3.2T)할 때마다 구리 케이블의 Reach는 급격히 감소합니다. 이는 고속 신호가 구리 매체에서 겪는 **주파수 의존적 감쇠(Frequency-dependent attenuation)**와 ISI(Intersymbol Interference) 때문입니다.
2. 1.6T 임계점: 데이터센터에서 랙 간 거리는 일반적으로 2~10m에 해당. 1.6T에서는 구리로는 이 거리를 커버할 수 없어 Inter-rack 연결의 광학화가 필수가 됩니다.
3. 3.2T 궁극점: 단일 랙 내부에서도 구리로는 1m 이상을 신뢰성 있게 전송하기 어려워지며, 이는 곧 Intra-rack 광학화와 CPO 보급을 의미합니다. 이 시점에서 스위치 ASIC과 광학 엔진을 동일 패키지에 통합하는 CPO가 "The Ultimate Interconnect"로 불리는 이유가 됩니다.