AI - 기술 스택 - LLM 추론 최적화 - ByteDance, Attention-FFN 분리(AFD)

https://arxiv.org/abs/2504.02263

2025.7.26
[MegaScale-Infer: Serving Mixture-of-Experts at Scale with Disaggregated Expert Parallelism]

이 연구는 거대 언어 모델(LLM)의 효율성을 높이는 혼합 전문가(MoE) 구조가 추론 과정에서 발생하는 메모리 병목 현상과 GPU 이용률 저하 문제를 해결하기 위해 MegaScale-Infer라는 혁신적인 시스템을 제안합니다. 핵심 전략은 어텐션(Attention) 모듈과 피드포워드(FFN) 모듈을 분리하여 각각 독립적인 GPU 노드에 배치하는 분산 전문가 병렬 처리 방식을 채택한 것입니다. 이를 통해 각 모듈의 특성에 맞춰 하드웨어를 최적화하고, 마이크로 배치 단위로 연산과 통신을 교차시키는 핑퐁 파이프라인 병렬화를 통해 데이터 전송 시 발생하는 대기 시간을 효과적으로 제거합니다. 또한, 연산 노드 간의 복잡한 데이터 이동을 가속화하기 위해 고성능 M2N 통신 라이브러리를 자체 개발하여 기존 통신 방식보다 낮은 지연 시간과 높은 처리량을 구현했습니다. 결과적으로 이 시스템은 대규모 MoE 모델 서비스에서 기존 최신 기술 대비 최대 1.9배 높은 GPU 처리량과 약 2배의 비용 절감 효과를 달성하며 모델 운영의 경제성과 효율성을 동시에 확보했습니다.