AI - 기술 스택 - LLM 추론 최적화 - Attention-FFN 분리(AFD)

https://www.chiplog.io/p/inside-attention-ffn-disaggregation

2026.7.6
[Inside Attention-FFN disaggregation: What Groq LP40 will look like]

이 글은 거대 언어 모델(LLM)의 추론 효율성을 극대화하기 위해 등장한 Attention-FFN Disaggregation (AFD) 기술과 그 산업적 적용 사례를 심도 있게 다룹니다. 저자는 모델의 핵심 구성 요소인 Attention 블록과 Feed-Forward Block(FFN)이 요구하는 하드웨어 자원이 서로 상이하다는 점에 주목하며, 이를 분리하여 최적의 칩에 각각 할당하는 이 기종 컴퓨팅의 필요성을 역설합니다. 특히 바이트댄스의 MegaScale-Infer 연구를 통해 입증된 성능 향상 결과와 함께, NVIDIA의 GPU와 Groq의 LPU를 결합하여 지연 시간을 줄이고 처리량을 높이는 구체적인 전략을 설명합니다. 궁극적으로 이 텍스트는 기술적 진화가 어떻게 서빙 비용 절감과 효율적인 모델 운영으로 이어지는지 분석하며 향후 하드웨어 로드맵이 시장 구조에 미칠 영향까지 시사합니다.

 

분산형 LLM 추론과 이기종 컴퓨팅의 등장

 

1.AWS + Cerebras : 사전 채우기-디코딩 분리를 통한 추론 속도 향상. AWS Trainium에서 사전 채우기, Cerebras CS-3에서 디코딩.

2.Gimlet Labs와 d-Matrix의 파트너십을 통해 분산형 투기적 디코딩을 통해 사용자당 초당 2~5배의 토큰 처리 속도를 달성했습니다. 목표 모델은 NVIDIA GPU에서, 드래프트 모델은 d-Matrix의 Corsair 가속기에서 구현되었습니다.

3.NVIDIA + Groq : NVIDIA는 올해 GTC에서 Attention-FFN Disaggregation(AFD)을 공개했습니다. NVIDIA GPU에서는 Attention이, Groq LPU에서는 FFN이 사용됩니다.

 

Llama-3 8B 모델 레이어

DeepSeek-V3 MoE 레이어

어텐션-FFN 분해 및 핑퐁 파이프라인 방식의 연산 처리