LLM - 성능 - 최적화 - 추론

https://cloud.google.com/blog/topics/developers-practitioners/five-techniques-to-reach-the-efficient-frontier-of-llm-inference

 

한정된 하드웨어 예산 내에서 지연 시간과 처리량 사이의 최적 균형점을 뜻하는 효율적 경계(efficient frontier)에 도달하기 위한 LLM 추론 최적화 전략을 다룹니다. 저자는 성능을 극대화하기 위해 시맨틱 라우팅, 사전 채우기와 디코딩의 분리, 양자화, 컨텍스트 인식 라우팅, 그리고 투기적 디코딩이라는 다섯 가지 핵심 기술을 제안합니다. 특히 네트워크 계층에서의 지능형 라우팅이 중복 계산을 방지하여 효율성을 대폭 높일 수 있음을 강조하며, 실제 사례를 통해 그 효과를 입증합니다. 궁극적으로 이 글은 끊임없이 진화하는 기술 환경에 맞춰 유연한 인프라를 구축함으로써 추론 경제성을 확보하고 최적의 성능을 유지해야 한다는 실무적인 지침을 제공합니다.

 

 

LLM 추론이 왜 느려지고, 왜 최적화가 필요한지 하드웨어/시스템 관점의 근본 원리 그림 1. Prefill vs. Decode phases 추론의 두 단계가 서로 다른 병목을 가진다

 

여러 최적화 기법이 어떤 성능 지표에 얼마나 효과적인지 한눈에 비교 ntervention 비교표 semantic routingprefill/decode disaggregationquantizationcontext routingspeculative decoding각각이 TTFT, TBT, Throughput, Compute Cost에 미치는 영향 요약

 

실제 서비스 배치에서 라우팅 계층이 KV cache 효율을 어떻게 바꾸는지 기존 L4 라우팅 vs L7 inference gateway 비교