AI - 기술 스택 - LLM 추론 최적화

https://cloud.google.com/blog/topics/developers-practitioners/five-techniques-to-reach-the-efficient-frontier-of-llm-inference?hl=en

이 자료는 한정된 하드웨어 예산 내에서 지연 시간과 처리량 사이의 최적 균형점을 뜻하는 효율적 경계(efficient frontier)에 도달하기 위한 LLM 추론 최적화 전략을 다룹니다. 저자는 성능을 극대화하기 위해 시맨틱 라우팅, 사전 채우기와 디코딩의 분리, 양자화, 컨텍스트 인식 라우팅, 그리고 투기적 디코딩이라는 다섯 가지 핵심 기술을 제안합니다. 특히 네트워크 계층에서의 지능형 라우팅이 중복 계산을 방지하여 효율성을 대폭 높일 수 있음을 강조하며, 실제 사례를 통해 그 효과를 입증합니다. 궁극적으로 이 글은 끊임없이 진화하는 기술 환경에 맞춰 유연한 인프라를 구축함으로써 추론 경제성을 확보하고 최적의 성능을 유지해야 한다는 실무적인 지침을 제공합니다.

모델 추론에 투자하는 모든 달러는 지연 시간과 처리량 그래프 상의 한 위치를 구매하는 것과 같습니다. 이 그래프는 하드웨어에서 가능한 최대 성능을 끌어낸 최적 구성 곡선을 나타냅니다. 금융 분야의 포트폴리오 이론에서 차용한 이 곡선을  효율적 투자선(efficient frontier)  이라고 합니다 .