LLM - 추론 최적화 - FreeToken: 엣지 네이티브 MoE(Expert Expert) 서비스 시스템

https://arxiv.org/pdf/2608.16157
https://www.flashml.ai/

2026.8.17
[FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution]

FreeToken은 고성능 데이터센터가 아닌 개인용 컴퓨터와 같은 엣지 환경에서 거대 모델을 효율적으로 구동하기 위해 설계된 혁신적인 추론 프레임워크입니다. 이 시스템은 기기마다 다른 이종 하드웨어 자원과 시시각각 변하는 작업 부하에 맞춰 계산량을 실시간으로 분배하는 대역폭 적응형 실행 방식을 핵심 기술로 제안합니다. 고정된 오프로딩 전략 대신 CPU와 GPU의 가용 자원을 유동적으로 활용함으로써, 일반적인 노트북이나 워크스테이션에서도 수천억 개의 파라미터를 가진 최첨단 MoE(전문가 혼합) 모델을 안정적으로 서비스할 수 있게 합니다. 결과적으로 이 기술은 막대한 자본 없이도 개인이 보유한 하드웨어만으로 프런티어급 인공지능을 직접 실행하고 활용할 수 있는 실질적인 토대를 마련해 줍니다.