State of AI

An Empirical 100 Trillion Token Study with OpenRouter

Malika Aubakirova*Alex Atallah†Chris Clark†Justin Summerville†Anjney Midha*

* a16z (Andreessen Horowitz) •† OpenRouter Inc.

* Lead contributors. Please see Contributions section for details.

December, 2025

- 리텐션과 핵심 코호트의 잔존률이 모델 품질을 증명하는 새로운 척도가 되고 있다.

- PMF가 아니라 Workload-Model Fit이 LLM 시대의 진짜 성공 요건이다.

비교 항목	전통적 중요성	LLM 시대의 관점
평가 지표	벤치마크 점수	사용자 리텐션(잔존률)
성공 요건	PMF (제품-시장 적합도: Product-Market Fit)	*Workload-Model Fit
평가 방식	모델 자체 성능 평가	실제 사용자 작업과의 적합성 + 지속 사용 여부

*Workload-Model Fit: 모델이 특정 ‘실제 작업/워크로드(workload)’를 얼마나 잘 해결하는가 여부

 A 모델이 벤치마크 점수는 높지만 → 실제 워크플로우에 잘 맞지 않아 사용자 이탈률이 높다면 → 리텐션 낮아짐

 B 모델은 벤치마크는 평범하지만 → 특정 작업(예: 코드 자동화)에 매우 잘 맞아 → 사용자들이 지속 사용 → 높은 리텐션
→ 결과적으로 B가 실제 시장에서 진짜 성공하는 형태

728x90