LLM - 오픈 웨이트(Open Weight) - 폐쇄형(프론티어) 모델과의 격차

https://newsletter.semianalysis.com/p/are-open-models-catching-up

2026.8.22
[Are Open Models Catching Up?]

 

 

 

STEP 1. 문제의식 — 왜 이 분석이 필요한가

최근 두 달은 오픈소스 AI에게 도약의 시기였으며, GLM 5.3과 Kimi K3 같은 모델이 Anthropic을 650억 달러 이상의 연환산매출(ARR)로 끌어올린 것과 유사한 수준의 코딩·에이전틱 작업을 실제로 수행할 수 있게 되었다고 필자들은 지적합니다. 이는 2025년 1월 "DeepSeek 모먼트" 때와는 다른데, 당시 R1은 실제 경제적 가치를 만드는 작업에 널리 쓰이지 못했다는 점을 필자들은 대비시킵니다.

배경 지표로 Fireworks AI 한 곳만 해도 하루 40조 토큰을 처리하고 있으며, 이는 3월 말 기준 OpenAI API 처리량의 2배라고 언급합니다. 이런 흐름 속에서 나온 우려가 바로 "모델 레이어의 상품화(commoditization)" — 오픈모델이 훨씬 저렴한 비용으로 폐쇄형 모델에 근접한 능력을 유지한다면, 프론티어 랩들의 마진이 위협받을 수 있다는 것입니다.

STEP 2. 분석 방법론 — "시대(era)" 단위로 쪼개서 본다

필자들은 단일 벤치마크 세트로 전체 역사를 비교하는 방식은 오류라고 지적합니다. 모든 벤치마크는 특정 시대의 산물이며, 새 벤치마크가 만들어지면 모델들이 그것을 정복(saturate)할 때까지 따라잡고, 그 후엔 관심 밖으로 밀려나는 순환이 반복된다는 것입니다.

이에 따라 LLM 역사를 세 시대로 구분합니다:

• 1기: 초기 스케일링 (2022–2024)
• 2기: 추론 (2024–2025)
• 3기: 에이전틱 (2025–현재)

각 시대마다 대표 벤치마크 묶음을 새로 선정하고, 해당 시대 최고 성적을 100으로 정규화한 뒤 나머지 모델들의 점수를 상대 환산하는 방식으로 "복합 점수(composite score)"를 산출했습니다.

측정 방식의 신뢰성 확보를 위한 조치: 대부분의 벤치마크는 Prime Intellect의 평가 스택(environments hub, Prime-RL 내 evals harness)으로 직접 실행했고, 나머지는 Artificial Analysis와 Datacurve의 DeepSWE 리더보드 데이터를 활용했습니다. 오픈모델은 출시 당시 실제 쓰였던 vLLM 버전·하드웨어·모델카드의 샘플링 설정 그대로 재현했고, 폐쇄모델은 고정된(pinned) API 버전으로 테스트했습니다.

결론부터 말하면: 세대를 거듭할수록 오픈소스 모델이 그 시대 첫 폐쇄형 모델을 따라잡는 데 걸리는 시간이 절반씩 줄어드는 뚜렷한 추세가 확인됐다고 합니다.

 

STEP 3. 1기 — 초기 스케일링 (2022–2024)

사용 벤치마크: GSM8K, HumanEval, TriviaQA, MMLU-Pro (단순 객관식·서술형 수학·단일 함수 수준 프로그래밍 문제)

시점	모델	복합 점수
2023.6	Llama-2-70B (오픈)	39.9
동시기	GPT-3.5 Turbo (폐쇄)	75.7
2024.7	Llama-3.1-405B	86
2024.12	DeepSeek V3	94.1
2024.12	GPT-4o (폐쇄)	95.5

 

Llama-2-70B는 GPT-3.5 Turbo 대비 상당한 격차(39.9 vs 75.7)로 시작했고, 2023년 12월 Mixtral-8x7B가 GPT-4 수준으로의 모멘텀을 만들었지만 곧 GPT-4 Turbo·GPT-4o가 다시 앞서나갔습니다. 결국 2024년 7월 Llama-3.1-405B가 되어서야 GPT-3.5 Turbo와의 격차를 해소했고(86점), 그해 12월 DeepSeek V3가 GPT-4o(95.5)에 근접한 94.1점을 기록하며 마지막 격차를 좁혔습니다. 특히 Qwen2.5-72B는 405B의 6분의 1 파라미터 규모(18조 토큰으로 사전학습)로 GPT-4o에 근접한 성적을 냈습니다.

 

이 시기 프론티어가 GPT-4 수준을 크게 넘어서지 못했던 것은 Turbo와 4o가 "더 똑똑하게"가 아니라 "더 싸고 빠르게" 만들려는 목적이었기 때문이라고 필자들은 설명합니다. 한편 OpenAI 내부에서는 프로세스 보상(process-reward) 연구와 Noam Brown 영입이 추론(reasoning) 쪽으로 방향을 잡고 있었고, 2024년 9월 12일 o1-preview 출시로 새 시대가 열립니다.

 

STEP 4. 2기 — 추론 (2024–2025)

o1 등장으로 벤치마크 세트가 바뀝니다. 초등 수준 수학 문제는 AIME로, 그리고 Scale AI가 만든 박사급 수준의 초난도 객관식 문제 모음인 "Humanity's Last Exam(HLE)"이 등장했습니다.

 

흥미로운 점은, 이번엔 시작부터 격차가 훨씬 작았다는 것입니다. 그 이유는 DeepSeek R1 때문으로, 이전 시대 시작 시점의 35.8점 격차와 달리 2기 시작 시점 격차는 12.1점에 불과했습니다.

 

이후 흐름:

• R1 출시 직후 시장이 크게 흔들렸지만 AI 캐펙스(설비투자) 트레이드는 곧 회복했고, R1이 만든 "오픈모델 모멘텀"은 얼마 안 가 Meta의 Llama-4 Maverick에 다시 눌렸습니다.
•  
• Gemini 2.5 Pro와 o3가 추론 프론티어를 계속 밀어붙이는 가운데, 2025년 5월 R1-0528 체크포인트가 78점을 기록하며 격차를 완전히 해소했습니다 — 12.1점 격차를 메우는 데 걸린 시간은 8.5개월이었습니다. semianalysis
• 이 시기 눈에 띄게 벤치마크 경쟁에 참여하지 않은 곳이 Anthropic이었습니다. 모델카드에는 성적을 공개했지만 리더보드 정상 다툼에는 나서지 않았고, 대신 Claude를 "기본 코딩 에이전트"로 만드는 데 집중했습니다. 이것이 3기의 판을 짜게 됩니다.
  
  

STEP 5. 3기 — 에이전틱 (2025–현재)

Claude Code가 2025년 5월 정식 출시된 이후 Anthropic의 ARR은 650억 달러 이상 증가했습니다. 벤치마크도 다시 바뀌어, Terminal-Bench 2.1, BrowseComp-Plus, τ³-banking, DeepSWE가 소프트웨어 엔지니어링·딥리서치·지식노동 같은 장시간·다단계 작업을 측정하는 지표로 채택됐습니다.

이 시대의 시작점을 두고는 다소 논쟁이 있는데, 대다수 전문가들은 신뢰성 측면에서 Opus 4.5를 에이전틱 시대의 공식 출발점으로 봅니다. 흥미롭게도 당시 OpenAI의 플래그십이었던 GPT-5.2가 벤치마크 점수 자체는 더 높았지만, 사용자 경험은 그에 못 미쳤습니다. 이는 "모델+하네스"라는 완제품 자체가 중요해졌다는 뜻으로, Anthropic은 범용 에이전틱 작업에 특화된 하네스를 정교하게 다듬는 데 집중한 반면 Codex는 상대적으로 투박했고, OpenAI는 동시에 웹브라우저 같은 곁가지 프로젝트에도 힘을 분산했습니다.

 

모델 출시 속도 자체도 빨라졌습니다: OpenAI와 Anthropic은 3기 동안 평균 51일마다 새 모델을 출시했는데, 이는 1기(213일)·2기(120일) 평균과 비교해 크게 단축된 주기입니다.

 

그럼에도 불구하고 격차 해소 속도는 오히려 더 빨라졌습니다: Kimi K2.6은 4.8개월 만에 56.3점으로 Opus 4.5를 넘어섰고, GLM-5.2는 6개월 만에 72.4점으로 GPT-5.2를 넘어섰습니다. "격차 해소 기간이 시대마다 절반으로 줄어든다"는 추세가 놀랍도록 일관되게 유지되고 있습니다.

 

STEP 6. 앞으로의 전망 (무료 공개 구간)

필자들이 던지는 두 가지 균형추:

1. 벤치마크는 만능이 아니다: Kimi K3가 SemiAnalysis 자체 복합 점수에서 Fable 5보다 높게 나오더라도, SemiAnalysis 팀은 일상 업무에서 여전히 Fable을 선호한다고 밝힙니다. 이는 Claude Code·Claude Tag 같은 제품화 수준의 차이도 있지만, 무엇보다 벤치마크가 실제 업무의 완벽한 대리지표가 아니기 때문이며, 특히 공개 벤치마크는 벤치마크 과제와 유사한 RL 환경을 대량으로 만들어 손쉽게 "hill-climb"할 수 있다는 한계가 있습니다.
   
   
2. 3기 격차 해소가 빨라 보이는 게 안전성 테스트 때문 아니냐는 반론에 대해: Anthropic·OpenAI가 Moonshot·Zhipu보다 안전성 테스트에 더 많은 시간을 쓰기 때문에 격차가 인위적으로 좁아 보인다는 주장이 있을 수 있지만, 이는 새로운 현상이 아니라고 반박합니다. 예컨대 GPT-4는 학습 완료 후 출시까지 218일이 걸렸고, Mythos가 2월 중순 학습을 마쳤다고 가정해도 Fable 출시까지의 지연은 114일에 불과하다는 것입니다.

 

[보완 내용] — 원문이 전제하고 넘어간 배경지식

기사가 업계 전문가 독자층을 상정하고 있어 별다른 설명 없이 지나가는 고유명사들을 보강합니다.

① Kimi / Moonshot AI
Moonshot AI는 2023년 3월 베이징에서 설립된 중국의 AI 기업으로, 중국 6대 AI 유니콘("여섯 마리 호랑이") 중 하나이며 오픈 웨이트 전략에 가장 크게 베팅한 랩입니다. 2025년 7월 1조 파라미터 규모의 Kimi K2를 오픈소스로 공개했고, 이후 K2.6(2026년 4월), K2.7 Code(2026년 6월)를 거쳐 2026년 7월 16일 2.8조 파라미터의 K3를 출시했습니다. 2026년 5월 20억 달러 규모의 시리즈D 투자를 유치하며 기업가치가 200억 달러로 평가받았습니다.

 

② GLM / Zhipu AI(Z.ai)
Z.ai(옛 Zhipu AI)는 2019년 설립된 중국 AI 기업으로, GLM(General Language Model) 계열 모델을 2025년 7월부터 MIT 라이선스로 오픈소스 공개해왔습니다. 2026년 2월 공개한 GLM-5는 7,440억 파라미터로 Claude Opus 4.5, GPT-5.2와 코딩·에이전트 작업에서 대등한 수준을 주장했고, 이어 2026년 6월 13일 출시된 GLM-5.2는 100만 토큰 컨텍스트를 지원하는 MoE 모델로 소프트웨어 엔지니어링·에이전틱 작업에 특화됐습니다.

 

③ [보완 내용] GLM-5.2 출시와 지정학적 맥락
공개 시점이 단순 우연이 아니었다는 점도 짚을 만합니다. 트럼프 행정부가 Anthropic의 최상위 모델인 Fable 5와 Mythos 5의 해외 이용자 접근을 차단하도록 지시한 바로 그날, Zhipu는 GLM-5.2의 오픈소스 공개를 발표했습니다. (이 수출 통제 조치는 이후 2026년 6월 30일 미 상무부가 해제했고, Anthropic은 7월 1일 접근을 복원했습니다.) 원문 기사에서 "Mythos가 2월 중순 학습을 마쳤다"고 가정하는 대목은 이런 배경과 연결됩니다.

 

④ 원문에 정의 없이 등장하는 벤치마크 약칭
HLE(Humanities Last Exam)는 박사급 난이도의 다분야 객관식 시험이며, SWE-bench Pro는 실제 소프트웨어 엔지니어링 작업 기반 벤치마크입니다. 두 벤치마크 모두 필자들이 인정하듯 자체적인 결함 논란이 있지만, 각 시대를 대표할 만한 대안이 마땅치 않아 채택됐습니다. Terminal-Bench 2.1(터미널 기반 에이전트 작업), BrowseComp-Plus(웹 브라우징/리서치), τ³-banking(업무 시뮬레이션), DeepSWE(소프트웨어 엔지니어링) 각각의 세부 채점 기준까지는 원문에 설명되어 있지 않아 정확한 평가 항목은 각 벤치마크 원출처(GitHub, Datacurve 등)를 직접 확인하시는 걸 권합니다.

 

정리

기사의 핵심 메시지는 "오픈소스 모델이 시대마다 프론티어를 따라잡는 데 걸리는 시간이 절반씩 단축되고 있다"는 것이며, 그 근거로 1기(격차 자체 측정 어려움) → 2기(8.5개월) → 3기(4.8~6개월)로 좁혀지는 추세를 제시합니다. 다만 필자들 스스로도 벤치마크의 한계(실사용 경험과의 괴리, RL 환경을 통한 벤치마크 hill-climbing 가능성)를 명시적으로 인정하고 있어, 이 트렌드를 "오픈모델이 사실상 프론티어를 따라잡았다"는 결론으로 단순화하는 것은 원문의 취지와 다릅니다.