LLM - 문샷 AI(Moonshot AI), Kimi K3 : 오픈 프론티어 인텔리전스

https://arxiv.org/abs/2607.24653

2026.7.27
[ KIMI K3: OPEN FRONTIER INTELLIGENCE]

본 기술 보고서는 2.8조 개의 파라미터를 보유한 초거대 혼합 전문가 모델인 Kimi K3의 구조와 성능을 상세히 다룹니다. 이 모델은 Kimi Delta Attention(KDA)과 Stable LatentMoE 등 혁신적인 아키텍처를 도입하여 기존 모델 대비 학습 효율성을 2.5배 개선하였으며, 100만 토큰에 달하는 방대한 문맥 처리 능력과 네이티브 멀티모달 기능을 갖추었습니다. 특히 연구진은 모델의 기반을 다지는 사전 학습뿐만 아니라, 복잡한 추론과 장기적 과제 수행력을 극대화하기 위해 대규모 강화 학습(RL)을 결합한 두 가지 축의 확장 전략을 성공적으로 수행했습니다. 또한 MoonEP와 같은 인프라 혁신을 통해 수조 단위 파라미터 모델의 효율적인 학습과 배포를 가능케 했으며, 이를 통해 오픈 소스 진영의 지능 수준을 글로벌 최첨단(Frontier) 영역으로 격상시키는 것을 목적으로 합니다. 결과적으로 Kimi K3는 코딩, 추론, 시각 이해 등 다방면에서 최상위권의 성능을 증명하며 연구 및 상용화를 위해 전체 가중치가 공개되었습니다.

 

Overview

Kimi K3는 2.8조 개 파라미터를 가진 Mixture-of-Experts 모델로, 토큰당 1,040억 개의 파라미터가 활성화되며 네이티브 비전 처리 능력과 최대 100만 토큰의 컨텍스트 윈도우를 지원합니다. 핵심 구조는 Kimi Delta Attention(KDA)과 Attention Residuals(AttnRes)이며, 여기에 896개 전문가 중 16개를 활성화하는 Stable LatentMoE와 개선된 학습 레시피를 결합해 Kimi K2 대비 약 2.5배의 스케일링 효율 향상을 달성했습니다. 평가 결과 Kimi K3는 코딩·에이전트·지식·추론·비전 전반에서 프런티어급 성능을 보이지만, Claude Fable 5와 GPT-5.6 Sol 같은 최상위 독점 모델에는 여전히 못 미치며, 그 외 공개·독점 모델들은 일관되게 앞섭니다. 모델 가중치는 전체 공개되었습니다.

 

Background

LLM 개발 초기에는 스케일링이 곧 배포 전 더 많은 연산과 데이터를 투입하는 것을 의미했습니다. 이후 추론 모델의 등장으로 테스트타임 연산이 두 번째 스케일링 축으로 자리잡았습니다. OpenAI의 o-시리즈는 강화학습과 테스트타임 추론을 확장했고, Anthropic의 확장된 사고(extended-thinking) 모델은 적응형 사고 예산을 배분하며 추론과 도구 사용을 교차 진행하고, DeepSeek-R1과 Kimi K1.5는 대규모 강화학습만으로 정교한 추론 행동을 이끌어낼 수 있음을 보였습니다.

문제는 오픈소스 생태계가 이 두 번째 축에서는 빠르게 발전한 반면 첫 번째 축(사전학습 규모)에서는 정체되어, 최근 공개 모델 대부분이 1조 파라미터급에 머물러 있다는 점입니다. 이 상태가 지속되면 정교한 추론·에이전트 RL 기법이 비슷한 규모의 사전학습 기반 위에 계속 얹히면서, 오픈소스 진영과 최상위 독점 모델 사이의 격차가 오히려 벌어질 위험이 있다는 것이 저자들의 문제의식입니다. 이에 따라 Kimi K3는 사전학습을 3조 파라미터급으로 확장하는 동시에 강화학습·추론 노력(reasoning effort)·100만 토큰 장문 상호작용까지 함께 확장하는 것을 목표로 설계되었습니다.

 

Methods

1) 모델 아키텍처

• KDA (Kimi Delta Attention): 델타룰 순환에 채널별 forget gate를 결합한 선형 어텐션으로, 각 블록에서 KDA 3개와 Gated MLA 1개가 3:1 비율로 배치됩니다. 수치 안정성을 위해 기존 Kimi Linear의 무한 범위 음의 Softplus 대신, 로그-디케이 하한을 갖는 스케일드 시그모이드 매핑을 도입해 대각/비대각 타일 모두 Tensor Core 밀집 행렬곱으로 계산할 수 있게 했습니다.
• Gated MLA: DeepSeek-V2에서 유래한 Multi-head Latent Attention을 유지하되, Kimi K3는 모든 MLA 레이어에 위치 인코딩을 아예 적용하지 않는(NoPE) 방식을 채택해 컨텍스트 확장 시 RoPE 재조정 같은 작업이 필요 없도록 했습니다.
• Attention Residuals(AttnRes): 표준 잔차 연결이 깊이 방향 정보를 단일 상태로 압축하는 한계를 보완해, 각 레이어가 이전 모든 레이어의 표현을 선택적으로 조회하도록 합니다. 메모리·통신 비용 절감을 위해 레이어를 블록 단위로 묶는 Block AttnRes를 사용하며, Kimi K3는 층을 8개 블록(12층 크기)으로 나눕니다.
• Stable LatentMoE: 896개의 라우팅 전문가 중 토큰당 16개를 활성화(희소도 56)하며, 극단적 희소성에서 발생하는 활성값 폭주와 로드 불균형을 막기 위해 RMSNorm, 새로운 활성함수 SiTU-GLU, 그리고 새 로드밸런싱 기법인 Quantile Balancing(QB)을 도입했습니다. QB는 각 전문가의 라우터 점수 분위수를 목표 부하에 맞춰 바이어스를 설정하는 방식으로, 대규모 배치에서는 히스토그램 기반 근사로 분위수를 추정합니다.
• Native Vision (MoonViT-V2): 기존 관행과 달리 비전 인코더를 SigLIP 같은 대조학습 사전학습 모델로 초기화하지 않고 처음부터 next-token prediction만으로 학습시켰으며, 이는 학습 안정성 확보를 위한 선택이었습니다. 그 결과 대조학습 초기화 없이도 비전 평가에서 기존 방식과 대등한 성능을 보였습니다.
• Per-Head Muon: Q/K/V 투영 행렬 전체가 아니라 헤드별로 Newton–Schulz 직교화를 수행해, 헤드 간 학습 역학을 더 균형 있게 만드는 옵티마이저 변형입니다.

2) 사전학습(Pre-Training)

웹 텍스트, 코드, 수학, 지식 등 4개 주요 텍스트 도메인과 대규모 비전 코퍼스로 학습되며, 아키텍처·데이터·학습 레시피 개선이 결합되어 held-out 검증 데이터 기준 Kimi K2 대비 약 2.5배의 스케일링 효율 향상을 보였습니다. 학습률 스케줄은 별도의 스케일링 법칙 탐색을 거쳐 WSD보다 코사인 디케이가 일관되게 낮은 최종 손실을 달성함을 확인해 채택했습니다. 컨텍스트 길이는 사전학습 중 8K에서 64K로, 이후 쿨다운 단계에서 256K에서 100만 토큰까지 4단계 커리큘럼으로 점진 확장됩니다.

 

3) 사후학습(Post-Training)

3단계 파이프라인으로 구성됩니다: 지도 미세조정(SFT)으로 콜드스타트 정책을 확립하고, 강화학습(RL)으로 난이도별 전문 정책을 개발한 뒤, Multi-Teacher On-Policy Distillation(MOPD)으로 이를 하나의 모델로 통합합니다. RL은 일반 태스크, 일반 에이전트, 코딩 에이전트의 3개 도메인 × {low, high, max} 3단계 추론 노력 조합으로 총 9개 전문가 모델을 학습시킨 뒤 증류합니다. 이를 위해 지식그래프 기반 태스크 합성, 검증 가능한 에이전트 환경, GPU 커널 최적화 태스크, Gmail·Notion·Slack 등을 모사한 개인비서 태스크, 검증기 기반의 자율실행 태스크(AET), 웹개발 태스크 등 다양한 RL 환경을 자체 구축했습니다. 배포 효율화를 위해 MoE 전문가 가중치를 MXFP4로 양자화하는 양자화 인식 학습(QAT)을 SFT·RL 전 단계에 적용했고, EAGLE-3 방식의 드래프트 모델을 파인튜닝해 추론 속도를 높였습니다.

 

4) 인프라

FlashKDA라는 전용 청크단위 커널과 KDA Context Parallelism(KCP)으로 순환 상태 전파의 병렬화 문제를 해결했고, MoonEP라는 완전 균형 Expert Parallelism 기법으로 3조 파라미터급 MoE 학습의 부하 불균형 문제를 해결했습니다. 에이전트 학습을 위해서는 Firecracker 기반 microVM 샌드박스인 AgentENV를 구축했으며, 학습·평가 전 과정에서 총 5,121만 9,741개의 샌드박스가 생성되었습니다.

 

Experiments

평가는 추론·지식(GPQA Diamond, HLE-Full 등), 코딩(DeepSWE, Terminal-Bench 2.1, SWE-Marathon 등), 에이전틱(BrowseComp, GDPval-AA v2, OSWorld 등), 비전(OmniDocBench, MMMU-Pro 등) 4개 축의 종합 벤치마크로 이루어졌으며, 비교 대상은 독점 모델인 Claude Fable 5, GPT-5.6 Sol, Claude Opus 4.8, GPT-5.5와 공개 모델인 GLM-5.2입니다.

 

주요 결과:

• GPQA Diamond에서 93.5%로 프런티어급 성능을 보였으나, HLE-Full과 CritPt 같은 연구 수준 추론 벤치마크에서는 Claude Fable 5·GPT-5.6 Sol에 뒤처져 이 영역이 향후 개선 과제로 지적됩니다.
• 코딩에서는 ProgramBench 최고점(77.8%)을 기록했고, GPU 커널 중심 벤치마크인 SWE-Marathon에서는 42.0%로 Claude Fable 5보다 7점 앞섰으며, Terminal-Bench 2.1에서는 GPT-5.6 Sol과 거의 대등(88.3% vs 88.8%)했습니다.
• 에이전틱 영역에서는 BrowseComp(91.2%), MCPMark-Verified(94.5%), AutomationBench(30.8%) 등 다수 벤치마크에서 최고점을 기록했지만, Elo 기반 지식노동 벤치마크인 GDPval-AA v2와 AA-Briefcase에서는 Claude Fable 5에 밀려 각각 3위, 2위였습니다.
• 비전에서는 Math-Vision(Python 도구 사용 시 97.8%)과 OmniDocBench(91.1%, 최고점) 등에서 강한 멀티모달 이해력을 보였습니다.

전체적으로 Kimi K3는 최상위 독점 모델인 Claude Fable 5·GPT-5.6 Sol에는 근소하게 뒤처지지만, Claude Opus 4.8·GPT-5.5·GLM-5.2보다는 벤치마크 전반에서 일관되게 앞선다는 것이 저자들의 결론입니다.

 

Conclusion

• [보완 내용] 외부 리뷰에 따르면 보고서는 사고 이력(thinking history) 보존과 관련된 실사용 제약을 명시하고 있는데, 모델을 서빙하는 하네스가 이전 추론 기록을 제대로 되돌려보내지 않거나 세션이 다른 모델에서 K3로 전환될 경우 출력 품질이 불안정해질 수 있다는 한계가 지적되었습니다[NxCode, 2026]. Nxcode
• [보완 내용] 안전성 측면에서는, 영국 AI안전연구소(AISI)와 미국 CAISI의 공동 사이버 평가에서 K3가 공개 기본 안전장치 상태로 익스플로잇 개발과 자율적 기업망 침투 시나리오 수행을 보조할 수 있었다는 결과가 보고되었으며, 오픈 가중치 모델의 특성상 다운로드 이후에는 원 제공자가 적용한 안전장치가 지속적으로 유지된다는 보장이 없다는 점이 지적되었습니다[Conifers AI, 2026]