LLM - LG, K-엑사원(EXAONE) 2.0:K-EXAONE-2.0-750B-A37B

 

https://arxiv.org/pdf/2608.04505

2026.8.5
[K-EXAONE 2.0 Technical Report Journey to Global Frontier-Scale Foundation Models]

본 자료는 LG AI Research가 개발한 대규모 언어 모델인 K-EXAONE 2.0의 기술적 성과와 구조를 설명하는 종합 보고서입니다. 이 모델은 이전 버전을 단순히 개선하는 데 그치지 않고, 기존 가중치를 재활용하는 업사이클링(upcycling) 방식을 통해 매개변수를 7,500억 개로 대폭 확장하며 효율적인 성능 도약을 이루어냈습니다. 특히 한국어와 10개 국어를 아우르는 다국어 능력은 물론, 복잡한 추론과 에이전트 중심의 코딩, 그리고 256K에 달하는 긴 문맥 이해 능력에서 글로벌 수준의 경쟁력을 확보하는 데 주력했습니다. 무엇보다 한국의 사회문화적 맥락을 반영한 독자적인 안전성 기준인 K-AUT를 적용하여, 기술적 수월성과 윤리적 책임감을 동시에 갖춘 실전 배치형 파운데이션 모델을 지향하고 있습니다. 최종적으로 이 보고서는 해당 모델을 아파치 2.0 라이선스로 공개함으로써 국내외 AI 생태계의 동반 성장을 돕고, 글로벌 프런티어 모델로 나아가는 이정표를 제시하고 있습니다.

 

그림 2:K-EXAONE 2.0 모델 아키텍처의 모식도입니다. (왼쪽): 메인 모델. (오른쪽): MTP 및 DSpark 모듈. 메인 모델에 MTP 또는 DSpark 모듈을 통합하면 시퀀스 생성 속도가 향상됩니다. 메인 모델은 두 개의 초기 완전 연결(dense) 레이어와 그 뒤에 이어지는 전문가 혼합(Mixture-of-Experts, MoE) 레이어로 구성됩니다. 두 번째 레이어의 슬라이딩 윈도우 어텐션(SWA)은 4096의 윈도우 크기를 사용하고, 나머지 모든 SWA 레이어는 128의 윈도우 크기를 사용합니다. 희소 MoE 레이어에서는 256명의 전문가 풀에서 8명의 라우팅된 전문가를 선택하고, 하나의 공유 전문가와 함께 사용합니다. 학습 및 추론 과정의 안정성을 확보하기 위해 메인 모델의 마지막 16개 레이어에는 전문가에 대해 제한값 7.0의 Clamped SwiGLU를 적용합니다.