LLM - 오픈 웨이트(Open Weight) - Epoch AI, 개방형 모델의 사이버 보안 역량은 6~7개월 뒤처져 있다

https://epoch.ai/data-insights/open-closed-cyber-eci-gap

2026.10.16
[Open-weight models trail closed models in cyber capabilities by 6–7 months]

제공된 자료는 인공지능 연구 단체인 Epoch AI가 발표한 데이터 분석 리포트로, 공개 가중치 AI 모델과 비공개 가중치 AI 모델 간의 사이버 보안 능력 격차를 다루고 있습니다. 이 글은 사이버 보안 벤치마크를 활용한 능력 지수인 Cyber ECI를 기준으로, 최고 수준의 오픈 소스 모델이 독점적 클로즈드 소스 모델의 성능에 비해 약 6개월에서 7개월 정도 뒤처져 있음을 객관적인 데이터와 표를 통해 명확히 증명합니다. 궁극적으로 이 문서는 급격히 발전하는 생성형 AI 생태계에서 공개 AI와 비공개 AI 모델의 발전 속도 차이를 비교하고 분석하는 것을 목적으로 합니다.

 

 

 

1. 핵심 결과 — 오픈웨이트 최상위 모델은 어디까지 도달했는가?

원문 내용

원문은 Z.ai의 GLM-5.3을 Cyber ECI 기준 최고 성능 오픈웨이트 모델로 제시합니다. 이 모델은 GPT-5.4보다 높은 점추정치를 기록하지만, Claude Mythos Preview와 GPT-5.5에는 미치지 못합니다. 한편 폐쇄형 최상위권도 계속 상승해 Claude Opus 5.5와 GPT-6 Astra가 선두에 있습니다.[1]

비교 역할	모델	Cyber ECI 점추정치	원문상 의미
오픈웨이트 최상위	GLM-5.3	160.10	공개 가중치 모델의 비교 기준
이전 폐쇄형 비교 모델	GPT-5.4	157.04	GLM-5.3보다 낮은 점추정치
이전 폐쇄형 비교 모델	Claude Mythos Preview (April)	164.82	GLM-5.3보다 높은 점추정치
추가 비교 모델	GPT-5.5	162.22	GLM-5.3보다 높은 점추정치
폐쇄형 최상위권	Claude Opus 5.5	171.14	기준일의 최고 점추정치
폐쇄형 최상위권	GPT-6 Astra	171.03	Opus 5.5와 유사한 수준

수치 출처: 원문에 제공된 모델별 데이터 표.[1]

분석

이 결과가 보여주는 것은 절대 성능 향상과 상대적 선두 격차가 동시에 존재할 수 있다는 점입니다.

• 오픈웨이트 모델이 과거의 강력한 폐쇄형 모델을 넘어서는 것은 역량 향상의 증거입니다.
• 그러나 폐쇄형 최전선도 전진하므로, 특정 과거 모델을 넘었다고 현재 선두를 따라잡았다는 의미는 아닙니다.
• 비교 대상은 각 집단의 최고 성능 모델입니다. 오픈웨이트와 폐쇄형 모델 전체의 평균적인 품질 차이를 보여주는 분석은 아닙니다.

이 챕터의 판단: “오픈웨이트는 경쟁력이 없다”가 아니라, “일부 과거 폐쇄형 모델 수준에는 도달했지만, 측정된 최신 최전선과는 차이가 있다”가 정확한 해석입니다.

 

2. 지표와 방법론 — Cyber ECI는 무엇을 측정하는가?

대응 절: Learn more about this graph

원문 내용

Cyber ECI는 여러 사이버보안 벤치마크 결과를 하나의 역량 척도로 통합한 지수입니다. 구축 과정은 다음과 같습니다.[1][2]

1. 일반 벤치마크와 사이버 벤치마크를 함께 사용해 모형을 적합합니다.

1. 그 결과에서 벤치마크별 난이도와 기울기 등의 매개변수를 유지합니다.

1. 각 모델의 사이버 벤치마크 결과만으로 해당 모델의 Cyber ECI를 추정합니다.

1. 일반 ECI와 비교할 수 있는 척도로 표현합니다.

공식 방법론은 Cyber ECI가 일반적인 분야별 ECI와 다르다고 설명합니다. 일반 ECI의 벤치마크 풀에는 사이버보안 평가가 거의 없으므로, 별도의 ‘일반+사이버’ 공동 적합이 필요하기 때문입니다.[2]

분석

Cyber ECI는 정답률이나 공격 성공률 자체가 아닙니다.

구분	적절한 해석	피해야 할 해석
점수의 성격	여러 평가를 결합한 추정 역량	단일 시험의 정답률
모델 비교	같은 추정 체계에서의 상대적 위치	모든 보안 업무에서의 우열
점수 차이	지수 척도상 차이	같은 비율의 생산성·성공률 차이
실무 적용	후보 모델을 좁히는 참고자료	운영 환경 검증을 대체하는 인증

예를 들어 높은 Cyber ECI는 평가된 사이버 과제에서 강한 역량을 보였다는 신호지만, 특정 기관의 취약점 검토·보안관제·코드 감사 업무에서 동일한 우위를 보장하지는 않습니다.

또한 공식 문서는 분야별 ECI의 척도 정렬 때문에 서로 다른 분야의 장기 발전 속도를 단순 비교할 수 없다고 명시합니다. 따라서 이 지표만으로 “사이버 역량이 수학이나 소프트웨어 개발 역량보다 더 빠르게 발전한다”고 결론내릴 수 없습니다.[2]

이 챕터의 판단: Cyber ECI는 사이버 역량의 비교용 통합지표이지, 실제 피해 규모나 방어 효과를 직접 측정한 지표가 아닙니다.

 

3. 데이터 — 전체 데이터가 늘어도 개별 모델의 근거는 얇을 수 있다

대응 절: Data

원문 내용

2026년 10월 업데이트에서 데이터 범위는 다음과 같이 확대됐습니다.[1]

항목	원문에 제시된 범위
전체 수록 모델	56개 → 76개
사이버보안 벤치마크	20개 → 35개
모델–벤치마크 결과	총 324건
해당 글의 비교 대상	사이버 벤치마크 결과가 2개 이상인 57개 모델
주요 자료 출처	영국 AISI, CAISI, Irregular, 모델 개발사 보고서, 기타 공개 자료
GLM-5.3의 근거	CAISI의 2026년 9월 평가에 포함된 벤치마크 결과 3개

여기서 324건은 공격 사례나 평가 문항 324개가 아니라, 모델과 벤치마크의 조합별 평가 결과를 의미합니다.[1]

분석

이 절의 핵심은 데이터베이스 전체의 규모와 특정 모델 점수의 근거량을 구분해야 한다는 것입니다.

전체 모델과 벤치마크가 늘어나면 비교 기반은 넓어집니다. 그러나 핵심 결론의 기준인 GLM-5.3 점수는 세 개의 벤치마크 결과에 의존합니다. 전체 자료가 풍부하다는 사실만으로 이 모델의 모든 사이버 역량이 폭넓게 검증됐다고 볼 수는 없습니다.

자료 출처도 혼합돼 있습니다. 평가기관, 전문 평가기업, 개발사 발표가 함께 사용되므로, 결과를 실무에 적용하려면 다음 조건을 별도로 확인할 필요가 있습니다.

• 평가에 사용된 모델 버전과 설정
• 도구 및 에이전트 실행 환경
• 추론·시간·비용 예산
• 과제 구성과 채점 기준

이는 평가가 부적절하다는 판정이 아니라, 이 글의 요약 정보만으로는 통제 여부를 판단하기 어렵다는 의미입니다.

[확인 필요] 대표성: 벤치마크가 부족해 제외된 최근 모델이 존재합니다. 따라서 “최고 오픈웨이트 모델”은 이 데이터의 포함 조건을 충족한 모델 중 최고라는 범위로 읽어야 합니다.[1]

 

4. 분석 방식 — ‘6~7개월 격차’는 어떻게 산출됐는가?

대응 절: Analysis

4.1 최전선의 정의

원문은 각 그룹에서 출시 당시 그 이전의 모든 동일 그룹 모델보다 높은 점수를 기록한 모델들을 연결해 최전선을 구성합니다.[1]

따라서 이 분석은 평균적인 모델의 진보가 아니라, 기록을 갱신한 모델들의 진보를 추적합니다.

분류 기준도 주의해야 합니다.[1]

• 오픈웨이트: 사용 제한 또는 비상업적 라이선스 모델도 포함
• 폐쇄형: 일반 API 모델뿐 아니라 제한 접근·미출시 모델도 포함

즉, ‘오픈웨이트’는 무제한 상업 이용 가능성과 같은 뜻이 아니며, ‘폐쇄형 최전선’ 역시 누구나 즉시 구매할 수 있는 모델만의 최전선은 아닙니다.

4.2 시간 격차의 산출

원문은 GLM-5.3의 점수를 사이에 두는 폐쇄형 모델들의 출시일을 사용합니다.[1]

비교 기준	출시일	GLM-5.3과의 관계
GPT-5.4	2026년 3월 5일	점추정치가 더 낮음
Claude Mythos Preview	2026년 4월 7일	점추정치가 더 높음
데이터 기준일	2026년 10월 8일	위 출시일들이 약 7개월·6개월 전

따라서 제목의 의미는 다음과 같습니다.

“기준일의 최고 오픈웨이트 모델 점수는, 약 6~7개월 전에 출시된 폐쇄형 모델들의 점수 사이에 위치한다.”

분석

이 방식은 점수 차이를 이해하기 쉬운 시간 단위로 바꿔 보여줍니다. 하지만 다음과 같은 의미로 확장하면 안 됩니다.

• 추격 예측이 아니다: 앞으로 6~7개월이면 현재 폐쇄형 선두에 도달한다는 전망이 아닙니다.
• 개발 소요기간 비교가 아니다: 같은 능력을 만드는 데 양측이 각각 얼마나 걸렸는지 측정한 것이 아닙니다.
• 통계적 시간 구간이 아니다: ‘6~7개월’은 신뢰구간이 아니라 비교에 사용한 출시 시점의 범위입니다.
• GLM-5.3 출시 당시의 격차가 아니다: 기준점은 GLM-5.3 출시일이 아니라 데이터 기준일입니다.

이 챕터의 판단: ‘6~7개월’은 과거 출시 모델을 이용한 역량 수준의 시간적 대응값입니다. 이를 고정된 기술 지연이나 예측치로 표현하면 원문의 범위를 벗어납니다.

 

5. 가정과 한계 — 결론의 확실성을 제한하는 네 가지 요인

대응 절: Assumptions and limitations

5.1 적은 평가 수와 직접 비교의 부족

GLM-5.3은 세 개의 CAISI 평가 결과, Claude Opus 5.5는 Anthropic이 보고한 네 개의 벤치마크 결과에 기반합니다. 또한 Opus 5.5와 GPT-6 Astra는 공통으로 평가된 벤치마크가 없으며, 두 모델의 신뢰구간은 거의 완전히 겹칩니다.[1]

해석: 두 모델을 공동 선두권으로 설명하는 것은 가능하지만, 점추정치의 미세한 차이만으로 확실한 우열을 선언하기는 어렵습니다. 통합지수상의 비교와 동일 조건의 직접 대결은 구분해야 합니다.

5.2 일부 모델의 정체는 추정됐다

CAISI가 미국 모델의 이름을 공개하지 않았기 때문에, Epoch는 당시 선도 모델일 가능성이 높다고 판단한 GPT-6 Astra나 Claude Mythos Preview 등에 평가 결과를 귀속했습니다.[1]

해석: 이는 점수의 통계적 불확실성과 별개의 모델 식별 불확실성입니다. 점수 추정이 정교하더라도 결과가 어느 모델의 것인지 불확실하면, 모델별 순위와 출시일 비교에도 영향을 줄 수 있습니다.

5.3 재적합하면 과거 점수도 바뀐다

10월 재적합에서는 Claude Mythos 5의 점수가 3.9점, GPT-5.6 Sol의 점수가 4.7점 낮아졌습니다. 원문은 이전 게시물의 Cyber ECI와 새 값을 직접 비교할 수 없다고 명시합니다.[1]

해석: 이러한 하락을 모델 성능의 퇴보로 읽으면 안 됩니다. 평가 자료와 추정 체계가 갱신되면서 수치가 달라진 것입니다.

시계열 분석에서는 서로 다른 게시 시점의 숫자를 이어 붙이기보다, 동일한 적합 버전으로 산출된 모델 점수들을 비교해야 합니다.

5.4 평가 미수록과 낮은 성능은 다르다

최소 두 개의 사이버 벤치마크 결과라는 포함 조건 때문에, 일반 ECI가 있는 일부 최근 오픈웨이트 모델도 이번 비교에서는 빠졌습니다.[1]

해석: 목록에 없다는 것은 낮은 성능이 확인됐다는 뜻이 아니라, 이 지수를 산출할 공개 평가 근거가 부족하다는 뜻일 수 있습니다.

이 챕터의 판단

원문 자체도 현재는 점추정치로 비교하며, 향후 방법론 개선을 통해 모델 간 차이의 불확실성을 더 잘 추정할 예정이라고 설명합니다.[1]

따라서 이 글이 뒷받침하는 결론의 강도는 다음과 같습니다.

공개된 평가 자료와 현재 추정 방식에서는 오픈웨이트 최전선의 시차가 관찰된다. 다만 그 시차의 정확한 크기와 개별 모델 간 우열까지 통계적으로 확정된 것은 아니다.

 

실무 적용 — 이 자료로 결정할 수 있는 것과 없는 것

아래는 원문 결론과 구분한 분석자 제언입니다.

의사결정	활용 범위	추가 확인 사항
보안 업무용 모델 후보 선정	사이버 역량이 높은 후보군 탐색	실제 업무 데이터·도구 환경에서의 성능
자체 구축 가능성 검토	오픈웨이트 모델의 역량 수준 참고	라이선스, 인프라, 추론 비용, 운영 통제
위협 수준 검토	고도화된 역량의 공개 가중치 확산 추적	실제 접근성, 실행 조건, 오용 가능성
기술 동향 보고	동일 데이터 버전에서 최전선 비교	평가 기준일, 포함 조건, 추정 모델 식별

핵심적으로 이 글은 ‘어느 배포 방식이 더 안전한가’나 ‘어느 모델이 더 경제적인가’를 답하지 않습니다. 사이버 역량의 비교 자료이며, 안전성·비용·실제 업무 적합성은 별도 평가 대상입니다.

출처

[1] https://epoch.ai/data-insights/open-closed-cyber-eci-gap
[2] https://epoch.ai/data/eci-documentation/domain-specific-eci