LLM - 성능 - 벤치마크 - EPOCH AI, Domain-specific ECI

https://epoch.ai/data/eci-documentation/domain-specific-eci

이 문서는 대규모 언어 모델의 성능을 특정 분야별로 정밀하게 측정하기 위한 도메인 특화 ECI(Epoch Capabilities Index)의 개념과 방법론을 설명합니다. 수학이나 소프트웨어 공학과 같은 개별 영역에서 모델이 발휘하는 역량을 일반적인 지표와 비교 가능한 형태로 수치화하며, 이를 통해 특정 모델이 일반적인 지능에 비해 특정 분야에서 얼마나 우수한지를 한눈에 파악할 수 있게 돕습니다. 분석 과정에서는 데이터의 신뢰성을 위해 일반 ECI의 난이도 매개변수를 유지한 채 모델의 역량만을 다시 계산하며, 결과적으로 이 지표는 기술의 발전 속도보다는 영역 간의 상대적 강점을 명확히 대조하는 데 목적을 두고 있습니다. 최종적으로 이 자료는 연구자와 개발자들이 모델의 불균형한 성능 분포를 객관적으로 이해하고 평가할 수 있는 체계적인 틀을 제공합니다.