성과측정 - AI 검증 및 평가 - Scale AI, SWE-Bench Pro

https://scale.com/blog/swe-bench-pro

2025. 9.19
[SWE-Bench Pro: Raising the Bar for Agentic Coding]


Scale AI가 개발한 SWE-Bench Pro는 기존 평가 지표를 상회하는 고난도의 새로운 소프트웨어 엔지니어링 벤치마크로, AI 에이전트의 실제 문제 해결 능력을 엄격하게 검증하기 위해 설계되었습니다. 이 텍스트는 모델이 학습 과정에서 이미 답을 접했을 가능성인 데이터 오염 문제를 해결하기 위해 공개되지 않은 상용 코드와 복잡한 라이선스의 코드를 활용했음을 강조합니다. 또한, 단순한 유틸리티 작업을 넘어 다양한 산업군과 프로그래밍 언어를 아우르는 실제적인 과업을 제시함으로써, 최신 프론티어 모델조차 해결률이 급격히 하락하는 현실적인 난이도를 구현했습니다. 결국 이 벤치마크의 목적은 단순 암기가 아닌 진정한 일반화 능력을 측정하여, 개발자와 연구자들이 AI 도구의 실제 활용 가능성과 개선 방향을 정확히 파악하도록 돕는 데 있습니다.