성과측정 - AI 검증 및 평가 - AI 에이전트 SWE-CI, EvoScore

https://arxiv.org/pdf/2603.03823

SWE-CI는 단순한 기능 구현을 넘어 소프트웨어의 장기적인 유지보수 능력을 평가하기 위해 설계된 새로운 차원의 코드 생성 벤치마크입니다. 기존 평가 방식이 단발적인 문제 해결에 그쳤던 한계를 극복하고자, 이 시스템은 실제 GitHub 저장소의 이력을 바탕으로 지속적 통합(CI) 루프 내에서 코드가 어떻게 진화하는지를 추적합니다. 핵심 평가지표인 EvoScore는 가중치를 활용해 시간이 흐를수록 기능적 정확성이 어떻게 유지되는지 측정하며, 이를 통해 초기 설계 결정이 미래의 확장성에 미치는 영향을 가시화합니다. 연구 결과에 따르면 최신 언어 모델들이 단기적인 버그 수정에는 능숙할지라도, 다회차 반복 개발 과정에서 발생하는 회귀 오류(Regression)를 제어하고 코드 품질을 지속시키는 데에는 여전히 큰 어려움을 겪고 있음이 드러났습니다.