성과측정 - AI 검증 및 평가 - LLM 검증 프레임워크

https://arxiv.org/pdf/2607.05391

2026.7.7
[LLM-as-a-Verifier: A General-Purpose Verification Framework]

LLM-as-a-Verifier는 대규모 언어 모델(LLM)이 생성한 결과물의 정답 여부를 판단하는 검증 프로세스를 새로운 확장 축으로 정의하고 이를 체계화한 범용 프레임워크입니다. 이 기술은 단순한 이진법적 점수 대신 토큰 확률값(logits)의 기대치를 활용한 연속적인 점수 산출 방식을 채택하여, 복잡한 해답 간의 미세한 품질 차이를 정밀하게 구별해냅니다. 특히 점수의 세분화, 반복 평가, 기준의 단계적 분해라는 세 가지 차원을 통해 검증의 정확도를 비약적으로 높일 수 있음을 입증하며 코딩, 로봇 공학, 의료 등 다양한 분야에서 세계 최고 수준의 성능을 달성했습니다. 결과적으로 이 프레임워크는 추가 학습 없이도 에이전트의 작업 진행도를 추적하거나 강화 학습의 보상 신호로 기능하며 인공지능 시스템의 신뢰성을 강화하는 강력한 도구로 활용됩니다.

 

 

그림 4 :검증 확장. 우리는 (1) 점수 토큰의 세분성, (2) 반복 평가 횟수, (3) 평가 기준의 분해 등 여러 차원에 걸쳐 확장함에 따라 검증 정확도가 일관되게 향상됨을 발견했습니다. 검증 정확도는 Terminal-Bench V2에서 동일한 작업에 대해 실패한 솔루션보다 정답인 성공 솔루션에 더 높은 점수를 부여하는 검증자의 쌍별 정확도로 측정됩니다.

 

그림 5 : 오라클 패스@케이Terminal-Bench V2에서 98.9%의 점수를 기록했습니다.