LLM - 성능 - 벤치마크 - ARC-AGI-3

https://arxiv.org/pdf/2603.24621

이 보고서는 인공지능의 유연한 적응력을 측정하기 위해 설계된 새로운 벤치마크인 ARC-AGI-3를 소개합니다. 기존의 정적인 테스트와 달리, 이 시스템은 인공지능이 낯선 환경에서 스스로 목표를 추론하고 행동 계획을 세우는 에이전트적 지능을 갖추었는지 평가하는 데 중점을 둡니다. 평가는 인간의 수행 능력을 기준으로 삼는 행동 효율성이라는 척도를 사용하며, 이는 AI가 정답을 맞히는 것을 넘어 얼마나 적은 수의 조작으로 문제를 해결하는지를 측정합니다. 결과적으로 이 텍스트는 현재의 대규모 언어 모델들이 암기된 지식에는 강하지만, 핵심 지식만을 활용해 새로운 상황에 대처하는 능력에서는 여전히 인간 수준에 크게 미치지 못한다는 점을 강조하며 진정한 일반 인공지능(AGI)으로 나아가기 위한 도전 과제를 제시합니다.