LLM - 성능 - 벤치마크 - 멀티모달 대형 언어 모델(MLLM)

https://arxiv.org/pdf/2408.08632

이 논문은 멀티모달 거대 언어 모델(MLLM)의 성능을 측정하는 200개의 벤치마크를 분석하여 인공지능 평가의 현주소와 미래 방향을 제시하는 종합적인 서베이 연구입니다. 연구진은 방대한 평가 지표들을 지각 및 이해, 인지 및 추론, 특정 도메인, 핵심 역량, 기타 양식이라는 다섯 가지 주요 범주로 분류하여 모델의 다각적인 능력을 체계적으로 정리하였습니다. 특히 텍스트와 이미지를 결합하는 전통적인 방식을 넘어 비디오, 오디오, 3차원 공간 데이터 처리 능력을 평가하는 새로운 기준들을 심도 있게 다룹니다. 이 텍스트는 모델의 환각 현상이나 신뢰성 같은 한계를 지적하며, 평가가 단순히 성능을 줄 세우는 도구가 아니라 인공 일반 지능(AGI) 발전을 위한 핵심 규율이 되어야 함을 강조하고 있습니다.