인공지능 - 해석력 - 토큰에서 생각으로

https://arxiv.org/abs/2505.17117v6

2025.12.1
[토큰에서 생각으로: LLM과 인간은 압축을 통해 의미를 얻는 방법]

이 논문은 대규모 언어 모델(LLM)과 인간이 지식을 조직화할 때 정보 압축과 의미적 풍부함 사이의 균형을 어떻게 다르게 맞추는지 분석한 연구입니다. 저자들은 고전 심리학의 범주화 벤치마크를 활용하여 40개 이상의 모델을 조사한 결과, AI가 인간의 범주 경계는 잘 파악하지만 세부적인 의미 차이나 전형성을 보존하는 데는 한계가 있음을 발견했습니다. 연구에 따르면 LLM은 인간보다 훨씬 더 공격적인 통계적 압축을 수행하여 정보 이론적으로는 더 '효율적'이지만, 인간이 유연한 사고를 위해 유지하는 개념적 뉘앙스는 오히려 손실되는 경향을 보입니다. 특히 규모가 큰 생성형 모델보다 구조적으로 단순한 인코더 모델이 인간의 개념 구조와 더 높은 정렬을 보인다는 점은 언어 이해와 생성이 서로 다른 기제에 의존할 수 있음을 시사합니다. 최종적으로 이 연구는 단순히 통계적 최적화에만 치중하는 대신, 인간과 유사한 적응적 유연성을 갖춘 AI를 개발하기 위한 새로운 평가 지표와 방향성을 제시합니다.

 

 

그림 1:데이터 생성 및 분석 개요. 사람 데이터는 항목 i (예: 의자)가 개념 C (가구)의 좋은 예인지 묻는 방식으로 수집되었습니다. 이러한 평가는 각 범주에 대한 순위 유사성 프로파일로 집계됩니다. 모델은 임베딩을 사용하여 유사한 점수를 생성합니다. 그런 다음 세 가지 지표를 계산합니다. [RQ1] 범주 복구 가능성을 평가하는 MI, [RQ2] 인간의 내재적 전형성 구조와의 일치도를 측정하는 스피어만 상관계수, [RQ3] 표현 복잡성과 의미 보존 간의 균형을 포착하는 비율-왜곡 목표 함수입니다.