인공지능 - AI 스케일링(Scaling) 법칙 - LLM 매개변수(parameter) 규모 추정 방법론

https://arxiv.org/pdf/2604.24827

이 연구는 인공지능 모델이 보유한 압축 불가능한 지식(Incompressible Knowledge)의 양을 측정하여, 베일에 싸인 상용 언어모델의 매개변수(Parameter) 개수를 역으로 추정하는 새로운 벤치마크인 IKP(Incompressible Knowledge Probes)를 제안합니다. 추론이나 논리적 유도로는 알 수 없고 오직 암기를 통해서만 습득 가능한 1,400개의 희귀한 사실 정보를 질문함으로써, 연구진은 모델의 사실 수용 능력이 모델 크기에 따라 로그 선형적(log-linearly)으로 확장된다는 사실을 입증했습니다. 이 방식은 기존의 추론 능력 중심 평가가 하드웨어 성능이나 아키텍처 개선에 의해 왜곡되는 것과 달리, 지식 저장에 필요한 최소한의 물리적 용량이라는 수학적 하한선에 근거하고 있어 훨씬 정확한 모델 규모 추정이 가능합니다. 결과적으로 이 지표는 최신 모델들이 점점 더 적은 매개변수로 높은 지능을 구현한다는 '밀집 법칙(Densing Law)'이 사실 정보 영역에서는 적용되지 않음을 보여주며, Proprietary 모델의 실질적 규모를 파악하고 모델 간의 지식 계보를 식별하는 강력한 도구로 기능합니다.

 

 

“LLM이 얼마나 많은 사실(facts)을 내부 파라미터에 저장할 수 있는가?”

기존 벤치마크(MMLU, GSM8K 등)는 추론 능력·시험 성적·RLHF 정렬 효과가 섞여 있기 때문에, 실제 모델 크기(parameter count)와 직접적으로 연결되지 않습니다.
반면 이 논문은 “희귀한 factual knowledge”만 측정하면 모델의 내부 기억 용량을 역으로 추정할 수 있다고 주장합니다.

 

- log10(Total Parameters, Billions) : 모델 파라미터 수의 로그값

- Penalized Accuracy (IKP Score): IKP 문제셋에서의 “penalized”  점수 ( “아는 척(bluffing)”을 막기 위한 설계)

- Knowledge∝log(Parameters) : 지식량은 모델 크기와 로그-선형 관계를 가진다

Figure 1: IKP calibration curve. Each point is an open-weight model with known parameter count. Blue circles: dense models; orange diamonds: MoE models (plotted at total parameter count). The regression line (R2 = 0.917, 89 models from 19 vendors) enables parameter estimation for proprietary models (shown as horizontal dashed lines on the right). Gemini 3.1 Pro is excluded from estimation (landmark, T6 score inflated by construction).