에이전트 AI - 자율성 - EPOCH AI, AI 연구 개발(R&D) 경제 모델

https://philiptrammell.com/static/Parallelizability.pdf

2026.7.24
[The Bounded Parallelizability of R&D: Theory and Application to AI]

이 논문은 기술 발전이 단순히 연구 인력이나 장비 같은 투입량에만 의존하는 것이 아니라, 기존 기술 수준이 허용하는 병렬화 능력에 의해 근본적으로 제약된다는 새로운 경제 모델을 제시합니다. 저자는 과거의 성장 모델들이 연구 투입을 늘리기만 하면 기술이 무한히 빠르게 발전할 수 있다고 가정한 무한 병렬화 가능성의 오류를 지적하며, 실제로는 새로운 도구가 뒷받침되지 않으면 아무리 많은 인력을 투입해도 발전 속도가 물리적 한계에 부딪힌다고 설명합니다. 특히 AI 연구 개발의 자동화가 가져올 미래를 분석하면서, 인공지능이 스스로를 개선하는 속도는 컴퓨팅 자원의 양보다 병렬화 제약을 해결하는 기술적 역량이 얼마나 빠르게 성장하느냐에 달려 있다고 주장합니다. 결과적으로 이 연구는 AI의 폭발적 성장이 실현될지 혹은 점진적인 가속에 그칠지를 결정하는 핵심 변수로 병렬화 병목 현상을 지목하며, 이를 극복하기 위한 기술 네트워크 간의 상호작용을 수학적으로 증명합니다.

 

https://epoch.ai/publications/parallelization-constraints-could-delay-a-technological-singularity 참고

 

Overview
이 논문은 기술 발전 속도를 모델링할 때 표준 성장이론(Romer, Aghion-Howitt, Jones 등)이 암묵적으로 깔아온 가정 — 연구 인력이나 장비를 늘리면 그만큼 병렬로 나눠 진행할 수 있다는 가정 — 이 무한정 성립하지는 않는다고 주장한다. 연구 투입(R)뿐 아니라 기존 기술 수준(A) 자체가 "얼마나 많은 연구를 동시에 진행할 수 있는가"를 제한한다고 보고, 이를 반영한 R&D 함수를 새로 제시한다. 이를 AI 연구개발 자동화에 적용하면, 병렬화 제약을 완화하는 일이 연구 투입 자체를 늘리는 일만큼 쉬운 경우엔 기존 모형과 거의 같은 속도로 AI가 가속하지만, 그렇지 않다면 병렬화 제약이 결국 발목을 잡아 자동화가 장기적으로는 발전 속도에 큰 영향을 못 줄 수 있다.

 

Background
표준 모형은 기술 A의 성장률이 연구 투입 R에 대해 일정한 탄력성 λ를 갖는다고 가정한다(g_A ∝ A⁻β Rλ). 이 가정 아래서는 투입만 충분히 늘리면 기술이 임의로 빠르게 발전할 수 있다 — 병렬화에 상한이 없다는 뜻이다.

저자는 이를 로봇 공장 비유로 반박한다. 오늘날 장비로 로봇을 만드는 공장의 생산성을 높이는 문제를 생각하면, 공학자를 아무리 많이 투입해도(공장 바닥이 사람으로 꽉 차고 화상회의로 조 단위 인원이 더 붙어도) 10분 만에 효율이 두 배가 되는 일은 상상하기 어렵다.

 

여기엔 두 병목이 있다: ① 새로운 설계를 오늘날 장비로 실제 구현하는 데 시간이 걸리고, ② 조합적으로 폭발하는 실험 결과를 서로 소통하는 데도 시간이 걸린다. 저자는 이를 "제한된 시간 안에 지형의 최고점을 찾는 정찰병 팀" 비유로도 설명한다.

 

중요한 건, 이 병목이 "단위 시간당 진보의 절대 상한"이 아니라 "병렬화 기술의 부재"라는 점이다 — 더 나은 병렬화 기술이 있다면 R&D는 지금보다 훨씬 빨라질 수 있다.

 

관련 연구로는 연구 투입에 대해 기술 성장이 거듭제곱보다 느리게 증가하는 기존 모형 네 개(Lashkari 2023, Aghion 외 2026, Young 1998, Aghion & Howitt 1998)가 있지만, 모두 β=0을 가정해 "아이디어를 찾기가 점점 어려워진다"는 실증 결과(Bloom 외, 2020)와 맞지 않는다. 또한 AI R&D 자동화가 "폭발적" 성장을 낳는 조건을 다룬 기존 연구들(Aghion 외 2019, Davidson 2023, Erdil 외 2025, Lifland 외 2025, Davidson 외 2026, Jones & Tonetti 2026)이 공통으로 가정하는 "일정한 탄력성 λ"를 완화하면, 초지수적 성장의 조건이 더 좁아지고 자동화로 촉발되는 전환도 더 점진적일 수 있음을 보인다.

 

Methods
표준 함수 g_A = θA⁻β Rλ 에서, Rλ 항을 Aγ 와 Rλ 의 최솟값(또는 대체탄력성이 1보다 작은 CES 함수)으로 바꾼 최소 변형 모델을 제시한다: g_A = θA⁻β · min(Aγ, Rλ). 연구 투입을 아무리 늘려도(R→∞), 그 시점 기술 수준 A가 "동시에 활용 가능한 투입량"에 상한을 씌운다는 뜻이다. γ≥β는 지수적 성장이 가능하기 위한 최소 조건으로 제시된다.

 

이 단일부문 모델(2장)에서 세 명제가 나온다: ① 연구 투입이 일정 비율로 성장할 때의 정상상태 성장률, ② 투입이 갑자기 무한해질 때(자동화의 한 해석) 성장 경로, ③ 투입이 기술 수준 자체에 비례해 늘어날 때(더 현실적인 자동화 해석) 성장 경로. 세 번째가 핵심인데, γ와 λ의 상대적 크기에 따라 "특이점"(유한 시간 내 발산)이 아예 없거나, 늦게 오거나, 표준 모형과 같은 속도로 온다.

 

3장은 이를 다부문 "기술 네트워크" 모델로 확장한다. Davidson 외(2026)의 코브-더글러스형 부문 간 파급효과 모형에, 부문마다 최대 Z개의 병렬화 제약을 추가하는 구조다. 명제 4·5는 이 네트워크의 정상상태 성장률과, 자동화 시 특이점의 존재 여부·시점 하한을 제시한다(닫힌 해는 없음).

 

Experiments (원문에 실증실험 장은 없음 — 4장 "AI R&D에의 적용"을 대신 요약)
4장은 앞선 이론을 AI 연구개발 자동화 사례에 적용한다. 데이터를 모아 가설을 검증하는 절차가 아니라, 모델 변수를 AI 훈련의 실제 요소(파라미터 수, 데이터량, 컴퓨트)로 치환해보는 응용 장이다.

가장 단순한 노동만 있는 버전에서는, 알고리즘이 두 배 좋아질 때마다 고정 컴퓨트로 돌릴 수 있는 "인간급 연구자" 수도 두 배가 된다고 가정하면 g_A ∝ A^(λ−β) 가 되어, λ와 β의 대소에 따라 아지수·지수·초지수 성장이 갈린다.

그다음 스케일링 법칙을 끌어와 더 구체적인 모델을 짠다. 사전학습 손실은 대략 (A1·N)⁻α1 + (A2·D)⁻α2 형태로 모델 크기 N, 데이터량 D, 파라미터 효율성 A1·샘플 효율성 A2에 의해 결정된다(Hoffmann 외, 2022). 알고리즘 발전은 "인지"(실험 설계)와 "실험"(실제 훈련 실행) 양쪽을 다 필요로 한다는 Whitfill & Wu(2025)의 관점을 받아들인다. 핵심은, 모델 훈련에 필요한 순차 연산 횟수가 대략 모델 깊이(∝N^1/3)에 비례해 늘기 때문에, 컴퓨트를 아무리 쏟아부어도 동시에 돌릴 수 있는 실험 스트림 수는 A1^(2/3)에 그친다는 것이다. 추론 쪽도 "가상 연구자" 한 명의 처리량에 한계가 있어, 저자는 이를 조율하는 세 번째 기술 축 — "에이전트 병렬화 기술"(A3) — 을 추가한다.

 

이 절은 "10조 파라미터 모델의 모든 가중치 조합을 동시에 시험하면 되지 않느냐"는 사고실험도 반박한다. 파라미터 하나가 1비트라도 가능한 조합은 2^(10조) 개이고, 저장하려면 한 변이 10^(10^12)km인 정육면체가 필요하며, 빛조차 그걸 가로지르는 데 10^(10^12)년이 걸린다는 계산이다. 무한한 연산력이 있어도 병렬화 자체의 물리적 제약은 사라지지 않는다는 점을 보여준다.

4장은 마지막으로 A1·A2·A3 세 기술이 얽힌 6개 하위부문 네트워크로 AI R&D 전체를 정식화하며 끝난다.

 

[수치 확인 필요] 저자는 이 절 끝에서 λ, β, γ 등 파라미터가 "아직 추정되지 않았다"고 명시한다. 즉 이 논문은 AI 발전 속도에 대한 구체적 숫자 전망을 제시하지 않는다.

 

Conclusion
이 논문은 형식화된 성장이론 문헌에서 그동안 다뤄지지 않은 "경성 병렬화 병목"이라는 범주를 제시한다. 다만 이 병목 자체는 AI 가속에 대한 비공식 논쟁에서는 이미 등장해온 주제다 — 일부는 의학 등 특정 분야는 순차적 실험이 필요해 병목이 남는다고 보고(Teslo, 2026), 다른 쪽은 컴퓨트가 충분하면 인체를 정밀 시뮬레이션해 물리적 실험을 생략할 수 있다고 본다(Kurzweil, 2024). 저자는 자신의 모델이 두 입장을 모두 담을 수 있는 틀이라고 말한다: 지금은 컴퓨트를 그렇게 흡수할 기술이 없지만 앞으로 생길 수 있고, 다만 그 기술 자체를 개발하는 데도 시간이 든다.

 

병렬화 병목은 "공급이 고정된 투입 요소"와 구조적으로 비슷하되, 유효 공급량이 기술 발전에 따라 늘어날 수 있다는 점이 다르다 — 그래서 이 모델은 AI에 국한되지 않고 고정 공급 투입에 의존하는 R&D 전반에 적용 가능하다.

결론부는 "자동화 이후 병렬화 제약이 실제로 발목을 잡을지"는 아직 추정 안 된 파라미터에 달려 있다고 인정하며 끝난다. 저자는 두 가지 추정 방법을 제안한다: ① AI 에이전트 수를 늘려가며 NanoGPT speedrun 같은 잘 정의된 문제에서 정해진 시간 안에 진전이 얼마나 나는지 관찰, ② 그 문제에서 실제 있었던 알고리즘 개선들이 서로 독립적으로(동시 발견 가능) 이뤄졌는지 강하게 얽혀서(순차적으로만 발견 가능) 이뤄졌는지 역사적으로 추적(Goldreich & Wigderson, 2020에서 착안).