에이전트 AI - 재귀적 자기개선(RSI)과 수학적 특이점(Singularity) 역학 분석

https://arxiv.org/pdf/2608.14426

2026.8.25
[ The Dynamics of Intelligence Explosions]

토비 오드(Toby Ord)의 이 논문은 인공지능이 스스로를 개선하는 재귀적 자기 개선(RSI) 과정에서 발생할 수 있는 지능 폭발의 수학적 역학을 탐구합니다. 저자는 지능이 무한대로 치솟는 수학적 특이점(Singularity)이 발생하려면 지능의 상승폭보다 연구의 한 주기가 걸리는 세대 시간(Generation time)이 0으로 수렴하는 것이 훨씬 더 결정적인 요인임을 증명합니다. 기존의 미분 방정식 모델은 초지수적 성장과 특이점을 혼동하는 경향이 있으나, 실제 이산적인 피드백 루프를 고려하면 세대 시간의 물리적 한계로 인해 특이점보다는 성장률이 포화되는 로지스틱 구조가 더 현실적임을 시사합니다. 결론적으로 이 글은 지능 폭발의 가능성을 정밀하게 분석하기 위해서는 단순한 능력치 측정보다 피드백 루프의 속도 변화를 추적하는 것이 핵심임을 강조하고 있습니다.

 

1. Overview (개요)

이 논문은 AI가 AI R&D를 돕는 데 점점 더 많이 활용되고 있으며, 특정 조건 하에서 이 피드백 루프가 AI 능력이 급격히 상승하는 '지능 폭발(intelligence explosion)'을 만들어낼 수 있다는 문제의식에서 출발합니다. 저자는 가장 폭발적인 성장 시나리오의 수학적 구조를 분석하며, 핵심적으로 수직 점근선(vertical asymptote)을 향한 특이(singular) 성장이 최근의 경제학 기반 모델링이 시사하는 것보다 달성하기 어렵다는 점, 그리고 지수보다는 빠르지만 수직 점근선에 이르지는 않는 '초지수(super-exponential)이지만 비특이(sub-singular)' 성장이라는 그동안 간과된 성장 유형이 존재한다는 점을 보입니다. 또한 피드백 루프를 한 바퀴 도는 데 걸리는 시간인 '생성 시간(generation time)'이 지능 폭발의 동역학을 결정짓는 핵심 변수이며, 생성 시간이 빠르게 0에 수렴하지 않는 한 특이 성장은 불가능하다는 점을 강조합니다.

 

2. Background (배경)

개념적 뿌리: I. J. Good(1965)이 처음 제시한 '지능 폭발' 개념은, 초지능 기계가 자신보다 더 나은 기계를 설계할 수 있게 되면 지능 폭발이 발생하여 인간의 지능이 크게 뒤처지게 될 것이라는 아이디어입니다. 저자는 이 반복적 자기개선 과정을 Yudkowsky(2001)의 용어를 따라 '재귀적 자기개선(RSI)'이라 부르며, 인간이 대부분의 작업을 수행하는 경우부터 AI가 거의 모든 작업을 수행하는 경우까지 포괄적으로 이 용어를 사용합니다.

위험성 언급(범위 한정): RSI는 안전 관련 연구나 사회의 대응 능력보다 위험을 유발하는 프로세스의 속도를 더 빠르게 높일 수 있고, 단일한 정렬되지 않은 AI가 후속 AI들을 오염시킬 기회를 제공할 수 있으며, 선도 기업과 후발 경쟁자 간 격차를 벌려 승자독식 구도를 강화할 수 있다는 우려가 있습니다. 다만 저자는 이 논문의 초점이 위험이나 그 대응책이 아니라 RSI의 동역학 자체를 이해하는 데 있다고 명시합니다.

선행 모델링 연구: 여러 최근 연구(Aghion et al. 2017, Erdil et al. 2024, Eth & Davidson 2025, Kokotajlo & Lifland 2025)들이 미분방정식을 이용해 RSI로 인한 폭발적 성장 가능성을 모델링해왔습니다. 표준적 접근은 경제학자들이 자주 사용하는 준내생적 성장이론(semi-endogenous growth theory, Jones 1995)으로, 아이디어가 갈수록 찾기 어려워지는 '고갈 효과'와 연구자 중복으로 인한 '발밟기 효과'로 인해 폭발적 성장이 억제된다고 봅니다. 하지만 Davidson et al.(2026)은 AI의 계산 효율성을 척도로 삼아 이 모델에 대입함으로써 쌍곡선적(hyperbolic) 성장, 즉 유한 시간 특이점이 다시 가능해짐을 보였습니다. 이 외에도 Solomonoff(1985), Kurzweil(2001), Moravec(1999, 2003) 등 컴퓨터 과학자들의 초기 문헌도 존재합니다.

 

3. Methods (방법론)

저자의 방법론은 크게 네 단계로 진행됩니다.

① 일반화된 미분방정식 프레임워크: 표준적인 ẋ = xʳ 형태(r>1일 때 쌍곡선 성장·특이점 발생) 대신, 더 일반적인 형태 ẋ = f(x)를 상정하고, 초지수적 성장을 위한 '초선형성 조건'과 특이점 발생을 위한 '블로우업 조건(1/f(x)의 적분이 수렴하는 것)'을 별도로 정의합니다. 이를 통해 ẋ = x log(x) 같은 함수는 초지수적으로 성장하지만(이중지수 성장) 특이점은 발생하지 않는다는 반례를 제시하며, 지수 성장과 특이 성장 사이에 좁지만 실재하는 중간 지대가 있음을 보입니다.

② 이산 시간 모델로의 전환: 현실의 RSI 피드백 루프는 순간적이지 않고 이산적 단계로 진행되므로, 저자는 차분방정식(difference equation)을 도입해 순수 차분방정식에서는 증가율이 아무리 빨라도 유한한 단계 안에서는 결코 특이점이 발생할 수 없음을 보입니다.

③ 시간내장 차분방정식(time-embedded difference equation)과 생성시간 이론: 저자는 각 루프를 완료하는 데 걸리는 시간인 '생성 시간(τₙ)'을 도입하여, 생성 시간이 감소하는 방식에 따라 특이점 발생 여부가 갈린다는 점을 분석합니다. 이로부터 '특이점 정리(Singularity Theorem)'를 도출하는데, 이는 생성 시간의 합이 수렴하는 '제논 조건(Zeno condition)'과 각 단계에서의 증가분 합이 무한대로 발산하는 '무한계 조건(boundlessness condition)'이 동시에 충족될 때만 특이 성장이 발생한다는 내용입니다. 또한 배가시간(doubling time)이라는 기존 개념과 비교하여, 특이 성장 여부를 실제로 결정하는 것은 배가시간이 아니라 생성시간이라는 점을 논증합니다.

④ 지능 측정 문제 분석: 지능을 측정하는 합의된 척도가 없다는 문제, 그리고 척도 간 서수적 순위는 동의해도 기수적 구조(수치 부여 방식)에는 합의가 없다는 문제를 지적하며, 체스의 Elo 점수 사례(로그 척도 문제)를 예로 듭니다. 이어 물리학의 '좌표 특이점(coordinate singularity)'과 '본질적 특이점(essential singularity)' 구분을 차용해, 신뢰도(100%에서 자연스럽게 멈추는 척도)처럼 무한대로 발산하지 않아도 되는 척도와, 평균 무고장시간(MTBF)이나 METR 시간지평(time horizon)처럼 무한대로 발산할 수 있는 척도를 구분합니다.

마지막으로 Going Finite 절에서는 지능 자체의 한계, 자원당 지능의 한계, 하드웨어·알고리즘 패러다임의 한계, 훈련 데이터의 한계 등 다양한 유한 상한(ceiling) 가능성을 논의하고, 로지스틱 성장 형태의 감쇠항을 도입한 모델과, 생성시간이 특정 하한(τ*)에서 멈출 경우 (인간 속도 지수성장 → 초지수성장 → 기계 속도 지수성장 → 포화) 순서의 여러 국면(phase)이 나타날 수 있음을 제시합니다.

 

4. Experiments (실험)

[보완 내용] 이 논문은 실증적 데이터나 시뮬레이션을 이용한 '실험' 섹션을 별도로 두고 있지 않은 순수 이론·수학 논문입니다. 원문 구조상 "Experiments"에 해당하는 절은 존재하지 않으며, 대신 아래와 같은 예시적 사고실험(toy model)과 부록 표로 이를 대체하고 있습니다.

• Solomonoff(1985)의 사고실험: 무어의 법칙에 따라 컴퓨팅 속도가 지수적으로 개선되는 상황에서 AI가 그 개선 자체를 수행하게 되면, 첫 배가에 2년, 다음 1년, 그다음 반년이 걸리는 식으로 가속되어 4년 내에 특이점(무한한 AI 노동력과 계산 효율성)에 도달한다는 구체적 수치 예시를 제시합니다.
• Moravec(1999, 2003)은 이를 개선하여, 무어의 법칙이 지수적일 필요조차 없이 2차함수적 속도 증가만으로도 충분하며, n세대 기계가 n log(n) log(log(n))… 배 이상 빨라지기만 하면 특이점이 발생함을 보였습니다.
• Eth와 Davidson(2025)은 AI가 자신의 훈련 시간을 스스로 개선하는 상황을 검토하며, 개선 속도가 앞서 언급한 임계값을 넘으면 유한 시간 내 무제한적 AI 노동력에 도달할 수 있음을 시사합니다.
• 부록의 Table 1은 f(x)의 다양한 함수 형태(예: x², x log x, xᵉˣ 등)별로 특이점 발생 여부와 대응하는 x(t)의 성장 형태를 정리한 비교표입니다. [수치 확인 필요] 이 표의 수식 기호는 PDF 텍스트 추출 과정에서 일부 손상되어(지수·첨자 표기 오류) 정확한 수식은 원문 PDF의 표를 직접 확인하시길 권합니다.

[보완 내용] 논문에서 언급된 METR 시간지평 실측 데이터(Kwa et al. 2025)나 Davidson et al.(2026)의 NBER 실증 모델링 결과처럼, 실제 AI 벤치마크 데이터에 이 이론을 적용해 검증한 정량적 실험은 이 논문 자체에는 없으며, 참고문헌에 언급된 별도 연구들을 확인해야 합니다.

 

5. Conclusion (결론)

저자는 초지수 성장의 임계값(ẋ가 x에 대해 초선형적으로 증가)과 특이 성장의 임계값(x log(x) log(log(x))… 류의 함수보다 조금이라도 더 빠르게 증가)이 서로 다르다는 점을 재확인하며, 초지수적이지만 특이하지 않은 성장이 충분히 가능하다고 결론짓습니다. 피드백 루프의 물리적 지속시간을 고려하면 특이 성장은 훨씬 더 어려워지며, 이는 생성시간을 충분히 빠르게 0으로 수렴시켜야 한다는 조건(제논 조건과 무한계 조건의 결합) 때문임을 강조합니다.

정책적으로는 선도 AI 연구소들이 사전훈련 및 RLVR 사후훈련 등에서 자사의 현재 생성시간을 보고하도록 하는 것이 좋은 정책이 될 수 있다고 제안합니다. 측정과 관련해서는 두 가지 중요한 부정적 함의를 제시하는데, 특이점 발생 조건이 국소적 속성이 아닌 전역적 속성(블로우업 조건)이기 때문에, 유한한 기간의 관측 데이터만으로는 폭발이 일어나고 있는지 여부를 확정하거나 배제할 수 없다는 점, 그리고 이러한 동역학이 경계 부근에서 극도로 민감한 반면 실제 지능 측정치는 거칠고 잡음이 많아 예측이 매우 어렵다는 점입니다.

또한 지능 측정 척도의 선택이 특이 성장 예측에 결정적으로 중요할 수 있으며, 특히 METR 시간지평과 같이 다른 지능 측정치를 동반하지 않고도 무한대로 발산할 수 있는 좁은 척도는 적절한 도구가 아닐 수 있다고 지적합니다. 마지막으로 저자는 특이 성장이 생각보다 어렵다는 결론이 RSI가 안전하다거나 AI R&D가 관리 가능한 속도로 진행될 것이라는 의미는 아니며, 단순한 선형 배속(예: 10배속) 가속만으로도 인간 단독 연구 대비 위험한 수준의 속도를 낼 수 있다고 경고하며 논문을 마무리합니다.