생성형 AI - 추론 ‘inference’ 비용 - AI 가격 급락과 소프트웨어 혁신

https://weightythoughts.com/p/ais-plummeting-prices-are-a-software

이 글은 AI 인프런스 비용이 급격히 하락하는 근본적인 원인이 하드웨어가 아닌 소프트웨어와 알고리즘의 발전에 있음을 통찰력 있게 설명합니다. 저자는 고가의 최신 칩 없이도 소니와 구형 소비자용 GPU에서 오픈 웨이트 모델을 구동하여 상용 서비스와 대등한 성능을 낼 수 있다는 개인적 경험을 토대로, 모델 아키텍처 개선, 증류, 양자화 등의 기술적 진보가 비용 효율성을 주도하고 있음을 강조합니다. 이러한 흐름은 프런티어 AI 기업들의 가격 결정력을 약화시키고 AI 기술의 범용화와 개인화를 가속화하고 있습니다. 결과적으로 이 텍스트는 AI의 미래가 자본 집약적인 연산 능력보다는 효율적인 모델 설계에 의해 좌우될 것임을 시사하는 목적을 지닙니다.

앞서 언급했듯이 AI 추론 비용은 매년 70~90%씩 감소해 왔습니다. 귀도 아펜젤러는 "3년 만에 비용이 1,000분의 1로 떨어졌다"는 최초의 관찰을 통해 " LLM 인플레이션 " 이라는 용어를 만들어냈습니다. 제가 아무리 반복해서 말하고, 아무리 많은 전문가들이 지적하더라도, AI가 오히려 더 비싸지고 있다고 느끼는 사람들이 많아 여전히 놀라워합니다 .

 

그 이유는 동일한 용량 (동일한 모델, 동일한 쿼리)에 대한 비용이 하락하고 있는 반면, 우리는 지속적으로 사용량을 늘리고 있기 때문입니다(더 큰 모델, 더 비싼 쿼리). 무어의 법칙(물가상승률보다 느리게 진행됨)에도 불구하고 컴퓨터 가격이 0.00001달러가 되지 않는 것과 같은 이유입니다. 컴퓨터 가격은 기하급수적으로 하락했지만, 우리는 계속해서 컴퓨터의 크기를 키워왔습니다.