생성형 AI - 고비용 문제 부각

 

2022년 12월 발표된 챗GPT(ChatGPT)는 수백만 명의 사용자가 테스트하는 등 최근 시장에서 가장 인기 있는 기술임. 하지만 데이터 센터 내에서 이러한 시스템을 실행하기 위해서는 많은 비용을 투자해 기존 인프라에 대한 업그레이드 작업이 필요할 수 있음. 챗GPT에 맞는 학습과 추론 모델을 개발하는 데만 1만 개 이상의 엔비디아(Nvidia) GPU가 필요한 것으로 알려졌으며, 다양한 유형의 AI 구현 조건에 따라 더 많이 필요할 수도 있음. 엔비디아는 AI 산업에 사용되는 대부분의 CPU를 공급하며, 기본 데이터 센터의 주력 칩은 1만 달러(약 1,312만 원) 수준임. 아직 생성형 AI가 개발 초기 단계에 있고 완전히 신뢰할 수 없는 기술이라는 점을 감안할 때 클라우드 제공업체와 조직 모두에게 큰 투자임이 분명함

 

* 메타(Meta) 람다(LLaMA)모델 : 2,048개의엔비디아 A 100 GPU를 사용하여 1조4,000억 개의 토큰(750단어는약1,000개의토큰)을 학습하는데 약 21일이 걸렸다고 알려짐

 

* AI스타트업 허깅페이스(HuggingFace) 의 오픈소스 언어 모델인 불룸(Bloom)을 학습시키는 과정에 두달반 이상이 걸렸으며 500개의 GPU에 해당하는 슈퍼 컴퓨터에 액세스 해야했다고함.

 

* 챗GPT와 같은 생성형 AI가 50 단어 답변으로 수신되는 쿼리의 절반을 처리할 경우 2024년까지 60억달러(약7조8,750억원)의 비용 증가가 발생할 수 있다고 예측함.

 

 

 

 

205_1-2-1.pdf

3.16MB

 

https://www.globalict.kr/news/trend/weekly.do?menuCode=020200&knwldNo=142719#none 

글로벌ICT포털