기초 모델 (FM, Foundation Model)

(정의)  하나의 인공지능 모델이 간단한 방법으로 미세조정(fine-tuning) 을 수행해 다양한 문제 해결에 적용될 수 있는 모델 (Economist)

- 다양한 데이터에 대해서 학습되고 폭 넓은 다운스트림 작업(downstream task)에 적응할 수 있는 모델  (arXiv:2108.07258,2021)

 

(기능)

1) 초거대 데이터로 사전 학습된 모델로 다중 사용자들에게 미세조정 모델 제공이 가능

2)학습 데이터 및 비용감소로 인해 개발의 가속화

- Ark Investment GPT-3 는 기반 학습 데이터 비용감소가 무어의 법칙을 따르는 것으로 판단되며 이에 따라 2030년 학습비용이 2020년에 비해 약 만 배 감소할 것으로 분석

- Wright’s Law Models AI RCU(Relative compute unit) 에 의하면 생산비용이 연간 비율로 감소할 것으로 전망

 

(사례)

1) BERT(Bidirectional Encoder Representations from Transformers),

2) GPT-3(Generative Pre-trained Transformer 3) 등

은 초거대 데이터로 사전 학습된 모델로 자연어 처리 이미지 비디오 기반 컴퓨터 비전 로보틱스 등에서 급부상