기초 모델 (FM, Foundation Model)- 언어 기초 모델(language foundation model)

(정의) 입력 텍스트 x와 출력 텍스트 y는 텍스트 처리 최소 단위인 토큰(token)의 연속으로이루어져 있고, 언어 기초 모델 는 입력에 대해 출력을 대응하여 (즉, y = f(x)) 입력과 출력이 텍스트인 모델

 

(학습방식)

데이터 분포(data distribution)가 주어지고 데이터 분포에서 수집한 데이터(data)를 가지고 자기 지도 학습(self-supervised learning)으로 대표되는 학습 알고리즘(learning algorithm)을 통해서 학습