생성형 AI - 파운데이션 모델 (FM, Foundation Model)

(개념) 방대한 양의 폭넓은 데이터를 사용하여 자기지도학습을 통해 방대한 내부파라미터를 지닌 모델을 학습시킨후,아직 명확하게 수행해야 할 작업이 정해지지 않은 상태로 배포되어,사용자가 원하는 목적에 맞게 다운스트림 작업에 대해 미세조정이나 문맥내 학습(In-context learning)등과 같은 과정을 거침으로써 완성되는 기초모델

 

생성형 AI의 소개 및 활용시 규제 관련 논의사항(금융보안원), 2024.03

 

파운데이션 모델 개발, 학습, 배포 파이프라인

 

 

 

(핵심방법론) 자기지도학습 (데이터의 어노테이션값을 스스로 설정)

문장의 다음에 올단어를 예측하는 Autoregressive language modeling, 데이터의 누락된 부분을 복원하는 Masked language modeling 등과 같이 별도로 사람에 의해 분류 및 회귀 목표가  정해지지 않더라도 스스로 데이터의 특성을 학습할 수 있는 방법들이 사용되기 때문에, 방대한 양의  데이터를 사용할 수 있으며 보다 일반적이고 확장성이 높다

 

(특징) 창발성(emergence)과 균일화(homogenization)

창발성: 모델이 스스로 어떠한 문제를 해결하기 위한 지식을 도출하는 능력을 의미

균일화: 모델이 점차 일반화된 지식을 도출해 낼 수 있게됨에 따라,하나의 뛰어난 모델이 적용될 수있는 범위가 점차 확대되며 더욱 보편적이고 범용적으로 활용되는 현상을의미

 

(구조) 트랜스포머 아키텍처구조

 

텍스트, 이미지, 음성, 정형 데이터, 단백질의 염기 서열 분석, 분자 구조 분석, 강화학습 등의 서로 다른 작업에 대해서 광범위하게 활용되고 있을 뿐만 아니라, 여러 종류의 서로 다른 모달리티에 걸친 데이터를 다루는 멀티 모달 모델의 형태로 발전하고있다.

 

(제반기술) 대용량 학습데이터 구축, 트랜스포머 아키텍처, 시스템, 자기 지도학습 기법, 모델 아키텍처 구조

 

(연구동향) Prompt Engineering: GPT-3

 

 

모델 최적화 : 지식 증류, Pruning, 모델 구조 변경, 양자화, Sparsity 등

 

이미지 생성 및 분류 : 컴퓨터 비전 분야의 자율 주행 자동차 및 로봇 운용 데이터, 의료 이미지 인식기술

 

 

이미지-텍스트 멀티 모달 모델 : 

 

 

EU AI 법안의 EU 의회 수정안 주요 내용(2023.5.31.), 법률신문 참조

 

 

 

 

 

 

 

https://www.nia.or.kr/site/nia_kor/ex/bbs/View.do?cbIdx=82618&bcIdx=25400&parentSeq=25400 

https://www.nia.or.kr/site/nia_kor/ex/bbs/View.do?bcIdx=25400&cbIdx=82618&parentSeq=25400

https://www.kistep.re.kr/board.es?mid=a10306010000&bid=0031&act=view&list_no=93089

EU 인공지능(AI) 규제 현황과 시사점 | 전체브리프 | KISTEP 브리프 | 주요 사업 : KISTEP 한국과학기술