[IT & Future Strategy (23-9)] 공공부문 거대언어모델(LLM) 오픈소스 활용방안
o 목차
Ⅰ. 한국형 거대언어모델(LLM) / 01
Ⅱ. 한국형 거대언어모델 구축 및 고도화 / 03
Ⅲ. 오픈소스 거대언어모델 국내/외 동향 / 25
Ⅳ. 정책적 시사점 / 38
o 주요 내용
- 개방된 언어모델 중 한국어 거대언어모델(LLM)이 부족함에 따라 공공부문에 적용 가능한 거대언어모델 오픈소스 활용방안을 연구하여 제시하였습니다.
❍ (DPO 를 이용한 학습) 기본(base) LLM 을 지시응답형(Instruction following) LLM 으로 변경하기 위하여 OpenAI가 적용하였던 학습방법 중 2단계 보상모델 생성 , 3 단계 : PPO(Proximal Policy Optimization)알고리즘 기반 강화학습을 대신하는 DPO(Direct Preference Optimization) 기법이 주목을 받고 있으며, 요약 및 대화의 응답 품질이 RLHF 대비 좋은 성능을 보이고 있음[10]
https://www.nia.or.kr/site/nia_kor/ex/bbs/View.do?cbIdx=25932&bcIdx=26223&parentSeq=26223
https://www.nia.or.kr/site/nia_kor/ex/bbs/View.do?bcIdx=26223&cbIdx=25932&parentSeq=26223
[IT & Future Strategy (23-9)] 공공부문 거대언어모델(LLM) 오픈소스 활용방안 2023.12.31 조회수 871 윤창희 AI-미래전략센터 [IT & Future Strategy (23-9)] 공공부문 거대언어모델(LLM) 오픈소스 활용방안 o 목차
www.nia.or.kr
'02.SW' 카테고리의 다른 글
| SW 품질 - 시스템 및 소프트웨어 제품 품질 (ISO/IEC 25023) (0) | 2024.01.25 |
|---|---|
| 자연어처리 (NLP) - 품질검수 기준 (0) | 2024.01.14 |
| ITFIND 메일진 제1151호 산업분야별 정보메일 (발행 : 2024-01-12 ) (1) | 2024.01.14 |
| 데브옵스 (DevOps) - 데이터옵스(DataOps) (1) | 2024.01.08 |
| 프로젝트 관리 - 이해관계자 관리 - 현저성 모델 (0) | 2023.12.26 |
