[IT & Future Strategy (23-9)] 공공부문 거대언어모델(LLM) 오픈소스 활용방안
o 목차
Ⅰ. 한국형 거대언어모델(LLM) / 01
Ⅱ. 한국형 거대언어모델 구축 및 고도화 / 03
Ⅲ. 오픈소스 거대언어모델 국내/외 동향 / 25
Ⅳ. 정책적 시사점 / 38
o 주요 내용
- 개방된 언어모델 중 한국어 거대언어모델(LLM)이 부족함에 따라 공공부문에 적용 가능한 거대언어모델 오픈소스 활용방안을 연구하여 제시하였습니다.
❍ (DPO 를 이용한 학습) 기본(base) LLM 을 지시응답형(Instruction following) LLM 으로 변경하기 위하여 OpenAI가 적용하였던 학습방법 중 2단계 보상모델 생성 , 3 단계 : PPO(Proximal Policy Optimization)알고리즘 기반 강화학습을 대신하는 DPO(Direct Preference Optimization) 기법이 주목을 받고 있으며, 요약 및 대화의 응답 품질이 RLHF 대비 좋은 성능을 보이고 있음[10]
https://www.nia.or.kr/site/nia_kor/ex/bbs/View.do?cbIdx=25932&bcIdx=26223&parentSeq=26223
https://www.nia.or.kr/site/nia_kor/ex/bbs/View.do?bcIdx=26223&cbIdx=25932&parentSeq=26223
[IT & Future Strategy (23-9)] 공공부문 거대언어모델(LLM) 오픈소스 활용방안 2023.12.31 조회수 871 윤창희 AI-미래전략센터 [IT & Future Strategy (23-9)] 공공부문 거대언어모델(LLM) 오픈소스 활용방안 o 목차
www.nia.or.kr
'02.SW' 카테고리의 다른 글
| SW 품질 - GS 인증 (1) | 2024.01.24 |
|---|---|
| 음성인식 - 자연어처리 (NLP) - 품질검수 기준 (0) | 2024.01.14 |
| ITFIND 메일진 제1151호 산업분야별 정보메일 (발행 : 2024-01-12 ) (1) | 2024.01.14 |
| 데브옵스 (DevOps) - 데이터옵스(DataOps) (1) | 2024.01.08 |
| 로우 코드(Low Code), 노 코드(No Code) (6) | 2024.01.02 |
