성과측정 - AI 기반 정부사업 평가지원체계

 

 

 

AI 기반 국가연구개발사업 평가지원체계 구축방안 연구, 2024.03

 

• 연구결과와 그 질적 수준은 아래와 같음

 

① (평가등급 설정지원) 평균 80%의 정확도로 평가등급 추천이 가능한 모델 구축

• ○KoBERT 기반 모델은 최대 90%, 최소 73%의 등급 부여 정확도를 보였으며, 이는 선행연구(최대 88%, 최소 56%) 및 오피니언 마이닝 관련 연구(최대 89.3%, 최소 46.8%) 대비 제고된 성능에 해당
• ○전문가가 부여한 평가등급과 비교를 통해 연구 결과의 활용 가능성 검증 완료

 

② (성과지표 설정지원) 검색항목, 유사도/파라미터 기준치 등 조건별 관련 사업 검색이 가능한 모델 구축

• ○사업명, 사업목적, 전략목표, 세부 내용, 통합내용 등 5개 검색항목과 유사도 기준치(60~99%), 파라미터값(0.1~1.0)을 사용자 수요에 맞게 선택하여 유사 사업 검색 가능
• ○전문가의 유사성(43% 유사), 유용성(68% 유용) 평가를 통해 AI 추천 결과의 활용 가능성 검증 완료

 

자체평가 등급 설정지원 모델 활용계획 개요

 

성과지표 평가의견에 대한 머신러닝 정확도

 

성과지표 평가의견에 대한 머신러닝 정확도

 

 

 

https://www.kistep.re.kr/reportList.es?mid=a10305060000&rpt_tp=831-001

조사·평가 | 연구보고서 | 주요 사업 : KISTEP 한국과학기술기획평가원