LLM - 성능 - AI 투명성 평가, FMTI

FMTI(Foundation Model Transparency Index)

 

(개념) 인공지능(AI) 모델의 투명성을 평가하기 위해 개발된 지수

- 기준항목 : AI 모델의 개발 절차, 학습 데이터의 출처, 데이터 노동의 다양성, 컴퓨팅 자원 사용량, 모델의 특성 및 기능, 그리고 모델 배포 및 이용 관련 정보 등

 

(평가구조) 다음 3개의 주요 영역에서 100개의 세부 지표를 통해 평가를 진행

 

업스트림 영역

• 모델 개발에 사용된 데이터, 노동력, 컴퓨팅 자원 평가
• 전체 32개 지표로 구성
• 데이터 접근성, 프라이버시 보호 조치 등 포함

모델 영역

• 모델 자체의 특성과 기능 평가
• 모델의 성능, 한계, 위험성 분석
• 입출력 방식, 크기 등 기술적 세부사항 포함

다운스트림 영역

• 모델 배포와 사회적 영향 평가
• 전체 35개 지표로 구성
• 배포 채널, 사용 정책, 지역별 영향 등 평가

 

(평가결과 - 2024.May)

 

 

파운데이션 모델들의 점수표, https://aiquant.tistory.com/5

 

(평가활용)

• 정부와 시민사회가 AI 기업들의 책임성을 평가하는 기준으로 활용
• 기업들의 자발적인 투명성 개선 유도
• AI 규제 정책 수립을 위한 기초 자료로 활용
• 사용자들이 AI 시스템의 한계를 이해하는데 도움

 

(최근동향)

2024년 5월 발표된 FMTI v1.1에서는 다음과 같은 변화가 있었습니다.

 

• 평가 대상이 14개 기업으로 확대
• 평균 투명성 점수가 58점으로 상승
• 업스트림 영역(46%)이 가장 낮은 투명성을 보임
• 다운스트림 영역(65%)이 가장 높은 투명성을 보임

 

 

 

https://aiquant.tistory.com/5

https://crfm.stanford.edu/2024/05/21/fmti-may-2024.html

https://crfm.stanford.edu/fmti/paper.pdf

https://blog.irvingwb.com/blog/2024/08/the-foundation-model-transparency-index.html