인공지능 - 위험 관리 - ISO/IEC 23894(인공지능 위험관리 프레임워크)

(개념) 조직이 AI 시스템을 개발하고 사용할 때 발생할 수 있는 독특한 위험 요소들을 어떻게 식별, 평가 및 대응해야 하는지 "인공지능을 위한 리스크 관리 가이드라인"을 제공하는 국제 표준

 

1) AI 리스크 관리의 핵심 요소

• 데이터 편향성 (Bias): 학습 데이터의 편향으로 인해 발생하는 차별적 결과 관리.
• 설명 가능성 (Explainability): AI가 왜 그런 결정을 내렸는지 인간이 이해할 수 없는 '블랙박스' 문제 해결.
• 적응형 행동: AI가 배포 후에도 계속 학습하며 행동이 변할 때 발생하는 예측 불가능성 대응.
• 안전성 및 견고성: 외부 공격(적대적 공격)이나 예상치 못한 상황에서도 시스템이 안정적으로 작동하는지 확인.

 

2) AI 생애주기별 리스크 관리

단계	리스크 관리 활동 내용
기획 및 설계	프로젝트의 윤리적 타당성과 법적 준수 여부 검토.
데이터 수집/처리	데이터의 품질, 개인정보 보호, 편향성 유무 확인.
모델 학습/검증	알고리즘의 정확도와 공정성 테스트.
배포 및 운영	실시간 모니터링을 통한 성능 저하 및 예기치 못한 부작용 감시.
폐기	데이터의 안전한 삭제 및 시스템 종료 절차 관리.

 

https://www.itsmf.ch/blogs/post/artificial-intelligence-ai-and-risk-management-with-the-iso-23894-standard

 

 

https://www.tta.or.kr/tta/selectBbsNttView?bbsNo=22&key=11&nttNo=13412

‘TTA, KT LLM 모델‘믿:음 K 2.0 Base’에 인공지능 신뢰성 인증(CAT) 부여, 2025,12,23 ‘인공지능 신뢰성 인증(CAT)’은 TTA가 AI 기술의 발전과 함께 대두되는 윤리적·기술적 위험 요소에 대응하고, 국내 AI 산업의 경쟁력을 강화하기 위해 운영 중인 민간 자율 인증 제도로, 2025년 국제표준(ISO/IEC 23894: AI 위험관리, 42001: AI 경영시스템, 38507: AI 거버넌스)을 기반으로 인증 체계를 고도화했다. 이번 인증은 방대한 파라미터와 범용성을 가진 대규모 언어 모델(LLM)을 대상으로 국제 표준 기반의 인증 기준이 적용된 최초의 사례이다. 이번에 인증을 획득한 KT의 ‘믿:음 K 2.0 Base’는 대규모 한국어 데이터를 학습하여 분류․질의응답․요약․생성․변환 등 다양한 자연어 처리 과업을 수행할 수 있으며, 한국의 언어/문화/정서까지 학습한 한국에 가장 최적화된 범용 AI 모델이다. ‘믿:음 K 2.0 Base’는 11.5B 파라미터 규모의 오픈소스 모델로 현재 Hugging Face 플랫폼을 통해 공개하고 있다. TTA는 인증 기준인 ‘ISO/IEC 23894(인공지능 위험관리 프레임워크)’를 기반으로, KT가 ‘믿:음 K 2.0 Base’의 개발 및 운영 과정에서 적용한 위험관리 프레임워크와 프로세스를 종합적으로 살펴보았으며, △책무성 △AI 전문성 △훈련 및 시험데이터의 품질 및 가용성 △환경 영향 △공정성 △유지보수성 △개인정보보호 △강건성 △안전성 △보안성 △투명성 및 설명가능성의 위험관리 목표 전반에 대한 관리 여부를 확인하였다.

 

https://www.itsmf.ch/blogs/post/artificial-intelligence-ai-and-risk-management-with-the-iso-23894-standard

https://iso-library.com/standard/23894/