AI 안전성 - KISA, AI 보안 레드티밍 가이드

https://www.kisa.or.kr/401/form?postSeq=3713#fnPostAttachDownload

2026.07.07
[AI 보안 레드티밍 가이드]

본 문서는 급격히 성장하는 생성형 AI 기술의 부작용에 대비하기 위해 한국인터넷진흥원(KISA)에서 발간한 AI 보안 레드티밍 운영 지침서입니다. 이 가이드는 국제 표준 방법론을 바탕으로 공격자의 시각에서 시스템의 약점을 사전에 파악하여 AI의 안전성과 신뢰성을 강화하는 구체적인 절차를 제시합니다. 본문은 레드팀의 개념 정립부터 시작하여 조직 구성, 위협 시나리오 개발, 공격 이행, 결과 보고에 이르는 전 과정을 체계적으로 다루고 있습니다. 특히 단순한 기술 점검을 넘어 데이터와 모델, 애플리케이션 전 계층을 아우르는 다각적 보안 검증을 통해 국내 기업들이 글로벌 수준의 보안 대응 체계를 구축하도록 돕는 데 목적이 있습니다.

 

 

 

 

 

 

 

 

Ⅰ. 개요

생성형 AI의 급속한 발전과 함께 정보 유출, 유해 콘텐츠 생성, 자율 판단이 가능한 AI 에이전트 도입 등으로 보안 리스크가 커지면서, 국내 기업·기관이 AI 레드팀을 구축·운영하는 데 필요한 필수 지침을 제공하는 것이 발간 목적입니다. 대상 독자는 AI 모델 개발·보유 기업, AI 서비스 운영 기업, AI 보안 기업의 보안담당자·개발자·정책 책임자입니다. ISO/IEC AWI TS 42119-7(개발 중인 국제 레드팀 표준)을 기반으로 하며, NIST AI 100-2, OWASP 생성형 AI 레드티밍 가이드, CSA 에이전틱 AI 레드티밍 가이드 등을 함께 반영했습니다.

 

Ⅱ. AI 보안 레드티밍 이해

• 개념: 공격자 시각에서 AI 시스템을 점검해 취약점을 찾고 보안을 강화하는 활동으로, 전통적/사이버보안 레드티밍과 달리 데이터·모델의 적대적 취약점, AI/ML 전문성, AI 평가 프레임워크를 다룬다는 차이가 있습니다.
  
  
• 대상·위협 분류: 데이터 계층(학습데이터, 파이프라인, 입출력데이터), 모델 계층(핵심모델, 파인튜닝모델), 애플리케이션/인터페이스 계층(에이전트 확장, UI, 시스템프롬프트·가드레일), 인프라 계층으로 나누고, 위협은 데이터위협·모델위협(탈옥, 환각, 시스템프롬프트 유출 등)·에이전트위협(하이재킹, 메모리 오염 등)·공급망위협(데이터/모델 포이즈닝 등)으로 세분화합니다.
  
  
• 방법론: 수행방식(내부 직접수행 vs 외부위탁, 적대적 vs 선량한 활동)과 접근수준(블랙박스·그레이박스·화이트박스)을 조합해 의사결정 트리로 전략을 선택합니다.
  
  
• 수행시기: 개발-배포-모니터링 전 주기에 걸쳐 반복 수행하며, 지속적 레드티밍·기간제 레드티밍·레드팀 챌린지로 구분합니다.

 

Ⅲ. 레드팀 구성

리더·PM, AI 레드팀 전문가, 보안 테스트 전문가, AI 엔지니어, AI 법률 자문가, 도메인 전문가로 구성되는 융합형 팀을 권장합니다. 시스템 이해, AI 보안 기법, 도메인별 위험, 윤리·교전규칙에 대한 사전 교육과 함께, 유해·민감 콘텐츠 노출에 대비한 팀원 심리적 지원체계 마련도 강조합니다. 활동 시기는 출시 전/후로 나누어 일정과 자원을 관리합니다.

 

Ⅳ. 레드티밍 준비

• 기획: 사전 협의로 교전규칙(허용범위, 금지행위, 중단조건 등)을 수립하고, 목표·범위·평가기준을 정합니다. 평가기준은 정량(공격성공률, 재현율 등)과 정성(영향도, 악용가능성 등) 지표를 함께 쓰며, 위험 등급은 Critical~Safe 5단계로 구분합니다.
  
  
• 위협 시나리오 개발: 공격표면(사용자접점, API, RAG, 에이전트 기능 등)을 식별하고, 일반사용자·악의적사용자·내부사용자·전문지식보유자·자동화도구활용자 등 페르소나를 정의해 구체적 공격 시나리오로 구성합니다.
  
  
• 환경 준비: 테스트 환경(운영/스테이징/개발) 선정, 최소권한 원칙에 따른 자산 요청, 일정 수립, 도구·데이터셋 준비, 법적·윤리적 검토, 비상 보고 절차 수립이 포함됩니다.

 

Ⅴ. 레드티밍 이행

• 공격 수행: 자동화 도구로 공격표면을 전수 조사한 뒤(대규모 페이로드 주입, 적응형 변이 공격), 전문가가 맥락 기반 우회·멀티턴 공격·내부 로직 분석 등 심층 점검을 수행하는 '2단계 검증 접근법'을 씁니다.
  
  
• 영향 분석: 안전, 성능·가용성, 품질·신뢰성, 시스템 영향(측면이동, 연쇄장애 등) 관점에서 중대성을 평가하고, 근본 원인(취약한 시스템 프롬프트, 필터링 부재 등)을 분석합니다.
  
  
• 기록 관리: 입력·출력·평가 메타데이터를 구조화해 저장하고, 공격 체인 스냅샷·재현 스크립트·시각적 증거 등 부인방지가 가능한 증적자료를 확보합니다.

 

Ⅵ. 결과 보고

결과 보고서는 레드티밍 개요, 범위(제외 항목 포함), 취약점 요약, 항목별 상세(재현 가능한 페이로드·증적 포함)로 구성합니다. 위험도 매트릭스로 조치 우선순위(Critical~Low)를 정하고, 후속 조치 단계에서는 취약점 재검증, 과잉방어 방지를 위한 회귀 테스트, 지속적 모니터링 체계 전환, CVD/VDP(취약점 신고·조치·공개 제도)와의 연계까지 다룹니다.

부록에는 레드티밍 체크리스트, DeepTeam·PyRIT·PromptFoo·Inspect AI·Garak 등 점검 도구 비교, 레드팀 인력 직무기술서(JD), 표준 문서 양식(테스트 계획서·완료보고서·실행로그)이 수록되어 있습니다.