Agentic AI Systems (에이전틱 AI 시스템)
- 정의: 제한된 직접 감독 하에 복잡한 목표를 적응적으로 달성할 수 있는 AI 시스템.
- 특징:
- 목표의 복잡성(goal complexity)
- 환경의 복잡성(environmental complexity)
- 적응성(adaptability)
- 독립적 실행 능력(independent execution)
- 예시: 단순한 텍스트 분류기와 달리, 다양한 도구를 활용해 복잡한 목표를 달성할 수 있는 AI 비서 등.
Agenticness (에이전틱성)
- 시스템이 복잡한 환경에서 복잡한 목표를 얼마나 자율적으로 달성할 수 있는지의 정도. 이는 연속적인 스펙트럼이며, 인간 수준의 의식이나 도덕적 주체성과는 구분됨.
AI 에이전트 생애주기의 인간 주체
- 모델 개발자(model developer): AI 모델 자체를 개발
- 시스템 배포자(system deployer): 모델을 기반으로 실제 시스템을 구축 및 운영
- 사용자(user): 시스템을 활용해 구체적 목표를 지시
- 기타: 컴퓨트 제공자, 외부 API 제공자 등
주요 항목 요약
1. Agentic AI Systems의 잠재적 이점
- 효율성: 사용자의 시간과 노력을 크게 절약
- 확장성: 더 많은 사용자를 지원하거나 사용자의 능력을 확장
- 품질 향상: 더 정확하고 신뢰성 높은 결과 제공
- 사회적 영향력 확대: 경제 생산성, 과학 발전, 사회적 복지에 기여할 수 있음
2. 안전성과 책임성을 위한 7가지 실천 방안
| 실천 방안 | 요약 |
| 1. 적합성 평가 | 시스템이 특정 작업에 적합한지, 신뢰할 수 있는지 충분히 평가해야 함. 고위험 작업에선 더욱 엄격한 평가 필요. |
| 2. 행동 공간 제한 및 승인 요구 | 중요한 결정(예: 재정 거래 등)은 반드시 사용자의 명시적 승인을 거치게 하거나, 특정 행동을 아예 금지해야 함. |
| 3. 기본 행동 설정 | 시스템의 기본값을 안전하고 상식적인 방향(예: 사용자의 돈을 함부로 쓰지 않음)으로 설정하고, 불확실할 땐 사용자에게 명확히 물어보도록 설계. |
| 4. 행위의 가시성(legibility) | 시스템의 내부 추론 과정 및 행동 이력을 사용자에게 투명하게 보여줘야 함. |
| 5. 자동 모니터링 | 제2의 AI 시스템이 주 에이전트의 행동을 자동으로 감시하여 이상행동을 탐지할 수 있음. |
| 6. 귀속성(attributability) | 문제가 발생했을 때 책임 소재를 추적할 수 있도록 각 에이전트에 고유 식별자 부여 등 신원 확인 체계 마련. |
| 7. 중단 가능성(interruptibility) | 언제든 사용자가 시스템을 안전하게 중단(종료)할 수 있어야 하며, 중단 시에도 피해를 최소화할 수 있는 절차 필요. |
3. 간접적 영향
- 채택 경쟁(adoption races): 경쟁적 환경에서 충분한 검증 없이 에이전트 도입이 가속화될 위험
- 노동 시장 변화: 일자리 대체, 생산성 향상, 기술 격차 심화 가능성
- 공격-방어 균형 변화: 사이버 보안 등에서 공격 자동화가 방어보다 더 쉬워질 수 있음
- 동시적/연쇄적 실패(correlated failures): 유사한 시스템이 동시에 동일한 방식으로 실패할 위험, 사회적 인프라에 대한 광범위한 영향
결론 및 시사점
- Agentic AI 시스템의 이점을 극대화하고 위험을 최소화하기 위해, 다양한 이해관계자(모델 개발자, 시스템 배포자, 사용자 등)가 각자의 역할에 맞는 최소한의 책임과 실천 방안을 합의해야 함.
- 논문에서 제안하는 7가지 실천 방안은 완성된 규범이 아니라, 앞으로의 논의와 연구를 위한 출발점임.
- 기술 발전 속도가 빠르기 때문에, 이러한 실천 방안과 책임 구조도 지속적으로 재검토되어야 함.
참고: 논문에서 제시한 오픈 퀘스천(추가 논의 필요 영역)
- 각 실천 방안별로 실제 적용 방법, 책임 분배, 기술적 한계, 프라이버시와 비용 등 다양한 쟁점이 남아 있음.
- 사회 전체의 논의와 정책적, 법적 대응이 병행되어야 함.
이 논문은 agentic AI 시스템의 정의와 위험, 그리고 안전·책임성 확보를 위한 구체적 실천 방안을 체계적으로 제시함으로써, 향후 AI 거버넌스 논의의 중요한 기초 자료로 활용될 수 있습니다1.
https://cdn.openai.com/papers/practices-for-governing-agentic-ai-systems.pdf
'07.AI' 카테고리의 다른 글
| 인공지능 - 해석력 - AI 안전을 위한 기계론적 해석가능성(Mechanistic Interpretability, MI) (0) | 2026.04.29 |
|---|---|
| 인공지능 - 해석력 - LLM의 기계적 해석가능성 : 블랙박스에서 투명한 AI로 (0) | 2026.04.29 |
| 프롬프트 엔지니어링 - 컨텍스트 엔지니어링 (0) | 2026.04.22 |
| 프롬프트 엔지니어링 - 컨텍스트 엔지니어링 - [2510.26493] Context Engineering 2.0 (0) | 2026.04.22 |
| 프롬프트 엔지니어링 (0) | 2026.04.22 |
