에이전트 AI - 벤치마크 - 소매 유통 정책, DRIP-R

https://arxiv.org/abs/2605.07699v1

2026.5.8
[DRIP-R: A Benchmark for Decision-Making and Reasoning Under Real-World Policy Ambiguity in the Retail Domain]

이 논문은 현실 세계의 소매 유통 정책이 지닌 모호성 속에서 인공지능 모델이 얼마나 논리적으로 결정을 내리는지 평가하기 위해 설계된 DRIP-R 벤치마크를 소개합니다. 기존의 평가 방식이 명확한 규칙을 전제로 했던 것과 달리, 이 연구는 여러 가지 해석이 가능한 복잡한 반품 시나리오를 통해 AI 에이전트의 의사결정 및 추론 능력을 시험합니다. 연구진은 대화 시뮬레이션과 도구 활용 기능을 결합하여 모델의 정책 준수와 행동 정렬을 다각도로 분석하는 평가 프레임워크를 구축하였습니다. 실험 결과, 최신 모델들조차 동일한 모호한 상황에서 서로 다른 결론을 내린다는 점이 확인되었으며, 이는 실무 환경에서 정책적 모호성 해결이 인공지능 발전의 핵심 과제임을 시사합니다.

 

DRIP-R 은 현실적인 고객 페르소나와 결합된 엄선된 정책 모호 반품 시나리오 세트, 도구 호출 기능을 갖춘 양방향 대화 시뮬레이션, 그리고 정책 준수, 대화 품질, 행동 일치 및 해결 품질을 평가하는 다중 평가자 평가 프레임워크로 구성됩니다. 

 

그림 1 :  벤치마크 파이프라인 개요.

그림 2 :  평가 기준에 대한 개요

 

그림 4 :  모델별 정책 준수 궤적 (해결 수준별). X축 = 정규화된 대화 진행률, Y축 = 턴당 평균 정책 준수 점수.

 

그림 6 :  상담원 페르소나별 모델 간 문제 해결 신호. Y축: 평균 문제 해결 순서형 척도, 고객 선호도에 따른 문제 해결 유형 순위 (사용자 취소 = 0, 환불 거부 = 1, 문제 해결 요청 = 2, 상품권 = 3, 부분 환불 = 4, 교환 = 5, 전액 환불 = 6)