AI - 편향성 측정 - 에이전트 루프 편향 심사

https://arxiv.org/pdf/2604.16790

eks2026.4.18
[Bias in the Loop: Auditing LLM-as-a-Judge for Software Engineering]

이 연구는 소프트웨어 공학 분야에서 코드의 품질을 평가하기 위해 대규모 언어 모델(LLM)을 심사관으로 사용하는 'LLM-as-a-Judge' 방식의 신뢰성과 편향성을 심층 분석한 논문입니다. 저자들은 코드 생성 및 수리, 테스트 생성 등 세 가지 주요 작업에서 프롬프트에 삽입된 겉치레 정보(프레젠테이션 큐)가 모델의 판정에 어떠한 영향을 미치는지 체계적으로 측정하였습니다. 실험 결과, 답변의 내용이 동일함에도 불구하고 출력 순서, 장황함, 권위적 표현 등 미세한 프롬프트 변화에 따라 모델의 평가 결과가 심각하게 뒤바뀌는 프롬프트 유도 편향이 강하게 나타났습니다. 특히 이러한 편향은 문제의 난이도가 높을수록 증폭되어 평가의 재현성과 타당성을 해치는 결정적인 요인이 됨을 밝혀냈습니다. 따라서 연구진은 향후 코드 평가 시 정확도뿐만 아니라 편향 민감도를 반드시 함께 보고하고, 순서 바꾸기나 프롬프트 변동 제어와 같은 엄격한 실험적 가이드라인을 도입할 것을 제안하고 있습니다.

그림 1. 평가 파이프라인 개요입니다.  A  와  B는  쌍대 비교에서 두 개의 후보 응답을 나타내며,  A  는 첫 번째 위치에,  B는  두 번째 위치에 표시됩니다. 체크 표시는 해당 설정에서 정답인 응답을 나타냅니다.

 

 

연구 질문 1: 명시적 프롬프트 편향은 코드 작업 및 모델 쌍대 비교에 대한 LLM 판단 결과에 얼마나 영향을 미치는가?

연구 질문 2: 동일한 사례가 정해진 기준과 질문에 따라 여러 번 제시될 때, LLM 심사위원들의 법규 관련 평가에 대한 재시험 신뢰도는 어느 정도인가?