에이전트 AI - Google Cloud AI Research, ScientistOne: 증거의 연쇄 (Chain-of-Evidence)

https://arxiv.org/pdf/2605.26340

https://scientist-one.github.io/

2026.5.25
[ScientistOne: Towards Human-Level Autonomous Research via Chain-of-Evidence]

이 자료는 구글 클라우드 AI 리서치 팀이 발표한 논문으로, 자율 연구 AI 에이전트의 신뢰성을 확보하기 위한 ScientistOne 시스템과 증거 연쇄(Chain-of-Evidence, CoE) 프레임워크를 소개합니다. 기존의 인공지능 연구 시스템들은 겉보기에만 그럴듯한 논문을 작성할 뿐, 실제로는 조작된 인용, 재현 불가능한 실험 점수, 코드와 일치하지 않는 방법론 등 심각한 결함을 보인다는 점을 지적합니다. 이를 해결하기 위해 저자들은 모든 학술적 주장을 근거 소스까지 추적할 수 있도록 설계된 ScientistOne을 개발하였으며, 이는 문헌 조사부터 논문 작성까지 전 과정에서 증거의 무결성을 유지합니다. 또한, 점수 검증과 인용 확인 등 네 가지 항목을 평가하는 CoE 무결성 감사를 통해 기존 시스템들의 체계적 실패를 입증하는 한편, ScientistOne이 인간 전문가 수준의 성과를 내면서도 완벽한 검증 가능성을 달성했음을 보여줍니다. 결국 이 연구는 AI 기반 과학 탐사가 단순히 결과물을 생성하는 수준을 넘어, 검증 가능한 과학적 정직성을 갖추어야 함을 강조하고 있습니다.

 

System Overview

 

CoE Audit

 

RSI 에이전트 적용을 위한 최소 CoE 통제안

공공·고위험 환경에서는 자기개선 결과를 곧바로 승격하지 말고, 아래 Evidence Packet을 변경 승인 단위로 관리하는 것이 적절합니다.

통제 ID	필수 증거	승인 기준	운영 조치
RSI-COE-01	변경 요구·목표·위험 가정	원래 요구와 연결	요구 ID 고정
RSI-COE-02	Git commit, diff, SBOM·의존성 버전	변경 설명–코드 일치	Immutable artifact 저장
RSI-COE-03	입력 데이터 버전·권한·변환 로그	데이터 계보 완결	Hash·보존정책 적용
RSI-COE-04	독립 evaluator 재실행 로그	사전 등록 지표·임계치 충족	개발 agent–평가 agent 분리
RSI-COE-05	Adversarial/specification test	제약 우회·reward hacking 없음	실패 시 자동 rollback
RSI-COE-06	Claim-to-evidence manifest	모든 수치·방법·인용이 evidence ID와 연결	누락 claim 배포 차단
RSI-COE-07	인간 책임자 승인	고위험 영향·목적 변경 검토	Human gate 유지