2026 - AX - 해양 보호 분야를 위해 개발된 AI 에이전트 'Shippy'

https://huggingface.co/blog/allenai/shippy-tech-blog

2026.07.15
[What building Shippy taught us about building agents]

이 글은 고도의 정확성이 요구되는 해양 보호 분야를 위해 개발된 AI 에이전트 'Shippy'의 설계 원칙과 개발 과정을 상세히 다룹니다. 개발팀은 에이전트를 자아를 형성하는 페르소나(Soul), 특정 작업 수행을 위한 기술(Skills), 그리고 유연한 운영을 돕는 설정(Config)이라는 세 가지 핵심 요소로 구조화하여 신뢰성을 확보했습니다. 특히 기술적 오류를 줄이기 위해 에이전트가 데이터베이스와 소통할 때 결정론적 도구인 CLI를 거치도록 설계했으며, 사용자별로 격리된 샌드박스 환경을 제공하여 보안과 데이터 프라이버시를 강화했습니다. 결과적으로 이 텍스트는 단순한 모델 성능을 넘어 실제 현장에서 활용 가능한 에이전트 시스템의 총체적인 평가와 신뢰성 구축이 중요함을 강조하며 향후 환경 보호 플랫폼으로의 확장 가능성을 제시합니다.

 

 

1. 서론: AI 에이전트의 패러다임 전환과 신뢰성의 중요성

 

단순히 질문에 답하는 인공지능 모델(Model)의 시대를 지나, 이제는 스스로 도구를 선택하고 작업을 완수하는 에이전트(Agent)로 패러다임이 전환되고 있습니다. 특히 해상 안전과 같이 오답이 실질적인 위험으로 직결되는 고위험(High-stakes) 환경에서 에이전트의 신뢰성은 단순한 성능 지표를 넘어 비즈니스의 생존과 직결됩니다.

 

Skylight 팀이 개발한 해상 AI 에이전트 'Shippy'의 사례는 이러한 신뢰성이 어떻게 시스템 아키텍처를 통해 구현되는지 보여주는 정석입니다. 해상 분석가가 에이전트로부터 잘못된 분석 결과를 받을 경우, 한정된 자원인 초계함을 엉뚱한 방향으로 수 마일 이동시키는 결과를 초래합니다. 이는 단순한 리소스 낭비를 넘어 현장 요원들의 안전을 위협할 수 있는 중대한 문제입니다. 따라서 시니어 아키텍트의 관점에서 에이전트 설계의 핵심은 '얼마나 똑똑한가'가 아니라, '얼마나 통제 가능하고 검증 가능한가'에 초점을 맞추어야 합니다. 본 가이드는 Shippy의 'Soul, Skills, Config' 구조를 통해 고신뢰성 시스템 구축을 위한 전략적 청사진을 제시합니다.

 

2. 에이전트의 해부학: Soul, Skills, 그리고 Config

고신뢰성 시스템 구축의 첫 단추는 구성 요소를 명확히 분리하여 관리하는 것입니다. Shippy는 시스템을 자아(Soul), 기술(Skills), 설정(Config)의 세 가지 기둥으로 구분하며, 이를 통해 운영의 안정성과 유연성을 동시에 확보합니다.

 

핵심 구성 요소 분석

1. Soul (자아): 시스템 아키텍처의 도덕적 나침반 에이전트의 페르소나와 행동 경계(Boundaries)를 정의하는 시스템 프롬프트입니다. Shippy는 데이터가 뒷받침되지 않는 추측을 금지하며, 법적 판단을 내리지 않도록 설계되었습니다. 이러한 명시적 가드레일은 미세 조정(Fine-tuning)과 같은 블랙박스 방식보다 훨씬 뛰어난 감사 가능성(Auditability)을 제공하며, 정책 변경 시 즉각적인 수정이 가능하다는 전략적 이점이 있습니다.
2. Skills (기술): 도메인 전문 지식의 모듈화 'agent-skills spec'을 따르는 마크다운 기반의 기술 정의서입니다. 예를 들어 "파나마 EEZ(배타적 경제수역) 내 활동 조회" 요청 시, 에이전트가 좌표를 임의로 추측하는 대신 'Regions API'를 호출해 정확한 폴리곤 경계를 먼저 확정하도록 절차를 규정합니다.
3. Config (설정): 런타임 유연성의 확보 에이전트 실행을 위한 하네스(Harness)인 OpenClaw 프레임워크, 사용 모델(Claude Opus 4.6), API 키 등을 관리합니다.

아키텍처 관리의 핵심: 불변의 아티팩트와 런타임 주입

시니어 엔지니어링 관점에서 주목할 점은 관리 방식입니다. Soul과 Skills는 버전이 관리되는 단일 Docker 이미지(Immutable Artifact)로 빌드되어 배포의 일관성을 보장하는 반면, Config는 런타임 시점에 주입되어 인프라나 모델의 교체 시에도 전체 시스템 재빌드 없이 유연하게 대응할 수 있도록 설계되었습니다.

구성 요소	정의	Shippy의 실제 사례	버전 관리 / 아티팩트 유형
Soul (자아)	시스템 프롬프트 및 행동 경계	법적 판단 배제, 데이터 기반 추론	Docker 이미지 (불변)
Skills (기술)	마크다운 기반 기술 정의서	Regions API 연동, 선박 궤적 해석	Docker 이미지 (불변)
Config (설정)	런타임 환경 및 모델 설정	OpenClaw 하네스, Claude Opus 4.6	런타임 주입 (유연)

 

3. 고위험 환경을 위한 결정론적 레이어링 아키텍처

비결정론적 성격의 LLM이 정밀한 도구를 안정적으로 조작하게 하려면, 도구 자체를 '결정론적(Deterministic)'으로 설계해야 합니다.

 

목적 특화 CLI와 데이터 처리의 지혜

LLM에게 원시 API 호출을 맡기면 페이지네이션 오류나 복잡한 필터링 쿼리 구성에서 실패할 확률이 높습니다. Shippy는 전용 CLI(Command Line Interface)를 인터페이스로 사용하여 이를 해결합니다. 특히, Shippy는 결과값을 셸 파이프(Shell Pipe)를 통해 전달하지 않고 로컬 JSON 파일로 디스크에 직접 기록합니다. 이는 대규모 데이터 처리 시 셸 파이프의 버퍼 제한을 초과하거나 jq 등의 도구에서 발생할 수 있는 런타임 오류를 원천 차단하는 시니어 아키텍트의 실무적 통찰이 반영된 설계입니다. 또한 CLI의 --help 기능을 통한 자기 문서화(Self-documenting)는 에이전트가 오류 발생 시 스스로 명령어를 교정할 수 있는 자가 치유 능력을 제공합니다.

 

Mothership: 샌드박스 호스팅 및 데이터 격리

수백 개의 정부 기관이 사용하는 환경에서 보안은 타협할 수 없는 가치입니다. 'Mothership' 플랫폼은 각 사용자 세션을 쿠버네티스 기반의 독립된 샌드박스에 격리합니다. 세션 생성 시 사용자의 JWT(JSON Web Token)를 주입하여 에이전트가 접근할 수 있는 데이터를 엄격히 제한하며, 에이전트가 생성한 모든 파일과 코드는 해당 세션 내에서만 유효하도록 설계되어 멀티테넌트 환경에서의 데이터 유출 위험을 제거합니다.

 

4. 체계적 검증 절차: Harbor 프레임워크와 LLM 판정관

에이전트의 성능 검증은 정적 벤치마크가 아닌, 실제 워크플로우를 관통하는 통합 테스트여야 합니다.

 

평가 루브릭 설계 및 '결정 지원'의 원칙

도메인 전문가(SME)가 작성한 시나리오를 바탕으로 가중치 기반 루브릭을 적용합니다. 예를 들어 '불법 어로 활동 분석' 작업에서는 데이터 정확도에 최고 가중치를 부여합니다. 여기서 중요한 철학적 구분은 Shippy가 '전술적 권고(Tactical Recommendation)'가 아닌 '의사결정 지원(Decision Support)'에 머물러야 한다는 점입니다. 검증 과정에서 에이전트가 인간의 판단 영역을 침범하는 권고를 내릴 경우, 이는 성능 저하(Regression)로 간주되어 수정 대상이 됩니다.

 

자동화된 Harbor 파이프라인

1. 병렬 실행: 오픈소스 프레임워크인 Harbor 플러그인을 통해, 업데이트된 에이전트의 특정 버전(Docker Build)을 실제 라이브 데이터 환경에서 병렬로 테스트합니다.
2. LLM 판정관(Judge): 정답지(Ground Truth)를 기반으로 LLM 판정관이 0~1점 사이의 점수를 부여합니다. 이때 판정관은 반드시 서술형 근거를 제시해야 하며, 이는 개발자가 시스템의 취약점을 빠르게 파악하는 디버깅 자료가 됩니다.
3. 회귀 방지: 새로운 기술이나 모델 업데이트가 기존의 패스 임계값을 통과하지 못하면 배포는 자동으로 차단됩니다.

5. 향후 고도화 방향 및 전략적 제언

Shippy의 성공적인 안착을 넘어, 더 진화된 에이전트 시스템을 구축하기 위해 고려해야 할 세 가지 전략적 축이 있습니다.

• 모델 라우팅(Model Routing) 전략: 복잡한 추론에는 '프론티어 모델(Frontier Model)'을 사용하고, 단순 데이터 조회나 포맷팅에는 '소형 모델(Smaller Model)'을 배치함으로써 비용 효율성과 응답 속도를 최적화해야 합니다.
• 교차 스레드 메모리(Cross-thread Memory): 세션 내 기억을 넘어, 사용자의 관할 구역이나 과거 선호 데이터 소스를 기억하는 장기 메모리를 구축하여 개인화된 분석 경험을 제공해야 합니다.
• 에이전트 주도 UI 제어: 텍스트 답변을 넘어 에이전트가 지도 레이어를 직접 조작하고 필터를 적용하는 등 UI와 유기적으로 상호작용하는 차세대 인터페이스로 진화해야 합니다.

결론

고신뢰성 AI 에이전트 구축은 기술적 구현을 넘어, 사용자에게 '신뢰'라는 비즈니스 가치를 전달하는 과정입니다. 'Soul, Skills, Config'로 명확히 분리된 불변의 아키텍처, 결정론적 CLI 레이어, 그리고 Harbor를 통한 엄격한 검증은 비결정론적인 인공지능을 엔지니어링의 통제 영역 안으로 끌어오는 핵심 장치입니다. 이러한 설계 원칙을 준수할 때 비로소 AI는 단순한 챗봇을 넘어 현장에서 믿고 쓸 수 있는 강력한 파트너가 될 것입니다.