하네스 엔지니어링 - 메타 하네스: 모델 하네스의 E2E 최적화

https://arxiv.org/abs/2603.28052

프로젝트 페이지 (인터랙티브 데모 포함) : https://yoonholee.com/meta-harness/
최적화된 하네스 : https://github.com/stanford-iris-lab/meta-harness-tbench2-artifact

2026.3.30
[Meta-Harness: End-to-End Optimization of Model Harnesses]

Meta-Harness는 대규모 언어 모델(LLM)의 성능을 극대화하기 위해 모델을 감싸고 있는 소프트웨어 계층인 하네스(harness)를 자동으로 설계하고 최적화하는 시스템입니다. 기존에는 전문가가 수동으로 프롬프트나 데이터 검색 로직을 코딩해왔으나, 이 기술은 에이전트 기반의 제안자가 파일 시스템에 기록된 과거의 모든 실행 기록과 소스 코드를 직접 분석하여 성능을 개선합니다. 특히 단순히 결과 점수만 보는 것이 아니라 가공되지 않은 실행 추적 데이터(raw execution traces)에 접근함으로써, 복잡한 추론 과정에서 발생하는 실패 원인을 정확히 파악하고 수정할 수 있다는 점이 핵심입니다. 연구 결과에 따르면 이 방식은 인간이 설계한 기존 방식보다 뛰어난 성능을 보였으며, 텍스트 분류, 수학적 추론, 코딩 에이전트 등 다양한 분야에서 더 적은 자원으로도 정확도를 대폭 향상시키는 효율성을 증명했습니다. 결과적으로 Meta-Harness는 LLM 시스템 구축의 패러다임을 수동 엔지니어링에서 데이터 중심의 자동화된 코드 탐색으로 전환하려는 목적을 가집니다.