HarnessX: 자동화된 에이전트 하네스

1. 정의

하네스(Harness)는 AI 에이전트가 환경과 상호작용할 때 모델의 관찰, 추론, 행동을 매개하는 프롬프트, 도구(Tools), 메모리, 제어 흐름(Control flow)의 집합체다.

2. 문제 정의

기존의 에이전트 하네스는 새로운 모델이나 태스크가 등장할 때마다 인간 엔지니어가 수작업으로 코드를 수정해야 하는 정적(Static)이고 파편화된 구조를 띠고 있었다. 이는 '스캐폴딩 상한'과 '훈련 신호 상한'의 분절 상태를 유발한다.

현재 AI 에이전트 개발은 모델의 파라미터 증대만으로는 극복할 수 없는 구조적 병목 현상에 직면해 있다. 에이전트의 실질적 성능은 모델의 지능뿐만 아니라, 모델이 외부를 관찰하고 추론하며 행동하도록 매개하는 런타임 하네스(Runtime Harness)—프롬프트, 도구, 메모리, 제어 흐름의 유기적 결합체—에 결정적으로 의존한다. 하네스를 하드코딩된 부수적 도구로 취급하는 기존의 접근법은 심각한 '아키텍처적 부채(Architectural Debt)'를 야기하며, 모델이나 태스크가 변경될 때마다 발생하는 맞춤형 스캐폴딩(Bespoke Scaffolding) 비용은 인적 리소스의 선형적 증가를 강요하는 핵심적인 확장성 저해 요소다.

기존 하네스 설계의 3가지 핵심 결함은 다음과 같다:
1. 수동성 및 정적 구조: 실행 중 발생하는 방대한 트레이스(Trace) 데이터를 시스템 개선에 환류시키지 못하는 정적 설계 체계.
2. 아키텍처적 얽힘(Entanglement): 구성 요소 간의 강한 결합으로 인해 국소적 수정이 시스템 전체의 비결정적 파손을 유도하는 취약성.
3. 모델 학습과의 분리: 하네스 최적화 데이터가 모델 파라미터 개선으로 이어지지 않는 단절된 루프.

3. 핵심 개념

4. 서론

AI 산업계에서는 2025년을 거치며 "모델은 원자재(Commodity)가 되고 하네스는 해자(Moat)가 된다"는 인식이 확산되었다. 2026년 발표된 Darwin Agent Team의 "HarnessX" 논문은 이러한 시대적 요구를 반영한다.

5. 연구 동기

인간의 개입 없이도 모델이 새로운 실패 사례를 직면했을 때 자신의 워크플로우를 스스로 수정하고, 그 변경 사항이 이전의 성공적인 수행 능력을 훼손하지 않도록 보장하는 시스템이 필요했다.

6. 도전 과제

• 보상 해킹: 평가기의 포맷 정규성을 악용하여 점수만 올리는 꼼수.
• 파국적 망각: 특정 태스크 오류 해결 시 기존 성능이 붕괴되는 현상.
• 탐색 부족: 사소한 수정에만 집착하여 국소 최적해에 머무름.

7. 연구 질문

시스템 아키텍처 수준에서 심볼릭 RL 병리 현상을 어떻게 방어할 수 있는가? 하네스 진화와 모델의 파라미터 기반 RL을 동시에 수행하여 한계를 돌파할 수 있는가?

8. 연구 방법론

AEGIS 파이프라인(Digester, Planner, Evolver, Critic)을 구축하여 실행 궤적을 메타 학습하고 하네스를 재구조화한다.

하네스의 적응은 단순한 텍스트 수정을 넘어, RL(강화 학습)의 상징적 공간(Symbolic Space)에서의 학습 문제로 정의된다. AEGIS 엔진은 '운영 미러(Operational Mirror)' 아키텍처를 통해 하네스 진화 과정에서 발생할 수 있는 RL 병목을 체계적으로 방어한다.

운영 미러 및 방어 아키텍처(Defense Architecture)
상징 공간에서의 진화는 모델이 구조적 취약점을 익스플로잇할 수 있다는 점에서 전통적 RL보다 위험하다. - 보상 해킹(Reward Hacking): LLM이 프롬프트 내에 벤치마크 정답을 임베딩하는 등 구조적 편법을 생성하는 리스크.
- 치명적 망각(Catastrophic Forgetting): 특정 태스크 최적화가 기존에 해결된 태스크의 성능을 퇴보시키는 현상.
- 탐색 부족(Under-exploration): 저위험의 로컬 프롬프트 수정에만 안주하여 구조적 혁신을 저해하는 현상.

AEGIS 4단계 파이프라인 프로세스
1. Digester: 방대한 원시 트레이스(약 1,000만 토큰 분량)를 1만 토큰 내외의 구조화된 요약본으로 압축하여 진단 증거를 추출한다.
2. Planner: 현재의 실패 지형(Landscape)을 분석하여 증거 기반의 가설을 설정하고, 단순 수정을 넘어선 구조적 변경(도구 추가, 메모리 정책 재설계 등)을 기획한다.
3. Evolver: 유형화된 빌더 편집을 통해 후보 하네스를 생성하며, 즉각적인 예외 발생 여부를 확인하는 스모크 테스트를 수행한다.
4. Critic: 결정론적 게이트를 통해 가설을 검증합니다. 특히 '세사 제약(Seesaw constraint)'을 엄격히 적용하여, 새로운 수정안이 기존에 통과했던 태스크를 퇴보시키지 않는 경우에만 배포를 승인한다.

하네스-모델 공동 진화(Co-evolution): 폐쇄 루프 최적화 전략 하네스만의 독립적 진화는 모델의 내재적 능력인 '스캐폴딩 천장(Scaffolding Ceiling)'에 가로막힙니다. 반대로 고정된 하네스에서의 모델 학습은 새로운 도구와 맥락을 활용하지 못하는 '학습 신호 천장(Training-Signal Ceiling)'에 부딪힌다. HarnessX는 이 두 천장을 동시에 돌파하기 위해 폐쇄 루프 공동 진화 전략을 실행한다.

Cross-harness GRPO 메커니즘
여러 하네스 버전에서 수집된 트레이스를 태스크 식별자(Task Identity) 기준으로 그룹화하여 학습 신호로 전환하는 GRPO(Group Relative Policy Optimization)를 적용한다. 모델은 서로 다른 하네스 전략 간의 상대적 우위를 학습함으로써 최적의 행동 양식을 내재화(Internalize)한다.

전략적 및 비즈니스적 가치
- 제로 롤아웃 비용(Zero Rollout Cost): 하네스 진화 과정에서 생성된 모든 트레이스를 공유 리플레이 버퍼(Shared Replay Buffer)에 저장하여 오프 폴리시(Off-policy) 학습에 재활용하므로, 추가적인 데이터 수집 비용 없이 모델 성능을 향상시킨다.
- 상호 보완적 최적화: 하네스는 거시적 실행 인프라를 최적화하고, 모델은 그 안에서 미시적 추론 능력을 고도화하는 시너지를 창출한다.

9. 응용 분야

ALFWorld, GAIA, WebShop, SWE-bench 등 주요 벤치마크에서 평균 +14.5%의 성능 향상을 기록하였다.

10. 미해결 과제

임계치 이하의 미세한 부정적 상호작용 누적, 평가 데이터 과적합, 그리고 블랙박스 API 모델 사용에 따른 구조적 장벽이 존재한다.

11. 향후 발전 방향

연속적인 행동 공간으로의 확장과 인간 시연 데이터를 활용한 하이브리드 진화 접근법이 필수적이다.