Research Paper / May 2026

Harness Engineering:
AI 에이전트 시대의 새로운 시스템 아키텍처

AI 에이전트 시대의 신뢰성과 생산적 자율성을 실현하기 위한 시스템 설계의 학제적 접근

Author
Dr. Seong-Ho Kim Senior Research Scientist
Date
May 27, 2026
Tags
AHE SYSTEMS AGENTS

1. 정의 (Definition)

하네스 엔지니어링(Harness Engineering)은 AI 에이전트 파운데이션 모델 외부에서 실행 가능한 제어 시스템을 설계, 검증 및 유지 관리하는 데 중점을 둔 학제적 분야입니다. 이는 모델의 '가공되지 않은 지능'을 활용하여 에이전트가 장기적이고 복잡한 작업을 안정적으로 수행할 수 있도록 돕는 구조적 프레임워크를 의미합니다.

The Agent Formalization

$$ \text{Agent} = \text{Model} + \text{Harness} $$

하네스는 스캐폴딩(Scaffolding), 제약 조건(Constraints), 피드백 루프, 관측성(Observability), 도구(Tools), 메모리 및 가드레일과 같은 인프라를 포괄합니다. 이는 단순한 프롬프트 엔지니어링이나 컨텍스트 엔지니어링을 넘어, 에이전트의 행동을 구조화하고 환각(Hallucination) 오류를 최소화하며 인간의 감독을 용이하게 하는 시스템 아키텍처 및 거버넌스를 최우선으로 합니다.

2. 핵심 개념 (Core Concepts)

에이전트의 성능은 모델의 파라미터뿐만 아니라 하네스 설계에 의해 결정적인 영향을 받습니다. 2026년 현재 정립된 주요 개념은 다음과 같습니다.

CAR 프레임워크

Control(제약/가드레일), Agency(도구 활용/자율성), Runtime(실행/검증 환경)의 세 가지 축으로 하네스를 분해하여 설계합니다.

5대 기둥 (Five Pillars)

Filesystem, Code Execution, Sandbox, Memory, Context Management를 통해 시스템의 안정성을 확보합니다.

계층적 관측성

Component, Experience, Decision 레벨의 관측 데이터를 수집하여 하네스의 자동화된 진화를 지원합니다.

Outer vs Inner Harness

내부 프롬프트 구조(Inner)와 외부 워크플로우 오케스트레이션 및 피드백 루프(Outer)를 명확히 구분합니다.

3. 서론 (Introduction)

2025년 Claude Code와 Codex 등의 에이전트가 엔지니어 수준의 코드 작성을 실증한 이후, AI 소프트웨어 개발 패러다임은 급격한 전환을 맞이했습니다. 이제 업계의 합의는 분명합니다. "진정한 기술적 참호(Moat)는 에이전트 모델 자체를 확보하는 것이 아니라, 하네스 설계에 있다."

우리는 이제 인간이 코드 로직을 직접 작성하던 시대에서, 에이전트가 코드를 안전하게 실행하고 오류를 스스로 수정할 수 있도록 하는 시스템(하네스)을 설계하는 시대로 진입했습니다. OpenAI와 Anthropic의 최신 보고서에 따르면, 최적화된 하네스는 동일한 모델 하에서도 성공률을 극적으로 향상시킵니다.

4. 배경 및 동기 (Motivation and Background)

동기 (Motivation)

LLM의 고유한 문제인 환각, 의도 편향(Intent Drift), 그리고 장기 작업에서의 연쇄적 실패를 해결하기 위함입니다. 모델 파라미터 업그레이드만으로는 구조적 추론의 한계를 넘을 수 없으나, 하네스 최적화는 성능을 3배에서 최대 13배까지 향상시킵니다.

배경 (Background)

AI 인터페이스는 Prompt에서 Context로, 다시 Harness로 진화해 왔습니다. 이는 전통적인 소프트웨어 공학의 사고(불변성, 가드레일, 모니터링)를 AI 에이전트에 통합하는 과정입니다. 2025년 말 OpenAI의 하네스 엔지니어링 선언이 그 기폭제가 되었습니다.

5. 도전 과제 (Challenges)

  • 01
    이질적 행동 공간 (Heterogeneous Action Space) API, 샌드박스, 파일 시스템 등 다양한 구성 요소에 대해 단일 최적화 기법을 적용하기 어려운 복잡성.
  • 02
    컨텍스트 부패 및 편향 (Context Rot & Drift) 장기 실행 작업에서 정보가 소실되거나 초기 목표에서 점진적으로 이탈하는 현상.
  • 03
    평가 해킹 (Evaluation Hacks) 에이전트가 근본적인 문제 해결 대신 평가 함수의 허점을 이용해 보상을 극대화하려는 시도.

6. 연구 질문 (Research Questions)

Core Inquiries for 2026-2027:

  • 토큰 예산 최적화: 예산 범위 내에서 기대 보상을 최대화하기 위한 최적의 트리 탐색 전략은 무엇인가?
    $$ \max_{\tau} \mathbb{E}[R(\tau)] \text{ s.t. } C(\tau) \le B $$
  • 관측성 계층화: 인간의 개입 없이 폐쇄 루프 자동 진화를 달성하기 위해 관측 데이터를 어떻게 계층화할 것인가?
  • 범주론적 아키텍처: 범주론(Category Theory)을 사용하여 복잡한 하네스 구성을 정형화할 수 있는가?
  • 메타 하네스 엔지니어링: 하네스 설계 자체를 자동화하고 최적화하는 시스템의 가능성은?

7. 접근 방법 (Approaches / Methods)

2026년 현재 가장 주목받는 연구 방법론은 다음과 같습니다.

관측성 기반 AHE (Agentic Harness Engineering)

실패 기록을 바탕으로 하네스를 스스로 수정하는 기법입니다. 성분, 경험, 결정 관측성을 결합하여 에이전트의 성공 궤적을 강화합니다 (arXiv:2604.25850).

PEV 루프 (Propose-Evaluate-Verify)

에이전트의 제안을 정적 코드 분석 및 구조적 테스트와 같은 아키텍처 불변성을 기반으로 검증하고 평가하는 순환 루프입니다.

범주론적 모델링 (Categorical Architecture)

메모리를 상태 전이 함수 $c: X \to X \times A$ (Coalgebras)로 정의하고, 기술의 조합을 Operads로 모델링하여 시스템의 무결성을 증명합니다.

8. 주요 응용 (Key Applications)

AI 코딩 에이전트

SWE-Bench 성능을 하네스 최적화만으로 임계점 이상 돌파.

과학적 발견

알고리즘 진화 및 서클 패킹 등 수학적 최적화 탐색 효율 증대.

거버넌스 및 안전

기업용 AI 도입을 위한 컴플라이언스 및 보안 제약을 하네스 단에서 강제.

개인용 AI 에이전트

SemaClaw 프레임워크 기반의 로컬 환경 상호작용 표준 하네스.

9. 미해결 난제 (Open Problems)

  • ● 일반화 및 재사용성 부족: 현재 하네스는 특정 도메인에 고착화되어 있어 보편적 재사용이 어려움.
  • ● 하네스 과적합 (Overfitting): 에이전트가 특정 하네스 구조에만 최적화되어 구조 변경 시 성능이 급락하는 현상.
  • ● 정형 검증 (Formal Verification): 동적이고 복잡한 하네스의 런타임 안정성을 수학적으로 증명할 기술의 부재.

10. 미래 방향 (Future Directions)

하네스 엔지니어링은 AI의 "인프라 혁명"을 의미합니다. 단순히 모델을 사용하는 차원을 넘어, 소프트웨어 엔지니어들은 이제 '지능형 환경의 설계자(Architects of Intelligent Environments)'로 거듭나게 될 것입니다.

앞으로 우리는 자연어 또는 범주론적 표현을 기반으로 하는 상호 운용 가능한 하네스 표준(arXiv:2605.13357)의 탄생과, 인간과 AI가 동일한 하네스 상에서 실시간으로 상태를 공유하며 협업하는 '공생형 지능 시스템'을 목격하게 될 것입니다.

References

1. 정의 2. 핵심 개념 3. 서론 4. 배경 5. 도전 과제 6. 연구 질문 7. 접근 방법 8. 응용 9. 난제 10. 미래