Agent는 모델 하나가 아니다.
Weight와 Harness가 함께 학습하는 시스템이다

논문에서 harness \(h\)는 system instructions, tool schemas, context management, parser와 execution logic, termination policy를 포함하는 executable program이다. model parameter \(\theta\)와 harness \(h\)는 함께 trajectory distribution \(\pi_{\theta,h}(\tau\mid x)\)를 만든다. trajectory에는 model message, tool call과 result, environment transition이 모두 포함된다.

목표는 \((\theta^\star,h^\star)\)를 함께 찾아 expected reward를 최대화하는 것이다. 기존 prompt-weight co-optimization은 context-side variable을 주로 text prompt로 제한했다. WHALE은 검색공간을 tool interface, observation formatting, orchestration, memory/middleware, parser, control flow가 포함된 full executable harness로 넓힌다.

두 component는 update cadence가 다르다. online fine-tuning은 rollout collection과 gradient update를 빠르게 교차하지만, harness search는 여러 rollout으로 candidate를 평가하는 proposal–evaluation–selection cycle이 길다. 둘을 동시에 움직이면 한 update를 평가하는 동안 counterpart도 변해 credit assignment가 흔들리거나, 서로 다른 cadence를 맞추기 위한 synchronization barrier가 생긴다.

WHALE은 alternating optimization을 선택한다. 한 phase 동안 상대 component를 고정해 “누가 개선을 만들었는가”를 분리하고, 다음 phase에서 그 개선을 새로운 조건으로 전달한다.

Weight-update phase는 현재 harness를 고정하고 model의 own rollout 가운데 verifier가 accept한 trajectory만 supervised training에 사용한다. rollout step마다 frozen copy \(\theta_{old}\)가 prompt당 \(G\)개의 trajectory를 만들고, \(R(x,\tau)=1\)인 sample만 \(S_s^+\)에 들어간다. user prompt와 tool result token은 loss에서 제외하고 model-generated token만 token-normalized log-likelihood로 학습한다.

Harness phase는 model을 고정하고 executable harness source code를 search한다. Meta-Harness는 archive \(A_j\)와 각 harness의 aggregate score, per-example outcomes, saved trajectories로 구성된 artifact \(E_j\)를 유지한다. proposer는 archive와 source file을 filesystem tool로 살펴보고 iteration마다 \(M\)개의 candidate harness를 작성한다.

실험에서는 harness candidate-example pair마다 trajectory 1개를 평가한다. archive 전체에서 최고점 harness를 accepted state로 유지하므로 proposer는 이전 candidate로 되돌아가거나 과거 artifact를 재해석할 수 있다.

고정 budget \((E,I)\) 대신 phase별 training signal에 patience rule을 적용할 수도 있다. weight phase는 최근 window의 verifier reward가 minimum phase length 이후 새 best를 만들지 못하면 종료한다. harness phase는 archive의 best training score가 minimum iteration 이후 정해진 patience 동안 개선되지 않으면 종료한다. validation set은 switching rule에 사용하지 않는다.

실험 parameter는 weight side에서 \(W=T_{min}=P_w=0.2\) epoch, harness side에서 \((J_{min},P_h)=(6,2)\)다. 개선 margin은 얼마든 새 best로 간주한다.

SearchQA에서 harness-only는 weight-only의 peak accuracy를 사실상 맞추면서 5.79%의 rollout만 사용한다. format compliance는 weight-only 97.07%, harness-only 99.98%까지 올라간다. retrieval accuracy는 base 26.88%에서 harness-only 60.61%로 크게 증가하고, WHALE은 65.41%에 도달한다.

왜 가능한가. query text는 model이 쓰지만 query post-processing, 몇 개 document를 돌려줄지, ranking과 observation packaging은 harness가 통제한다. 이 영역에서는 model parameter를 바꾸는 것보다 harness가 더 직접적인 lever다.

반대로 answer extraction은 weight-only 79.93%, harness-only 57.28%로 model side가 더 강하다. WHALE에서도 초기 harness phase는 extraction을 높이지만 cycle 3 이후 harness search가 오히려 extraction을 억제하는 구간이 나타난다. 한 domain 안에서도 capability별 bottleneck이 다르다는 뜻이다.

Math에서 harness-only peak는 0.42%인 반면 weight-only는 15.42%다. 핵심 failure mode는 response truncation이다. weight-only는 truncation rate를 95.83% → 30.83%로 줄이며 correct on-policy trajectories에서 더 짧고 종료 가능한 reasoning behavior를 학습한다.

harness-only는 response cap, turn limit, final-answer recovery를 바꿔보지만 base model behavior를 넘지 못한다. 그러나 작은 weight update 뒤에는 상황이 바뀐다. WHALE cycle 1 harness phase는 단 4,608 rollouts로 format accuracy를 0.83% → 4.38%(+3.54pp) 올린다. 같은 종류의 harness-only run은 46,080 rollouts를 써서 0.00% → 0.63%(+0.63pp)에 그친다.

저자들은 둘 다 개선 가능한 capability에서는 harness search가 더 rollout-efficient한 경향을 관찰한다. 따라서 큰 model training 전에 짧은 harness search를 diagnostic으로 실행해 harness bottleneck인지 확인할 수 있다. 반대로 harness가 거의 움직이지 않는다면 작은 weight update가 다음 harness search를 활성화할 수 있다.

일반적인 stagewise 방식은 먼저 weight-only budget을 전부 쓰고, 그 뒤 harness-only budget을 한 번 전부 쓴다. SearchQA에서 stagewise는 \((E^*,I^*)=(2.7,32)\), 43.02%; Math에서는 \((4.3,33)\), 15.63%다. main WHALE \((0.6,6)\)보다 각각 5.32pp, 9.16pp 낮다.

더 중요한 것은 cost다. WHALE은 stagewise final accuracy를 SearchQA에서는 stagewise rollout의 29%, Math에서는 49%만 사용한 시점에 이미 넘어선다. 저자들의 해석은 conditional over-optimization이다. \(J(\theta,h)\)가 separable하지 않기 때문에 한 component를 오랫동안 고정 counterpart에 맞춰 최적화하면, 다음 phase에서 counterpart가 바뀌는 순간 그 적합성이 무너진다.

best fixed schedule은 두 극단 사이의 (0.2,6)이다. 작은 weight step을 쓰되 harness search는 reliable candidate를 구분할 만큼 길게, 그러나 over-optimize하기 전 멈춘다.

Adaptive WHALE은 SearchQA에서 52.82%로 전체 비교 최고점에 도달한다. main (0.6,6)보다 +4.48pp, best hand-tuned fixed schedule보다 +2.73pp 높고, main run이 자기 best point에 도달하는 데 필요한 rollout보다 23% 적다. Math는 26.46%로 main보다 +1.67pp 높고 rollout은 4% 적지만, best hand-tuned 28.33%보다 1.87pp 낮다.

실제로 선택된 median phase length는 SearchQA/Math에서 weight 0.24 / 0.29 epochs, harness search는 둘 다 I=7이다. training signal이 계속 오르면 개별 phase는 최대 1.16 epoch, I=13까지 늘어난다. 고정 budget을 없애도 patience rule이 강한 schedule region을 스스로 찾아간다.

모든 training acceptance, harness scoring, test evaluation에는 domain별 동일한 binary verifier \(R(x,\tau)\in\{0,1\}\)를 사용하며 model과 harness가 변해도 verifier와 reference answer는 고정된다.

SearchQA judge rubric은 alias/abbreviation, punctuation, contained date/place, unit variation 등을 허용하지만 multiple candidates, contradictory entity, passage dumping, no commitment는 INCORRECT로 처리한다.

이 관점에서 “모델이 못한다”와 “harness가 못하게 만든다”는 서로 다른 diagnosis이며, training budget을 어디에 쓸지 결정하기 전에 bottleneck regime부터 식별해야 한다.

저자들이 직접 제시하는 다음 단계는 두 operator를 다른 weight-update 및 harness-search algorithm으로 교체하는 것, 더 큰 model과 더 다양한 domain으로 확장하는 것이다. WHALE은 black-box interface를 사용하기 때문에 RSFT와 Meta-Harness가 필수 구성요소는 아니다.

WHALE은 Agentic AI의 optimization unit을 model에서 system pair \((\theta,h)\)로 확장한다. weight는 harness가 만드는 경험을 학습하고, harness는 갱신된 weight가 실제로 잘 사용할 수 있는 실행환경을 다시 찾는다. 둘 사이의 반복적 co-adaptation이 단일축 최적화보다 강하다.