스스로 나아지는 AI는 무엇을 바꿔야 하는가

더 빠르게 돌리는 것과 더 잘 배우게 하는 것은 다르다

논문은 coding agent가 자동화할 수 있는 개선을 세 층으로 나눈다.

Adam, layer normalization, DPO, GRPO는 한 번 발견되면 수많은 이후 학습에 재사용된다. 논문의 주장은 여기에서 출발한다. RSI가 장기적으로 복리처럼 누적되려면, 단발성 실행 최적화보다 학습 알고리즘의 개선이 중요하다.

코드를 고쳤다고 알고리즘을 발명한 것은 아니다

기존 benchmark는 대개 최종 artifact의 품질을 본다. Kaggle 계열에서는 feature engineering과 ensemble이 큰 레버가 되고, PostTrainBench와 RSIBench-Data는 data-centric decision을 크게 열어둔다. MLS-Bench는 ML system component를 개선하게 하지만 execution-level change와 learning-algorithm change를 하나의 점수에 섞는다. autoresearch는 architecture와 optimizer까지 열지만 짧은 single-script setting에서는 agent edit가 hyperparameter search와 비슷하게 움직인다는 후속 비교가 있다.

따라서 AI4AI-Bench가 가르는 선은 diff의 크기가 아니다. 한 줄짜리 수정이 update rule을 바꿀 수도 있고 천 줄짜리 refactor가 학습규칙은 그대로 둘 수도 있다. 핵심은 이 변경이 “이번 run이 어떻게 진행되는가”를 바꿨는가, 아니면 “모델이 어떻게 배우는가”를 바꿨는가다.

제출물은 모델이 아니라 수정된 source code다

각 task는 \((C,a_0,q,m,d)\)로 표현된다. \(C\)는 frozen repository source, \(a_0\)는 starting model, \(q\)는 개발 중 자유롭게 볼 수 있는 cheap proxy, \(m\)은 최종 metric, \(d\in\{\uparrow,\downarrow\}\)는 metric의 방향이다.

에이전트는 B300 GPU 한 장에서 네 시간 동안 repository를 읽고, 수정하고, proxy를 반복 측정한다. 끝나면 \(C'\), 즉 수정된 source만 남긴다. weights, cached state, exploration rollout은 formal replay로 넘어가지 않는다.

개발은 자유롭고, 평가는 되돌릴 수 없다

이 설계가 보장하는 것은 final metric에 대한 접근 차단이다. 모든 task에서 proxy sample과 final sample이 완전히 disjoint하다는 보장은 아니다. 일부 task는 비용 때문에 같은 corpus의 subset을 proxy로 쓴다. 논문은 이 차이를 명확히 밝힌다.

비교대상은 인간 전문가가 아니라 “이미 있던 코드”다

baseline은 repository의 committed algorithm을 동일한 hardware, 동일한 budget, 동일 evaluator, 동일 evaluation asset에서 그대로 실행한 결과다. submission과 baseline의 차이는 source code뿐이다. 따라서 win은 “더 많은 GPU를 썼기 때문”이 아니라 code change에 귀속될 수 있다.

“이겼다/졌다” 한 비트보다 중요한 것

binary win rate는 benchmark training signal로도, 연구분석으로도 너무 거칠다. 그래서 각 task에 quality가 증가할수록 커지는 progress coordinate \(\phi\)와 세 reference point를 둔다. \(x_\perp\)는 uninformative model, \(x_b\)는 shipped baseline, \(x^*\)는 metric의 attainable optimum이다.

따라서 \(\sigma=0.1\)이면 repository가 원래 제공한 algorithm과 같고, 그 아래는 baseline보다 나쁘며, 그 위는 optimum까지 남은 거리를 얼마나 닫았는지 나타낸다. model을 전혀 반환하지 못하면 0이다.

rate나 NLL처럼 linear utility로 볼 수 있는 metric은 \(\phi\)를 identity로 두지만 perplexity는 \(-\log x\)를 사용한다. 논문은 OWL 예시로 이 차이를 설명한다. perplexity 53.4에서 16.2로 내려가는 것을 raw distance로 보면 optimum까지 71%를 닫은 것처럼 보이지만, cross-entropy 좌표에서는 약 30%다.

모델 하나가 아니라 model × harness × effort를 평가한다

저자들은 “모델은 그것을 실행하는 framework와 분리될 수 없다”고 보고, model + harness + reasoning effort의 조합을 하나의 system configuration으로 정의한다. 실험에는 여섯 system이 들어간다.

총 29 configurations가 10 tasks를 각각 시도해 290 cells를 만든다. 따라서 결과는 “foundation model 순위”라기보다 agent system configuration의 성능으로 읽어야 한다.

0.166이라는 숫자는 무엇을 뜻하는가

0.1은 “이미 있던 algorithm”, 1.0은 task optimum이다. 그러므로 best system 0.250은 baseline 이후 남아 있던 거리의 약 1/6 정도를 평균적으로 닫은 수준이다. 저자들은 이를 “even the strongest closes under a fifth of the distance”라고 요약한다.

돈을 더 쓴다고 곧바로 더 좋은 알고리즘이 나오지는 않는다

같은 harness 안에서도 exploration cost는 대략 9배 차이가 난다. Sol의 median configuration은 약 $434, Luna는 $48 수준이지만 system ordering은 이 spend ordering과 일치하지 않는다. Opus 5는 median 약 $181로 연구 전체를 이끈다.

Figure 3은 task마다 output-token spend와 mapped score의 관계를 그린다. 저자들은 input token이 harness context replay 때문에 시스템마다 비교하기 어렵기 때문에 output token을 effort proxy로 쓴다. 결론은 단순하다. 더 많은 token과 cost는 exploration의 양을 늘리지만, task별 성능은 monotonic하지 않다.

학습규칙을 건드린 제출이 평균적으로 훨씬 높다

gap은 0.100이고 standard error는 0.022다. multi-turn agentic RL task를 제외해도 0.182 대 0.128로 차이가 남는다.

더 많은 reasoning은 실력보다 먼저 “용기”를 산다

논문의 인상적인 표현은 “reasoning effort buys nerve”다. effort level이 낮은 곳에서 높은 곳으로 갈수록 learning side를 건드린 submission 비율은 8%에서 64%로 증가한다. low effort는 budget, logging, optimization knob를 건드리지만 high effort는 objective를 바꾸고, supervision을 추가하고, learning rule을 교체한다.

전체 evaluation의 exploration API call 비용은 $5,334로 보고된다. formal 12-hour GPU run과 evaluator compute는 이 금액에 포함되지 않는다.

score도 오른다. lowest effort의 mean 0.094가 highest에서 0.196이 되고, harness를 Codex로 고정하면 0.094에서 0.204까지 단계적으로 증가한다. 하지만 0.196은 여전히 baseline 0.1에서 optimum 1.0까지 남은 거리의 약 10%를 더 간 수준이다.

연구 에이전트의 실패는 아이디어뿐 아니라 artifact에서도 난다

0점을 받은 19 cells 중 8개는 네 시간이 끝났을 때 usable patch가 없었고, 11개는 patch를 제출했지만 formal run 뒤 contract를 만족하는 model을 남기지 못했다. 흔한 실패는 loadable merged model을 disk에 쓰지 못한 경우다. 19개 모두 process 자체는 정상 종료했다. 즉 실패는 host crash가 아니라 제출물의 실패다.

이 19개는 low effort에 집중되어 있다. 두 lowest levels에 12개가 몰리고, 두 highest levels에는 각각 1개뿐이다. 연구자동화에서는 좋은 아이디어와 재현 가능한 artifact production이 별개의 능력이라는 사실을 보여준다.

실험도구가 algorithmic insight보다 먼저 나온다

세 사례의 공통점은 저자들이 분명히 짚는다. 행동 전에 measurable instrument를 만들었다. task ceiling을 알려주는 solver, 500배 가까이 빠른 evaluation rig, activation overwrite의 위치를 밝히는 diagnosis가 먼저였다. 263개 classified submissions에서 이런 행동은 예외에 가깝다.

AI4AI-Bench는 어디에 놓이는가

논문은 self-improving AI 관련 연구를 systems, data, automated ML research로 나눠 비교한다.

AI4AI-Bench의 차별점은 agent를 evaluation에서 제거하고, submitted source만 fresh-start로 replay하며, diff를 분류해 gain의 출처가 어디였는지 확인한다는 데 있다.

RAGEN instruction은 에이전트에게 “과학적으로 계속 탐색하라”고 요구한다

논문은 RAGEN task의 instruction.md 전체를 Appendix B에 싣는다. 약 70%의 문구가 모든 task에서 공유된다. 이 contract는 단순한 coding instruction보다 연구 프로토콜에 가깝다.

이 contract는 benchmark가 어떤 “research agent”를 원하는지 잘 보여준다. coding speed보다 hypothesis management, evidence preservation, negative-result handling, reproducibility, uncertainty awareness를 요구한다.

현재의 에이전트는 “competent default를 회복하는 단계”에 가깝다

저자들의 결론은 낙관도 비관도 아니다. 29 configurations의 평균 0.166과 best system 0.250은 agentic algorithm design이 이미 전혀 불가능하다는 뜻은 아니다. 실제로 learning-side intervention은 더 높은 점수와 연결되고, 일부 submission은 pruning을 retraining pipeline으로 바꾸거나 RL을 imitation learning으로 대체해 큰 개선을 만들었다.

그러나 전체적으로는 절반 이상이 learning algorithm을 건드리지 않고, reasoning을 크게 늘려도 최고 effort의 mean은 0.196에 머문다. 논문은 이를 “today's agents recover a competent default rather than design past one”이라고 요약한다. 이미 잘 설계된 연구 repository를 넘어서는 algorithmic invention은 아직 일관되지 않다.

이 benchmark가 말하지 않는 것

• 인간 연구자 대비 성능을 측정하지 않는다. baseline은 human expert가 별도로 최적화한 결과가 아니라 repository의 shipped code다.
• model capability만 분리해 측정하지 않는다. model, harness, reasoning effort가 한 system을 이룬다.
• learning-side intervention의 인과효과를 증명하지 않는다. stronger systems가 원래 그 층까지 더 자주 내려갈 수 있다.
• proxy와 final sample의 완전한 disjointness를 모든 task에서 보장하지 않는다. 보장되는 것은 final metric을 exploration 중 직접 실행할 수 없다는 점이다.
• 10 tasks가 모든 algorithmic research를 대표한다는 증거는 아니다. 다만 10 distinct families와 repository-level code를 통해 단일 toy search space보다 훨씬 넓은 testing surface를 만든다.

다음 세대 AI 연구 에이전트의 병목은 “코드 생성”보다 “기전 진단”일 수 있다

AI4AI-Bench의 가장 흥미로운 결과는 모델 순위가 아니다. 강한 submission이 보여준 행동패턴이다. 먼저 measurement rig를 만들고, training dynamics를 읽고, 실패 mechanism을 이름 붙이고, 그 mechanism을 바꾸는 intervention을 설계한다. 이것은 일반 coding agent의 전형적인 “에러 메시지 → patch” 루프보다 한 단계 더 깊다.

이 loop가 안정적으로 작동하려면 agent architecture에도 변화가 필요할 수 있다. 단기 memory만으로 수많은 experiments를 훑는 것보다, hypothesis, evidence, failed attempt, uncertainty, artifact validity를 구조화해 유지하는 research state가 중요해진다. 이 부분은 논문이 직접 benchmark한 결과는 아니지만, 공개된 task contract와 세 성공사례가 강하게 시사하는 설계방향이다.