The Agentic Researcher· ICML 2026
수학 · 기계학습 연구를 위한 AI 실무 가이드

연구자를 대체하지 않고
증강하는 자율 연구 에이전트

이 논문은 최신 CLI 코딩 에이전트를 자율 연구 조수로 전환하는 오픈소스 프레임워크를 제시한다. 샌드박스 컨테이너 안에서 동작하며, 십계명이라 부르는 방법론적 규칙과 구조화된 리포트 관례를 통해 프론티어 LLM이 실험을 스스로 설계·실행·기록·검증하도록 한다. 최장 자율 세션은 사람 개입 없이 20시간 이상 지속되었다.

Max Zimmer Nico Pelleriti Christophe Roux Sebastian Pokutta · Zuse Institute Berlin / TU Berlin
experiment_loop.run — 8단계 자율 실험 루프
20h+
사람 개입 없는
최장 자율 세션
10
도메인 무관하게 적용되는
핵심 계명
6
딥러닝 · 수학
사례 연구
<1min
신규 시스템
설치 시간
01 프레임워크 개요

전용 시스템은 필요 없다. 규율 있는 워크플로가 필요하다

효과적인 에이전트 연구는 처음부터 새로 만든 특수 시스템을 요구하지 않는다. 기존 범용 CLI 코딩 에이전트(Claude Code, Codex CLI, OpenCode, Gemini CLI)를 지속적 지시 파일 · 샌드박스 · 서면 리포트 · TODO 체크리스트 · 소수의 방법론 규칙이라는 점검 가능한 워크플로에 얹으면 된다. 연구자는 시작 시 세 가지를 제공한다.

INPUT · 01

연구 질문

문제 정의, 가설, 목표, 평가 기준을 명시한다. 방향은 고정되지 않고 반복 과정에서 재구성된다.

INPUT · 02

도구 · 방법 · 데이터

소프트웨어 스택과 패키지, 데이터셋, 컴퓨트 자원, 커스텀 스크립트를 함께 넣는다. uv 기반 재현 환경을 권장한다.

INPUT · 03

선행 연구 · 도메인 지식

기존 코드베이스, LaTeX 유도 노트, 참고문헌, 예비 결과를 제공한다. 상세할수록 결과가 좋아진다.

세션은 다음 순서로 진행된다. 에이전트가 범위·제약·지표에 관해 명확화 질문을 던지고, 프로젝트별 지시를 INSTRUCTIONS.md에 기록하며, report.texTODO.md를 초기화한 뒤 승인을 받아 자율 실행에 들어간다. 별도 실험 추적 시스템 대신 Git 커밋 메시지 자체를 실험 기록으로 쓴다.

report.tex — 실험 서브섹션 규격
# 모든 실험은 아래 필드를 반드시 포함한다 (계명 IX)

\paragraph{Goal} 무슨 문제를 푸는가
\paragraph{Hypothesis} 왜 이 접근이 통할 것인가
\paragraph{Method} 정확한 표기의 수학적 정식화
\paragraph{Implementation} 변경된 파일과 줄
\paragraph{Results} 방법·모델·지표·델타 표
\paragraph{Analysis} 왜 됐는가 또는 왜 안 됐는가
\paragraph{Next Steps} 다음에 시도할 것

# Git 커밋이 곧 실험 로그다
$ git commit -m "exp(E017): pre-NS 정규화 + wd=0.05 -- ppl=33.35"
→ 세션 시작·컨텍스트 리셋 시 report.tex · TODO.md · git log 재독해로 연속성 복원
02 AI 통합의 5단계 분류

도구에서 연구 동료까지

AI가 연구 과정에 얼마나 깊이 통합되는지를 다섯 단계로 나눈다. 단계는 상호 배타적이지 않으며, 한 프로젝트 안에서도 작업마다 다른 단계를 쓸 수 있다. 자율 시스템조차 하위 작업은 덜 자율적인 구성 요소에 위임한다. 핵심은 어떤 작업에 어떤 단계가 적절한지 판별하는 것이다.

LEVEL 0

고전 (Classical)

LaTeX, Mathematica, MATLAB, Python/Julia 같은 전통 도구만 쓴다. AI 통합은 없다. 여전히 지배적이고 완전히 타당한 방식이다.

사람 역할 · 전부
LEVEL 1

상담자 (Consultant)

LLM 챗봇에 개념 설명, 문헌 검색, 브레인스토밍, 증명 디버깅을 질의한다. 지적 핵심 작업은 사람에게 남는다. 세션 간 상태가 유지되지 않는 한계가 있다.

사람 역할 · 질문하고 평가한다
LEVEL 2

타이피스트 (Typist)

에디터 플러그인(Copilot, Cursor)으로 코드·텍스트를 생성한다. 모든 출력을 사람이 검토·수정·거부한다. AI는 실행하거나 반복하지 않는다.

사람 역할 · 사고·검토·결정한다
LEVEL 3

협력자 (Collaborator)

CLI 코딩 에이전트가 구현과 실행을 위임받는다. 파일을 읽고 편집하며 결과에 따라 반복한다. 그러나 매 작업마다 사람의 지시를 기다린다. 방향은 사람이 정한다.

사람 역할 · 매 출력 검토, 다음 작업 지정
LEVEL 4 · 이 프레임워크

연구 동료 (Research Associate)

에이전트가 상세 계획을 세우고 실험 루프를 자율 실행한다. 아이디어 형식화, 구현, 평가, 기록, 분석, 리포트·TODO 갱신을 스스로 반복한다. Level 3과의 결정적 차이는 실험 사이에 사람 입력을 기다리지 않는다는 점이다. 탐색 공간이 클 때 가장 적합하다.

사람 역할 · 방향을 잡고 감사한다
03 십계명 · 카드를 눌러 실패 사례 확인

관찰된 실패로부터 증류한 열 가지 규칙

각 계명은 세 원칙을 따른다. 명시성(암묵적 기대는 반드시 위반된다), 반증 가능성("엄밀하라"가 아니라 "실험당 변수 하나만 바꿔라"), 실패 주도(모든 계명은 실제 관찰된 실패 모드에서 나왔다). 카드를 누르면 그 규칙이 해결하려 한 실패 사례가 펼쳐진다.

무결성과 신뢰
+I

약속을 깨지 마라

"X를 하겠다"고 말했으면 한다. 적게 약속하고 많이 이행한다.

실패 모드에이전트가 "이제 전체 평가를 돌리겠다"고 선언한 뒤 단계를 건너뛰거나 다른 작업으로 넘어갔다.
+II

평가를 조작하지 마라

지표·테스트셋·고정 하이퍼파라미터·문제 정의를 바꾸지 않는다. 결과를 하드코딩하거나 시드를 체리피킹하지 않는다.

실패 모드"평가 속도를 높이려" 샘플 수를 바꿨는데, 우연히 더 좋은 지표가 나와 베이스라인 대비 부당한 이점이 생겼다.
+III

인용을 날조하지 마라

모든 참고문헌은 추가 전 실제 출처와 대조해 검증한다. 웹 검색으로 제목·저자·연도·게재처를 확인한다. 못 찾으면 추측하지 않는다.

실패 모드그럴듯하지만 틀린 서지 정보를 환각으로 만들어냈다. LLM의 잘 알려진 한계다.
자율성과 효율
+IV

보고 전에 자율 작업을 완수하라

사람 입력이 필요 없는 모든 작업을 끝낸다. 결과를 모아 한 번에 보고한다. "구현이 오래 걸린다"는 이유로 건너뛰지 않는다.

실패 모드계획에 실험이 많이 남았는데도 계속 "계속할까요?"라고 물었다. 에이전트는 자기 코딩 속도를 크게 과소평가한다. 실제 구현은 대개 1분 미만이다.
+V

넘어가기 전에 일단 작동시켜라

실험 크래시는 나쁜 아이디어가 아니라 버그다. 구현 실패를 이유로 방법을 버리지 않는다. 조사하고 고쳐 재실행한다.

실패 모드OOM 오류에 "확장성이 없다"고 결론지었다. 조사해 보니 불필요한 행렬 물질화가 원인이었고, 이를 고치자 베이스라인 대비 큰 개선을 얻었다.
과학적 엄밀성
+VI

실험당 변수 하나

실험마다 정확히 한 가지만 바꾼다. 두 가지를 바꿔 지표가 좋아지면 무엇이 도왔는지 알 수 없다.

실패 모드한 실험이 성공하면 성공한 변경과 새 아이디어를 동시에 결합하려 했고, 그 결과 원인 규명이 불가능해졌다.
+VII

계층적으로 평가하라

Tier 1(초): 크래시 없이 도는가. Tier 2(분): 소규모 부분집합에서 신호가 있는가. Tier 3: 리포트에 들어갈 실제 지표. 소규모 결과로 결론 내리지 않는다.

실패 모드사소한 코드 변경마다 값비싼 전체 평가를 돌리거나, 장난감 인스턴스의 소규모 실패로 아이디어를 폐기했다.
+VIII

기대치를 경계 지어라

휴리스틱 구현 전에 실현 불가능하더라도 이론적 최선을 먼저 파악한다. "교정"하려면 얼마나 교정 가능한지 측정한다.

실패 모드작은 개선을 관찰하고 이론적 최대치와의 근접도를 평가하지 않은 채 성공으로 보고했다.
문서화와 재현성
+IX

모든 것을 기록하라

모든 실험은 리포트에 서브섹션을 갖는다. 실패도 포함한다. 리포트에 없으면 일어나지 않은 것이다. 서술 대신 시각화하고 TODO.md를 살아있는 체크리스트로 유지한다.

실패 모드결과를 컨텍스트 창에만 담아뒀다. 컨텍스트가 압축·초기화되는 순간 정보가 소실됐다.
+X

주장 전에 검증하라

검증되기 전까지 틀렸다고 가정한다. 설명이 아니라 검증 스크립트를 쓴다. 자기 주장을 적극적으로 반증하려 시도한다. 주장을 검증됨·부분 검증·미검증으로 등급 매긴다.

실패 모드유도 중 2배 인수 누락 같은 오류가 있었지만 결과가 그럴듯했다. 소규모 무차별 계산 대조 스크립트가 즉시 이를 잡아 잘못된 전제 위 논증을 막았다.
04 도메인별 부가 계명

보편 규칙 위에 얹는 도메인 규율

열 가지 계명은 보편적이다. 그 위에 연구 스타일에 맞춘 도메인별 규칙을 더한다. 계산 집약 연구와 수학 연구는 실패 양상이 다르므로 서로 다른 규율이 필요하다.

GPU

계산 집약 연구

  • C1 · GPU당 실험 하나, 전부 사용. nvidia-smi를 매 배치 전 확인하고 독립 실험을 각 GPU에 배정한다.
  • C2 · 컨텍스트 위생. 긴 출력은 로그 파일로 보내 tail로 모니터링하고, 이상 신호가 있을 때만 상세히 조사한다.
  • C3 · 메모리 관리. OOM 시 "확장 불가"로 결론짓지 말고 캐시 비우기·그래디언트 체크포인팅·순차 처리로 체계적으로 줄인다.
  • C4 · 노드 먼저 탐색, 독립 실험 분배. Slurm 다중 노드에서 remote-run으로 완전 독립 실험만 원격 노드에 던진다.

수학 연구

  • M1 · 코드보다 유도 먼저. 구현 전 단계별 유도를 쓰고 논문 수식과 교차 참조하며 선행 연구로 재발견을 점검한다.
  • M2 · 정확한 표기. 대각 원소는 Gjj로 쓴다. 모든 표기를 첫 사용 전 정의하고 차원·범위·스칼라/벡터/행렬을 명시한다.
  • M3 · 반례 우선 추론. 증명 시도 전 입력을 무작위화하고 경계 사례를 검사하며 작은 인스턴스를 전수 열거해 반례를 먼저 찾는다.
  • 반례가 살아남지 못하면, 그 탐색이 오히려 증명을 가능케 하는 구조적 성질을 드러낸다.
05 여섯 개 사례 연구

딥러닝 셋 · 수학 셋

본문은 옵티마이저 탐색(A)과 Frank–Wolfe 하한(D)을 다루고, 부록이 나머지 넷을 더한다. 각 사례는 도메인·에이전트 행동·결과·교훈으로 구성되며, 에이전트가 생산한 리포트가 그대로 재현된다.

CASE ADEEP LEARNING · LLM 사전학습

Muon 옵티마이저의 체계적 탐색

AdamW는 파라미터당 버퍼 2개(2N 메모리)를 쓰고, Muon은 모멘텀을 Newton–Schulz 직교화해 N 메모리만 쓴다. 질문: 남는 N 메모리 예산으로 Muon을 더 좋게 만들 수 있는가?

발견 직교화 대상 벡터가 잘 조건화될수록 Muon이 빠르게 수렴한다. 최선 구성은 (i) 직교화 전 정규화와 (ii) Muon 행렬 파라미터 가중치 감쇠를 결합한다. 두 개선은 거의 가법적이다(≈3% + ≈2% ≈ 5%). 추가 버퍼가 필요 없는 무오버헤드 변형도 전체 방법에 근접했다.
Muon 대비 ≈5% PPL 감소 AdamW 대비 ≈8% 실험 40+건 기록 GPU당 1실험 · 20h+ 무개입
준수 계명 · VI 실험당 변수 하나 · V 일단 작동 · C1 GPU당 실험 · III 인용 검증(동시 연구 NorMuon·AdaMuon·Muon+ 발견·구현)
CASE BDEEP LEARNING · LLM 프루닝

가중치 재구성 — 우연한 발견의 사례

과제는 결함 있는 프루닝 마스크 방법을 고치는 것이었다. 그러나 에이전트는 실패 원인을 분석하다 다른, 더 효과적인 기법을 발견했다(세렌디피티).

발견 프루닝이 행별 활성화 출력을 심하게 불균형하게 만든다는 것을 관찰하고, 행·열 활성화 균형을 복원하는 단순 사후 보정을 제안했다. 최소제곱 재구성 오라클(계명 VIII)로 이론적 한계를 먼저 계산했다.
PPL 18–50% 감소 5개 규모(125M–9B) · 3 아키텍처 코드 10줄 · 오버헤드 <1% 오라클 최적의 92% 포착
준수 계명 · VIII 오라클 경계 · VII 계층 평가 · V 실패 분석
CASE CDEEP LEARNING · LLM 양자화

GPTQ 열 정렬 — "언제·왜"가 답이었다

GPTQ는 가중치 행렬을 열 단위로 처리하며 열 순서가 최종 품질에 영향을 준다. 더 나은 정렬이 존재하는가, 그 효과는 아키텍처에 어떻게 의존하는가?

발견 열 정렬은 GPTQ의 단일 최대 개선이지만 그 크기는 전적으로 아키텍처 의존적이다. 같은 4비트에서 Llama-3.1-8B는 74% 감소, Gemma-2-9B는 0.1%에 불과했다 — 두 자릿수 넘는 차이. 다중 아키텍처 검증 없이는 놓쳤을 발견이다.
아키텍처 간 2자릿수↑ 편차 실험 24건 중 9건 음성 기록 그룹 양자화 버그 437→9.22
준수 계명 · X 벤치 전 검증 스크립트 · VII 교차 아키텍처 검증 · IX 음성 결과 기록 · V 버그 규명
CASE DMATHEMATICS · 볼록 최적화

균등 볼록 집합 위 Frank–Wolfe의 타이트 하한

차수 p>2의 균등 볼록 집합(ℓp-볼)에서 상한 O(1/T^(p/(p-1)))은 알려졌으나 대응하는 하한은 없었다. 에이전트는 기존 기법을 적응해 대응 하한을 증명하도록 요청받았다.

발견 고차원 정보이론 구성의 일반화는 실패했고 이를 음성 결과로 기록한 뒤(계명 IX) 최악 반복 접근으로 선회했다. 반복이 부호를 교번하며 저차원 곡선에 정착함을 관찰했고, 상수를 먼저 수치 추정한 뒤 닫힌 형태로 유도해 p≥3에서 Ω(1/T^(p/(p-1))) 하한을 확립, 미해결 문제를 해결했다.
p≥3 미해결 문제 해결 BigFloat 검증 30+ 상수 수치 일치 오차 <0.2% p∈(2,3) 구간 미해결
준수 계명 · IX 음성 결과 기록 · X 수치 검증 · M1 코드보다 유도 먼저
CASE EMATHEMATICS · 조합 최적화

혼합 정수 최적화의 다변수 쌍대 강화

Boscia 솔버의 단일 변수 쌍대 강화를 부분집합으로 확장할 수 있는가? 변수 집합의 결합 그래디언트 기여가 예산을 넘으면 충돌 제약이 동시 이탈을 막는다.

발견 볼록성 부등식으로 다변수 쌍대 강화 정리를 정식화·증명하고 충돌 그래프를 Boscia에 콜백으로 통합했다. 기호 검증 2,387건과 소규모 전수 열거 487건이 초기 유도의 부등호 반전 오류를 실험 단계 전에 잡았다.
33 인스턴스 · 6 문제군 분할 제약서 노드 18.9% 감소 기호 검증 2,387 + 수치 487 전 인스턴스 동일 최적값 보장
준수 계명 · X 검증 우선 · IX 음성 결과 기록
CASE FMATHEMATICS · 대수기하 · 전력망

K7 전력망의 최대 실해 탐색

고정된 망 위상에서 전력 흐름 방정식의 실해 개수는 파라미터에 따라 몇 개까지 가능한가? 기존 연구는 분포만 특성화했을 뿐 극단 인스턴스를 표적하지 않았다.

발견 에이전트가 기존 파이프라인을 비자명한 재구성 끝에 재현한 뒤 표본추출을 극단 탐색으로 전환했다. 언덕 오르기·모의 담금질·웜스타트를 결합해 192 실해를 갖는 파라미터를 발견, 무작위 표본(최대 120)을 크게 상회하는 계산적 하한을 세웠다.

무작위 표본 최대 120 표적 탐색 192해 발견 표본 1.4M 벡터 K7 최대 실해 미해결
준수 계명 · X 검증 가능한 중간 산물 · VII 단계적 평가
06 한계와 향후 방향

사람은 여전히 책임 있는 검증자다

이 접근은 전문가 감독이나 최종 검증의 필요를 없애지 않는다. 다만 감독이 과정 끝에만 있지 않고 워크플로 안에 내장된다. 사례 연구와 리포트는 완성된 출판 논문이 아니라 의미 있는 연구 진전의 기록이다.

한계
  • 검증

    자연어 증명은 여전히 수동 검토가 필요하다. 코드는 상대적으로 쉬우나 미묘한 구현 오류가 결론을 무효화할 수 있다. 인용도 신중히 검증해야 한다.

  • 컨텍스트

    긴 세션은 컨텍스트 창을 초과해 압축을 유발한다. 압축은 본질적으로 손실적이라 에이전트가 세부를 잊거나 실패한 접근을 재방문한다. 자율 압축은 긍정적 효과가 없었다.

  • 비용

    프론티어 모델의 장시간 세션은 비자명한 API 비용을 낸다. 다만 Level 4에서는 대부분의 벽시계 시간이 토큰 생성이 아니라 실험 대기에 쓰이므로 비용이 상대적으로 작은 경우가 많다.

향후 방향
  • 타 도메인 확장

    물리·화학·경제·사회과학으로 확장 가능하다. 도메인별 도구·평가 프로토콜·안전 점검이 필요하지만 반복 실험·산물 관리·사람 검증이라는 일반 패러다임은 잘 전이될 수 있다.

  • 더 견고한 메모리

    긴 세션에서 정보를 저장·검색·갱신하는 방식을 개선해 연속성 유지, 실패 재방문 회피, 사전 관찰의 효과적 활용을 돕는다.

  • 다중 사용자 협업

    단일 사용자·단일 에이전트 설정을 다중 사용자·다중 에이전트로 확장한다. 조율·통신·출처 추적·충돌 해소의 새 과제가 따른다.

"모델 능력도 중요하지만, 워크플로 설계가 그만큼 중요하다. 출력을 점검하고 중간 단계를 되짚을 수 있을 때에만 이 시스템은 유용하다."

전체 워크플로 — 보편 계명 · 컨테이너 정의 · 다중 노드 디스패처 · 리포팅 헬퍼 — 는 공개 배포된다. 신규 프로젝트 적용은 저장소를 클론하고 자료를 넣은 뒤 샌드박스에서 CLI 에이전트를 실행하면 된다.

github.com/ZIB-IOL/The-Agentic-Researcher