이 논문은 최신 CLI 코딩 에이전트를 자율 연구 조수로 전환하는 오픈소스 프레임워크를 제시한다. 샌드박스 컨테이너 안에서 동작하며, 십계명이라 부르는 방법론적 규칙과 구조화된 리포트 관례를 통해 프론티어 LLM이 실험을 스스로 설계·실행·기록·검증하도록 한다. 최장 자율 세션은 사람 개입 없이 20시간 이상 지속되었다.
효과적인 에이전트 연구는 처음부터 새로 만든 특수 시스템을 요구하지 않는다. 기존 범용 CLI 코딩 에이전트(Claude Code, Codex CLI, OpenCode, Gemini CLI)를 지속적 지시 파일 · 샌드박스 · 서면 리포트 · TODO 체크리스트 · 소수의 방법론 규칙이라는 점검 가능한 워크플로에 얹으면 된다. 연구자는 시작 시 세 가지를 제공한다.
문제 정의, 가설, 목표, 평가 기준을 명시한다. 방향은 고정되지 않고 반복 과정에서 재구성된다.
소프트웨어 스택과 패키지, 데이터셋, 컴퓨트 자원, 커스텀 스크립트를 함께 넣는다. uv 기반 재현 환경을 권장한다.
기존 코드베이스, LaTeX 유도 노트, 참고문헌, 예비 결과를 제공한다. 상세할수록 결과가 좋아진다.
세션은 다음 순서로 진행된다. 에이전트가 범위·제약·지표에 관해 명확화 질문을 던지고,
프로젝트별 지시를 INSTRUCTIONS.md에 기록하며,
report.tex와
TODO.md를 초기화한 뒤 승인을 받아 자율 실행에 들어간다.
별도 실험 추적 시스템 대신 Git 커밋 메시지 자체를 실험 기록으로 쓴다.
AI가 연구 과정에 얼마나 깊이 통합되는지를 다섯 단계로 나눈다. 단계는 상호 배타적이지 않으며, 한 프로젝트 안에서도 작업마다 다른 단계를 쓸 수 있다. 자율 시스템조차 하위 작업은 덜 자율적인 구성 요소에 위임한다. 핵심은 어떤 작업에 어떤 단계가 적절한지 판별하는 것이다.
LaTeX, Mathematica, MATLAB, Python/Julia 같은 전통 도구만 쓴다. AI 통합은 없다. 여전히 지배적이고 완전히 타당한 방식이다.
사람 역할 · 전부LLM 챗봇에 개념 설명, 문헌 검색, 브레인스토밍, 증명 디버깅을 질의한다. 지적 핵심 작업은 사람에게 남는다. 세션 간 상태가 유지되지 않는 한계가 있다.
사람 역할 · 질문하고 평가한다에디터 플러그인(Copilot, Cursor)으로 코드·텍스트를 생성한다. 모든 출력을 사람이 검토·수정·거부한다. AI는 실행하거나 반복하지 않는다.
사람 역할 · 사고·검토·결정한다CLI 코딩 에이전트가 구현과 실행을 위임받는다. 파일을 읽고 편집하며 결과에 따라 반복한다. 그러나 매 작업마다 사람의 지시를 기다린다. 방향은 사람이 정한다.
사람 역할 · 매 출력 검토, 다음 작업 지정에이전트가 상세 계획을 세우고 실험 루프를 자율 실행한다. 아이디어 형식화, 구현, 평가, 기록, 분석, 리포트·TODO 갱신을 스스로 반복한다. Level 3과의 결정적 차이는 실험 사이에 사람 입력을 기다리지 않는다는 점이다. 탐색 공간이 클 때 가장 적합하다.
사람 역할 · 방향을 잡고 감사한다각 계명은 세 원칙을 따른다. 명시성(암묵적 기대는 반드시 위반된다), 반증 가능성("엄밀하라"가 아니라 "실험당 변수 하나만 바꿔라"), 실패 주도(모든 계명은 실제 관찰된 실패 모드에서 나왔다). 카드를 누르면 그 규칙이 해결하려 한 실패 사례가 펼쳐진다.
"X를 하겠다"고 말했으면 한다. 적게 약속하고 많이 이행한다.
지표·테스트셋·고정 하이퍼파라미터·문제 정의를 바꾸지 않는다. 결과를 하드코딩하거나 시드를 체리피킹하지 않는다.
모든 참고문헌은 추가 전 실제 출처와 대조해 검증한다. 웹 검색으로 제목·저자·연도·게재처를 확인한다. 못 찾으면 추측하지 않는다.
사람 입력이 필요 없는 모든 작업을 끝낸다. 결과를 모아 한 번에 보고한다. "구현이 오래 걸린다"는 이유로 건너뛰지 않는다.
실험 크래시는 나쁜 아이디어가 아니라 버그다. 구현 실패를 이유로 방법을 버리지 않는다. 조사하고 고쳐 재실행한다.
실험마다 정확히 한 가지만 바꾼다. 두 가지를 바꿔 지표가 좋아지면 무엇이 도왔는지 알 수 없다.
Tier 1(초): 크래시 없이 도는가. Tier 2(분): 소규모 부분집합에서 신호가 있는가. Tier 3: 리포트에 들어갈 실제 지표. 소규모 결과로 결론 내리지 않는다.
휴리스틱 구현 전에 실현 불가능하더라도 이론적 최선을 먼저 파악한다. "교정"하려면 얼마나 교정 가능한지 측정한다.
모든 실험은 리포트에 서브섹션을 갖는다. 실패도 포함한다. 리포트에 없으면 일어나지 않은 것이다. 서술 대신 시각화하고 TODO.md를 살아있는 체크리스트로 유지한다.
검증되기 전까지 틀렸다고 가정한다. 설명이 아니라 검증 스크립트를 쓴다. 자기 주장을 적극적으로 반증하려 시도한다. 주장을 검증됨·부분 검증·미검증으로 등급 매긴다.
열 가지 계명은 보편적이다. 그 위에 연구 스타일에 맞춘 도메인별 규칙을 더한다. 계산 집약 연구와 수학 연구는 실패 양상이 다르므로 서로 다른 규율이 필요하다.
nvidia-smi를 매 배치 전 확인하고 독립 실험을 각 GPU에 배정한다.tail로 모니터링하고, 이상 신호가 있을 때만 상세히 조사한다.remote-run으로 완전 독립 실험만 원격 노드에 던진다.Gjj로 쓴다. 모든 표기를 첫 사용 전 정의하고 차원·범위·스칼라/벡터/행렬을 명시한다.본문은 옵티마이저 탐색(A)과 Frank–Wolfe 하한(D)을 다루고, 부록이 나머지 넷을 더한다. 각 사례는 도메인·에이전트 행동·결과·교훈으로 구성되며, 에이전트가 생산한 리포트가 그대로 재현된다.
AdamW는 파라미터당 버퍼 2개(2N 메모리)를 쓰고, Muon은 모멘텀을 Newton–Schulz 직교화해 N 메모리만 쓴다. 질문: 남는 N 메모리 예산으로 Muon을 더 좋게 만들 수 있는가?
과제는 결함 있는 프루닝 마스크 방법을 고치는 것이었다. 그러나 에이전트는 실패 원인을 분석하다 다른, 더 효과적인 기법을 발견했다(세렌디피티).
GPTQ는 가중치 행렬을 열 단위로 처리하며 열 순서가 최종 품질에 영향을 준다. 더 나은 정렬이 존재하는가, 그 효과는 아키텍처에 어떻게 의존하는가?
차수 p>2의 균등 볼록 집합(ℓp-볼)에서 상한 O(1/T^(p/(p-1)))은 알려졌으나 대응하는 하한은 없었다. 에이전트는 기존 기법을 적응해 대응 하한을 증명하도록 요청받았다.
Boscia 솔버의 단일 변수 쌍대 강화를 부분집합으로 확장할 수 있는가? 변수 집합의 결합 그래디언트 기여가 예산을 넘으면 충돌 제약이 동시 이탈을 막는다.
고정된 망 위상에서 전력 흐름 방정식의 실해 개수는 파라미터에 따라 몇 개까지 가능한가? 기존 연구는 분포만 특성화했을 뿐 극단 인스턴스를 표적하지 않았다.
이 접근은 전문가 감독이나 최종 검증의 필요를 없애지 않는다. 다만 감독이 과정 끝에만 있지 않고 워크플로 안에 내장된다. 사례 연구와 리포트는 완성된 출판 논문이 아니라 의미 있는 연구 진전의 기록이다.
자연어 증명은 여전히 수동 검토가 필요하다. 코드는 상대적으로 쉬우나 미묘한 구현 오류가 결론을 무효화할 수 있다. 인용도 신중히 검증해야 한다.
긴 세션은 컨텍스트 창을 초과해 압축을 유발한다. 압축은 본질적으로 손실적이라 에이전트가 세부를 잊거나 실패한 접근을 재방문한다. 자율 압축은 긍정적 효과가 없었다.
프론티어 모델의 장시간 세션은 비자명한 API 비용을 낸다. 다만 Level 4에서는 대부분의 벽시계 시간이 토큰 생성이 아니라 실험 대기에 쓰이므로 비용이 상대적으로 작은 경우가 많다.
물리·화학·경제·사회과학으로 확장 가능하다. 도메인별 도구·평가 프로토콜·안전 점검이 필요하지만 반복 실험·산물 관리·사람 검증이라는 일반 패러다임은 잘 전이될 수 있다.
긴 세션에서 정보를 저장·검색·갱신하는 방식을 개선해 연속성 유지, 실패 재방문 회피, 사전 관찰의 효과적 활용을 돕는다.
단일 사용자·단일 에이전트 설정을 다중 사용자·다중 에이전트로 확장한다. 조율·통신·출처 추적·충돌 해소의 새 과제가 따른다.
"모델 능력도 중요하지만, 워크플로 설계가 그만큼 중요하다. 출력을 점검하고 중간 단계를 되짚을 수 있을 때에만 이 시스템은 유용하다."
전체 워크플로 — 보편 계명 · 컨테이너 정의 · 다중 노드 디스패처 · 리포팅 헬퍼 — 는 공개 배포된다. 신규 프로젝트 적용은 저장소를 클론하고 자료를 넣은 뒤 샌드박스에서 CLI 에이전트를 실행하면 된다.
github.com/ZIB-IOL/The-Agentic-Researcher