과학을 자동화하기 전에, 먼저 무엇이 성공인지 정의해야 한다

모호한 연구 요청을 먼저 실행 가능한 scientific rubric으로 바꾼다

2026년 8월 31일 제출된 Learning to Evaluate Before Improving: Automatic Rubric Induction for Automatic Research Agents의 AutoSciRub은 일반적인 “연구 후 평가” 순서를 뒤집는다. 연구 요청을 원자적 scientific goal로 분해하고, 문헌과 주어진 데이터에 근거해 task-specific executable rubric을 먼저 만든다. 이후 planning, experiment, analysis, report generation을 그 rubric에 맞춰 진행하고 충족되지 않은 criterion만 골라 다시 수정한다.

“해야 할 일 목록”보다 “무엇이 증명되어야 하는가”가 중요하다

원문은 Scientific Specification, Scientific Contract, Executable Rubric이 독립적인 연구분야가 될 가능성을 제시한다. 이것은 prompt engineering보다 강한 개념이다. 연구를 완료했다고 주장하기 전에 어떤 evidence가 필요하고 무엇이 반례이며 어떤 조건에서 주장이 무효가 되는지를 기계적으로 표현해야 한다.

이 확장은 기존의 “Falsifiable and Epistemically Accountable AI Scientist”와 직접 연결된다. 평가 기준이 연구 종료 후 score가 아니라 연구 전체를 통제하는 epistemic contract가 되는 것이다.

Planning 앞에 specification layer가 추가된다

또 하나의 agent가 아니라 controllable and auditable workspace

2026년 8월 31일 공개된 Dr. Claw: An AI Scientist Workspace for Vibe Research는 자신을 autonomous agent가 아니라 기존 coding-agent executor를 감싸는 controllable and auditable human-in-the-loop research workspace로 정의한다. persistent state object, reusable skill library, multi-executor coordination을 이용해 planning–execution–writing을 하나의 복구 가능한 trace로 연결한다.

첨부 문서는 Dr. Claw가 같은 backend executor를 사용한 bare command-line agent와 비교해 research completeness를 높이면서 audit trail을 보존했다고 정리하며, EMNLP 2026 System Demonstrations 채택 사실을 함께 제시한다.

Research OS가 가져야 할 열 개의 핵심 구성요소

원문은 이 계층을 Scientific Agent Harness Engineering 또는 Research Operating System이라는 독립 연구영역으로 볼 것을 제안한다.

같은 foundation model을 쓰더라도 과학의 신뢰성은 달라질 수 있다

앞으로 더 중요한 질문은 “어떤 foundation model이 가장 강한가?”만이 아니다. 같은 foundation model을 사용하면서 어떤 harness가 더 신뢰할 수 있는 과학을 수행하게 만드는가가 연구문제가 된다.

benchmark question도 세 개의 실행 gate를 통과해야 한다

2026년 9월 2일 공개된 ToolGate: An Executable Acceptance Pipeline for Tool-Dependent Scientific Benchmark Construction은 LLM이 생성한 scientific task를 곧바로 benchmark에 넣지 않는다. candidate task가 다음 세 gate를 통과해야 한다.

이 흐름은 benchmark 제작 자체를 verification-by-execution 문제로 바꾼다. 원문은 Executable Scientific Benchmarks, Tool-Dependent Science Evaluation, Benchmark Provenance, Contamination-Resistant Evaluation, Falsification-Based Benchmarks를 향후 유력 세부 분야로 제시한다.

부분 점수와 scientific completion은 같은 것이 아니다

FrontierChallenge: Evaluating Scientific Workflow Completion은 양자화학, molecular dynamics, materials characterization, analytical chemistry, life science, electrochemistry/environment 등을 포함하는 300개 end-to-end scientific workflow를 설계하고 97개를 공개해 12개 frontier model과 세 agent scaffold를 평가했다.

critic보다 마지막에 “정말 끝났는가”를 감사하는 계층이 필요하다

원문은 Scientific Completion Verification을 별도 연구분야로 제시하고, 시스템 종료 전에 Completion Auditor가 다음 조건을 확인해야 한다고 본다.

• 필요한 모든 실험이 수행되었는가.
• 코드가 실제 실행되는가.
• 보고된 수치가 raw result와 일치하는가.
• 통계적 검증이 수행되었는가.
• figure가 실제 결과에서 생성되었는가.
• 결론이 evidence 범위를 넘지 않는가.
• 실패한 실험이 숨겨지지 않았는가.
• 재현에 필요한 artifact가 모두 존재하는가.

같은 잘못된 prior를 공유하면 debate가 오류를 증폭할 수 있다

2026년 9월 3일 공개된 Remember and Reweight는 Autonomous AI Scientist 전용 연구는 아니지만 multi-agent scientific reasoning에 중요한 문제를 제기한다. 여러 agent가 처음부터 같은 잘못된 생각을 공유하면 debate가 오류를 수정하기보다 shared misconception을 증폭할 수 있다는 것이다.

이를 위해 연구는 과거 debate의 experience memory를 검색하고 agent별 reliability를 추정해 peer influence를 가중하는 R²-MAD를 제안한다.

minority hypothesis를 삭제하지 않는 것이 과학적으로 중요하다

과학에서는 minority hypothesis가 이후 맞는 것으로 밝혀질 수 있다. 따라서 단순 majority voting은 위험하다. 원문은 다음 연구영역의 가능성을 제시한다.

공개 코드보다 검증 가능한 연구 lineage가 더 부족하다

2026년 survey Autonomous Research Agents: A Survey of AI Scientists and the Verification Gap은 runnable system 가운데 코드 공개 83%, seed 또는 execution trace 공개 38%, novelty verification 방법 보고 38%였다고 정리한다. 조사 기준에서 externally validated in-loop oracle을 갖춘 LLM-era system은 확인되지 않았다고 보고한다.

AutoSciRub, Dr. Claw, ToolGate, FrontierChallenge는 서로 다른 위치에서 이 verification gap을 좁힌다. AutoSciRub은 “무엇을 만족해야 하는가”, Dr. Claw는 “무엇을 실제로 했는가”, ToolGate는 “task가 실행·검증 가능한가”, FrontierChallenge는 “정말 끝났는가”를 묻는다.

reasoning 중 미래 data access를 예측해 미리 staging한다

AgentStage: Exploiting LLM Thinking for Data Staging in Scientific Agents는 agent가 reasoning하는 동안 다음에 사용할 파일을 추론하고, storage가 놀고 있는 시간에 데이터를 빠른 local storage로 prefetch하고 decompress한다.

DB/HPC/Storage가 agent architecture의 일부가 된다

원문은 Scientific Agent Data Systems라는 연구영역이 독립적으로 형성될 가능성을 제시한다. 특히 SIGMOD, VLDB, ICDE와 Autonomous AI Scientist를 연결하는 접점으로 다음 주제를 든다.

Autonomous AI Scientist를 여섯 하위 분야로 재구성한다

지금 신규 연구주제로 만들기 좋은 다섯 방향

Specification + Autonomy + Verification + Epistemic Accountability

이전의 핵심 진화 방향은 Autonomy, Falsifiability, Causality, Uncertainty, Provenance, Belief Revision으로 정리되었다. 최신 흐름을 반영하면 가장 앞에 Specification을 추가하고 Verification을 명시적으로 강화할 필요가 있다.

미래 AI Scientist는 먼저 “무엇을 하면 과학적으로 성공한 것인지”를 정의하고, 그 조건을 충족시키기 위해 연구를 수행하며, 마지막에는 실제로 조건을 충족했다는 evidence를 제시해야 한다.

Define success → preserve state → execute → verify → challenge → revise

Specification-Driven, Falsifiable and Epistemically Accountable Autonomous AI Scientists

원문이 최종적으로 가장 강하게 추천하는 장기 연구축이다. Scientific Contract, Falsifiability, HRKG/Evidence Graph, Agentic RAG, Multi-Agent Debate, Belief Revision, Provenance, Completion Verification, Scientific Agent Data Systems를 하나의 큰 연구프로그램 아래 연결할 수 있다.

이번 업데이트를 일곱 문장으로 압축하면