재현하는 AI에서, 검증 가능한 새 과학을 만드는 AI로

Source fact2026년 9월 17일 공개된 ScientistTwo: Pioneering the Human Knowledge Frontier with Autonomous AI는 인간 연구자가 문제만 제시하면 기존 SOTA 탐색, 한계 분석, 가설 생성, 코드 구현, 다중 데이터셋 실험, ablation, 논문 작성, peer-review와 rebuttal까지 반복하도록 설계됐다.

중요한 구조는 단순 benchmark optimization이 아니다. subset에서 후보를 빠르게 선별하고 full benchmark로 확대하며, ablation으로 실제 기여를 확인하고, Reviewer Agent의 비판이 들어오면 Rebuttal Agent가 추가 실험을 직접 발생시키는 Active Peer Review를 사용한다.

Analysispeer review가 사후 평가가 아니라 다음 실험을 발생시키는 control signal이 되면서 연구루프는 “작성–심사”가 아니라 “비판–구별 실험–수정”으로 바뀐다.

Caution이 결과를 곧바로 “AI가 인간 과학자를 넘어섰다”는 증거로 해석해서는 안 된다. 현재 논문은 preprint이고 인간 논문보다 높은 review score라는 핵심 평가는 자동 AI reviewer를 이용한다. 독립 인간 전문가에 의한 novelty·validity 평가와 외부 재현이 남아 있다.

ScientistTwo 논문

Source fact2026년 9월 16일 공개된 ScienceIDE: Turning World's Scientific Codebase into Agent Learnable Environments는 simulation code, numerical solver, domain-specific software를 단순 tool이 아니라 agent-learnable environment로 변환한다. 저자들은 이를 scientific experience bottleneck을 푸는 방향으로 설명한다.

핵심은 정답 코드를 문자열로 비교하지 않는다는 점이다. 각 environment는 물리량, numerical tolerance, conservation law, distribution, integral norm 등 scientifically meaningful observable을 사용해 결과의 과학적 동등성을 판단한다.

즉 task를 만든 뒤 grading rule을 붙이는 것이 아니라, scientific validity condition을 먼저 정의한 뒤 그 위에서 task를 생성한다. 이것은 이전에 제안된 Scientific Contract가 실제 시스템 인프라로 구체화되는 모습이다.

ScienceIDE-Hard가 보여주는 현재 한계

18개 environment의 85개 어려운 scientific software task를 동일한 one-hour budget에서 15개 model–harness 조합으로 평가했다. 최고 관측 strict success rate는 67.1%, 그 다음 두 시스템은 64.6%, 63.1%였다. 저자들은 상위 시스템 사이의 통계적 순위는 확정할 수 없다고 명시했다.

ScienceIDE 논문

Source fact2026년 9월 15일 공개된 ScienceBuddy: Recursive-in-Recursive Self-Improvement for Interactive Scientific Agents는 연구자의 실제 사용과 feedback을 학습 신호로 사용해 agent harness와 foundation model을 동시에 발전시키는 두 개의 loop를 제안한다.

ScienceBuddy는 연구자의 request, feedback, execution evidence를 task와 evaluation rubric으로 변환해 continual learning에 사용하며 네 종류의 scientific task family에 걸친 사례를 제시한다.

Analysis이 구조에서 학습해야 하는 것은 domain knowledge만이 아니다. 실패한 tool selection, 잘못된 experimental protocol, 유효한 debugging strategy, 적절한 statistical test, reviewer에게 반복적으로 지적받은 문제까지 procedure·strategy·harness 수준의 경험이 된다.

Cautioncontinual self-improvement가 강해질수록 잘못된 경험도 recursive하게 증폭될 수 있다. provenance, negative-result memory, verifier independence가 동시에 필요하다.

ScienceBuddy 논문

Source fact9월 9일 처음 공개된 ADMET-EvO는 drug discovery의 ADMET 예측에서 단순히 최고 성능 모델을 찾는 것이 아니라, falsifiable hypothesis를 만들고 data·feature·model 축에 intervention을 가한 뒤 결과에 따라 연구전략을 수정한다.

이 연구가 중요한 이유는 이전까지 개념적으로 논의했던 Evidence → Belief Revision → Next Experiment가 실제 domain-specific scientific agent의 memory와 planning에 들어가기 시작했다는 점이다.

ADMET-EvO 논문

Benchmark evolution

기존 benchmark 진화는 QA → Coding → Reproduction → Workflow Completion → Open Discovery → Process Audit으로 정리할 수 있었다. ScienceIDE와 ScientistTwo를 반영하면 여기에 두 단계가 추가된다.

Scientific Experience Benchmark는 agent가 scientific code environment 안에서 행동하고 검증 가능한 feedback으로 배울 수 있는가를 본다. Frontier Advancement Benchmark는 기존 human SOTA를 재현하는 데 그치지 않고 실제로 개선할 수 있는가를 본다.

Analysis이 질문이 External Verification Oracle의 핵심이다. 내부 critic이나 같은 LLM family의 reviewer가 아니라 독립 실행환경, 통계검정, 외부 데이터, 다른 모델, 가능하면 인간 전문가를 결합해야 한다.

ScientistTwo처럼 성능 주장이 커질수록 verification gap은 줄어드는 것이 아니라 오히려 더 커질 수 있다. novelty, leakage, baseline fairness, causal ablation, reviewer independence, external reproducibility를 별도의 검증축으로 분리해야 한다.

향후 연구가치가 높은 6개 세부주제

업데이트된 목표형상

기존의 Specification-Driven + Process-Aware + Falsifiable + Epistemically Accountable AI Scientist에 Experience-Learning과 Frontier-Pushing을 추가한다.

Analysis핵심 변화는 연구 결과를 memory에 쌓는 데서 끝나지 않고, 검증된 연구경험이 다음 세대 agent의 harness와 model 자체를 바꾼다는 점이다.