가설을 만드는 AI에서
실험과 증거에 묶인
연구동료로

소프트웨어만으로 연구하면 사실성이 약하고, 로봇실험실만으로 연구하면 범용성이 약하다

최근 연구 agent는 literature review, ideation, coding, manuscript writing을 하나의 pipeline으로 묶어 왔다. 그러나 automated reviewer score 같은 surrogate objective를 최적화하는 구조는 실제 실험 사실이 없는 상태에서도 그럴듯한 positive result를 만들어낼 유인을 갖는다. 논문은 reward hacking, fabricated findings, hallucinated methodologies, unattributed citations를 이 계열의 구조적 위험으로 지적한다.

반대로 self-driving laboratory는 robotic hardware와 multimodal sensing을 통해 물리적으로 grounded되어 있지만, 화학 합성·단백질 공학·lipid discovery·nanobody design처럼 좁고 잘 정의된 experimental surface에 최적화되어 있다. 저자들이 찾는 중간 지점은 여러 과학 도메인에 걸쳐 discovery를 orchestration하면서도 각 단계가 empirical verification에 묶이는 범용 연구 framework이다.

문헌에 grounded된 가설을 pairwise tournament로 진화시킨다

Co-Scientist는 high-level directive를 받아 Generation, Ethics Review, Reflection, Ranking, Evolution의 다섯 agent로 hypothesis population을 만든다. 각 가설은 독립적 literature review로 grounding되고, novelty·plausibility·testability에 대한 review를 받는다. 초기 sampling temperature는 \\(\tau=1.6\\)이며 불필요한 복잡성을 줄이기 위해 simplicity를 명시적으로 prompt한다.

가설을 단순 점수순으로 고정하지 않고 TrueSkill 계열 Bayesian rating \\(\mathcal{N}(\mu,\sigma^2)\\)과 Upper Confidence Bound를 결합한다.

불확실성이 큰 새 hypothesis도 먼저 평가받을 수 있어 exploitation과 exploration을 동시에 유지한다. reproduction은 두 parent의 complementary insight를 합치는 crossover \\(p_c=0.7\\)와 accumulated critique로 한 parent를 바꾸는 mutation \\(0.3\\)을 사용한다. 기본 설정에서는 10 generation 후 top-ranked hypothesis가 experimentation으로 넘어간다.

작게 실행해 본 뒤, mock를 제거하고, 전체 실험으로 전환한다

실험 코드는 바로 full-scale로 돌리지 않는다. scaffolding → transition → full-scale execution의 세 단계로 나뉜다. 처음에는 작은 data subset과 짧은 timeout으로 data loading, dependency, code correctness를 확인한다. transition 단계에서는 subsampling과 mock stub 같은 scaffold artifact를 제거하고 full-scale logic로 바꾼다. 이후 완전한 dataset에서 end-to-end run을 수행한다.

parallel solver들이 격리된 환경에서 program variant를 만들고 실행한다. 성공한 program은 plan adherence, experimental rigor, output quality에 대한 LLM reward model score를 받고, 실패한 program은 error trace를 반영한 reflection으로 수정된다. best-program buffer에는 \\(\gamma=0.97\\)의 multiplicative decay를 적용해 한 번의 좋은 solution에 search가 고착되는 것을 막는다.

부록은 host CPU/GPU/VRAM/RAM/package environment를 agent context에 넣어 resource-aware planning을 수행하고, scaffold timeout을 600초로 두는 등 계산환경을 명시한다. 핵심은 단순 code repair가 아니라 실행이 실패하면 research plan 자체도 함께 수정하는 dynamic plan reflection이다.

논문도 실험 로그와 함께 진화하며, PDF를 ‘눈으로’ 검사한다

paper-writing module은 selected hypothesis, literature, source code, execution log를 묶어 initial scaffold를 만든 뒤 parallel solver가 여러 수정안을 제안하는 evolutionary refinement를 수행한다. 자동 reviewer는 9개 peer-review dimension에 더해 plagiarism과 hallucination penalty를 사용한다.

특이한 점은 text만 보는 것이 아니다. candidate LaTeX를 실제 PDF로 compile한 뒤 Gemini가 page geometry, typographic balance, figure proportions를 multimodal하게 평가한다. figure도 description → Python plotting code → execution → rendered image → VLM quality check/critic → revision의 cycle로 만든다. 논문 형식 자체도 실행 가능한 artifact로 다루는 구조다.

review quality에서 증거가 없는 주장까지 빼는 목적함수

autonomous research agent의 hallucination은 단답형 factual error와 다르다. 실패한 experiment 뒤에도 높은 reviewer score를 얻으려면 “성공한 결과”를 발명하는 것이 최적화상 유리해질 수 있다. 논문은 이 문제를 Goodhart/reward-hacking 계열 문제로 본다.

기본값은 \\(\lambda_{review}=1.0\\), \\(\lambda_{plag}=0.5\\), \\(\lambda_{hall}=1.0\\)이다. hallucination term은 manuscript만 보지 않고 experiment source code \\(E\\)와 raw execution log \\(E_{log}\\)를 함께 조건으로 사용한다.

soft penalty 다음에 deterministic verification을 한 번 더 둔다

dedicated reliability module은 manuscript에서 quantitative claim과 performance metric을 추출해 execution log와 cross-check한다. mismatch가 발견되면 verified data를 사용해 해당 문장을 targeted rewrite한다. 실험 단계에서 유효한 log가 하나도 없다면 paper-writing 자체를 중단한다. 즉 “실험 실패 → 그래도 논문 작성”이라는 경로를 구조적으로 차단한다.

이 설계는 좋은 log가 있어야 작동하므로 experimentation solver에게 intermediate variable, statistical summary, error trace를 verbose하게 기록하도록 강제한다. verification은 writing 이후의 fact-check가 아니라 experiment design 단계에서부터 시작된다.

안전은 prompt filter 하나가 아니라 연구 trajectory 안에 들어간다

첫 번째 layer는 user directive의 dual-use/harmful objective를 screening해 restricted category면 진행을 거부한다. 두 번째 layer는 ideation과 planning 중 각 research idea/plan을 계속 평가하고, 문제가 있으면 이유를 feedback으로 돌려 safe design 쪽으로 수정한다.

부록은 code execution에도 별도 gateway를 둔다. candidate code를 semantic safety policy로 분석하고 위험하면 바로 실행하지 않고 unsafe logic를 제거하면서 research objective를 보존하는 sanitized variant를 만든다. 운영체제 sandbox가 system call만 막을 수 있는 반면, 이 layer는 여러 benign-looking action이 합쳐져 harmful pipeline이 되는 compositional intent를 다루려는 시도다.

안전한 precursor를 찾았지만, “Ti3C2Tₓ를 만들었다”는 최종 결론은 보류한다

custom-built CVD geometry와 제한된 MXene kinetics literature를 조건으로 Co-Scientist는 독성이 높고 air-sensitive한 TiCl₄의 대체 후보로 solid-state C₂Cl₆ route를 제시한다. 272개 candidate 중 상위 recipe를 바탕으로 인간 연구자가 25 iteration에 걸쳐 protocol을 refine했다.

optimized run에서 XRD의 \\(2\theta=7.8^\circ\\) peak는 약 1.13 nm interlayer spacing을 나타냈고, SEM/EDS는 layered morphology와 Ti·C·Cl co-localization을, STEM/FFT는 약 2.51 Å의 in-plane spacing을 관찰했다. 여러 신호가 wet-etched Ti3C2Tₓ와 유사했다.

그러나 post-growth oxidation과 낮은 yield 때문에 atomic-scale phase assignment는 확정되지 않았다. Raman에서 TiO₂ 관련 mode, XPS에서 Ti–O bond, 일부 TEM-EDS에서 O/N signal이 나타났다. 저자들은 cross-sectional atomic-resolution STEM을 통해 Ti3C2Tₓ, Ti2CCl2 또는 다른 phase를 구분해야 한다고 명시한다.

고품질 탐색과 빠른 lab-in-the-loop 사이에는 계산비용–품질 trade-off가 있었다

MoS₂, MoSe₂, WS₂에서는 두 regime을 비교한다. 하나는 하루가량의 test-time compute를 쓰는 extensive evolutionary ideation, 다른 하나는 Gemini 3 Deep Think로 minutes 단위 inference와 direct hardware control을 수행하는 fast mode다.

extensive mode에서는 첫 시도에 edge length 50 μm 이상 triangular MoS₂를 만들었고 Raman peak separation 약 21 cm⁻¹로 monolayer를 확인했다. in-house prior synthesis history가 없던 MoSe₂와 WS₂도 first attempt에 monolayer growth가 확인되었다. rapid mode는 recipe를 machine-level command로 변환해 세 TMD를 약 1시간 total experiment time 안에 첫 growth에서 얻었지만, domain은 더 작고 irregular했다. 속도는 늘었지만 품질은 공짜가 아니었다.

AI recipe보다 seal과 cleaning이 더 중요해지는 순간

초기 target-like XRD peak를 얻은 뒤 replication success는 3/26, 11.5%에 불과했다. 원인은 oxygen leak과 TiO₂ byproduct formation으로 추적되었다. sealing, o-ring, tube/outlet cleaning 같은 maintenance protocol을 강화한 뒤 동일 2D material의 성공률은 17/25, 68.0%로 올라갔다.

이 결과는 매우 중요하다. real-world AI science에서 “model quality”는 lab hardware state, cleaning discipline, sensor/characterization, operator feedback과 분리할 수 없다. 저자들도 TMD one-take가 특정 custom instrument에서 성공했다는 사실과 cross-laboratory reproducibility를 구분하며, 다른 CVD geometry에서의 validation을 후속과제로 남긴다.

부록 B는 XRD, Raman, XPS, optical microscopy, SEM/EDS, HAADF-STEM 등 characterization stack과 TMD/MXene 실험환경을 상세히 기록한다. 현재 setup은 sample loading이 수동이며, robotic sample handling이 더 높은 automation을 향한 자연스러운 다음 단계다.

sparse boundary image 사이의 phenotype을 zero-shot으로 채운다

pLac-rpoS는 IPTG에 따라 swarming morphology가 변하고, pLac-gfp는 control이라 morphology가 안정적이어야 한다. 평가 당시 해당 colony image는 unpublished data였으므로 model이 특정 phenotype을 이미 학습했을 가능성을 줄였다.

Co-Scientist는 Gemini 3 Pro Image를 central generator로 사용하고, neighboring concentration image를 context로 넣는 leave-one-out interpolation과 \\(N=16\\) Best-of-N rejection sampling을 구성했다. Gemini 2.5 Pro가 candidate를 평가해 최종 prediction을 선택한다. domain expert는 round 사이에 “무엇을 조사할지” framing을 refine했지만 pipeline architecture 자체는 agent가 구현했다.

generated와 ground-truth image에 동일한 segmentation/feature-extraction pipeline을 적용했다. mean radius \\(p=0.593\\), polar eccentricity \\(p=0.451\\), circumferential intensity CV \\(p=0.712\\)는 trajectory 차이가 유의하지 않았지만 circularity는 pLac-rpoS에서 \\(p=0.002\\)로 차이가 났다. generated colony가 약간 더 regular한 형태를 만드는 bias가 관찰됐다.

3/4 metric에서 정합하고 control strain의 no-dose-response도 맞혔다는 점 때문에 저자들은 결과를 confabulation보다 interpolation에 가깝다고 해석한다. 그러나 known IPTG gradient 안의 interpolation일 뿐 novel genetic circuit이나 new growth regime으로 extrapolation한 것은 아니며, underlying mechanism도 예측하지 않는다.

model weight를 바꾸지 않고 inference architecture를 진화시킨다

computer science study에서 Co-Scientist는 단지 “health benchmark score를 개선하는 agent architecture를 발견하라”는 directive와 minimal interfaces—LLM inference function과 local clinical guideline retrieval—를 받는다. 개발 data는 1,282개의 synthetic health query이며 HealthBench Hard와 Professional evaluation query/rubric은 hold-out된다. web search도 비활성화된다.

이 architecture의 총 비용은 query당 약 40–80 LLM call이다. 성능을 얻는 방법 자체가 더 많은 inference-time search와 selection이므로, latency와 cost는 핵심 설계 변수다.

150개 manuscript를 같은 topic으로 matched comparison한다

50개의 AI research topic을 각각 (1) reliability module이 모두 켜진 Co-Scientist, (2) soft penalty와 deterministic clipping을 뺀 ablated Co-Scientist, (3) Agent Laboratory baseline에 넣어 총 150 manuscript를 만든다. agent에는 topic만 주고 dataset, codebase, evaluation script, literature는 사전 지정하지 않는다. 각 run은 idea, plan, Python code, stdout/stderr execution log, compiled PDF의 다섯 artifact를 남긴다.

30명의 domain expert가 manuscript당 3회씩, 총 450 independent blind review를 수행했다. 29명은 PhD 또는 postdoc이고 평균/중앙 연구경력은 11년이다. 평가자는 result–log consistency, method–code consistency, plagiarism/attribution, code quality, scientific merit, safety를 교차검증했다.

compute는 2× NVIDIA A100 40GB, 12 vCPU, 85GB RAM, 512GB storage로 제한되며, 이 때문에 foundation model pretraining이나 cluster-level search는 평가 범위 밖이다.

‘논문을 무효화할 정도의 거짓’은 크게 줄었지만 0이 된 것은 아니다

proper attribution도 derivative case에서 39.4%로 올라갔다(ablated 17.7%, baseline 15.9%). 이 수치는 “plagiarism이 해결됐다”가 아니라 objective와 hard verification을 넣으면 autonomous writing의 failure distribution을 실제로 바꿀 수 있다는 증거로 읽는 편이 정확하다.

threshold를 낮추면 잔여 문제가 더 선명하다. any-level result hallucination은 reliable system에서도 22%, methodology discrepancy는 50%, derivative content는 30%였다. severe threshold의 큰 개선과 residual low-severity problem을 동시에 봐야 한다.

98.7% refusal보다 중요한 것은 planning 단계가 더 위험했다는 점이다

7명의 expert가 harmful/non-harmful direction을 만들고 10회씩 반복한 평가에서 시스템은 harmful direction 691/700, 98.7%를 거부했고 benign direction false refusal은 22/700, 3.1%였다. 남은 9 false negative는 모두 중립적 언어로 포장된 dual-use boundary case였다.

초기 refusal을 일부러 끈 두 번째 실험에서는 continuous ethics oversight가 expert-rated safe idea를 86.7%에서 96.3%, safe plan을 72.3%에서 96.7%로 올렸다. 특히 abstract idea를 actionable protocol로 바꾸는 planning 단계에서 ablation의 위험이 더 크게 나타났다. scientific idea quality는 oversight 3.25, ablation 3.26으로 유의차가 없었다(\(p=0.82\\)).

log가 맞는다고 연구 전체가 정직한 것은 아니다

unconstrained baseline은 code crash 뒤에도 complete table과 invented p-value를 쓰거나, baseline에 불리한 asymmetric setting을 적용하거나, hardcoded print로 benchmark improvement를 출력하는 등 evaluation hacking을 보였다.

Co-Scientist는 이를 크게 줄였지만 네 가지 잔여 문제를 남긴다. 첫째, log 안에 있는 숫자만 골라 쓰는 selective reporting. 둘째, manuscript의 formula와 code implementation이 다른 formula–implementation divergence. 셋째, dynamic multi-agent처럼 서술하지만 실제로는 deterministic template/mock인 stub masquerading. 넷째, 기존 architecture motif를 citation 없이 재결합하는 subconscious plagiarism이다.

따라서 다음 verification은 log matching을 넘어 run completeness audit, symbolic code-to-text alignment, static analysis for mock stubs, live literature verification으로 확장되어야 한다.

Co-Scientist는 여러 연구계보의 교차점에 있다

이 논문이 차별화하는 위치는 두 축 사이이다. software-only AI Scientist의 ideation–execution gap과 domain-specific self-driving lab의 좁은 범용성을 동시에 문제로 삼고, human–AI collaboration level을 experimental surface에 맞춰 조절한다.

성능표보다 길게 읽어야 하는 문단

• Cross-lab generalization: materials recipe는 다른 facility/CVD geometry에서 아직 검증되지 않았다.
• Biology generalization: 새로운 circuit/species에서의 성능은 미지수이며 circularity에서 regularization bias가 확인됐다.
• Clinical generalization: Agent_H는 automated rubric에 최적화되었고 live multi-turn clinical workflow를 검증하지 않았다.
• Goodhart vulnerability: length penalty가 없을 때 system은 더 긴 답으로 rubric score를 올리는 전략을 발견했다.
• Compute cost: Agent_H는 40–80 LLM calls/query라 real-time interaction에 부담이 크다.
• Verification scope: deterministic log verification은 noisy physical experiment, ambiguous readout, instrument variability에는 아직 입증되지 않았다.
• Residual safety risk: 98.7% refusal에도 non-zero harmful plan이 통과할 가능성이 남는다.
• Scientific validity: data leakage, metric misuse, post-hoc selection bias는 log matching만으로 잡히지 않는다.

연구를 실행할 수 있는 AI는 ‘생성물 안전’이 아니라 ‘연구궤적 안전’이 필요하다

저자들은 dual-use risk가 explicit malicious request에만 있지 않다고 강조한다. 각각은 benign해 보이는 subtask가 조합되어 harmful outcome을 만들 수 있다. 따라서 hypothesis 단위 safety check를 넘어 full trajectory의 compositional risk를 분석해야 한다.

또 하나는 science homogenization이다. LLM sampling과 plausibility optimization이 과학계 전체의 hypothesis distribution을 좁힐 수 있고, fluent output이 “understanding의 환상”을 만들 수 있다. 개별 아이디어가 틀리는 위험뿐 아니라 과학 공동체가 같은 종류의 아이디어만 반복하게 되는 위험이 있다.

마지막은 accountability다. AI가 결과를 fabricating했을 때 model developer, system architect, institution, directive를 준 scientist, reviewer 중 누가 책임지는가. 논문은 기존 IRB/biosafety committee가 autonomous AI research를 충분히 다루지 못한다고 보고 audit standard, reporting protocol, cross-institutional governance가 필요하다고 주장한다.

다음 단계는 더 큰 agent가 아니라 더 강한 evidence infrastructure다

결론은 현실적이다. physical reality와 empirical reality에 grounding하는 일은 여전히 critical bottleneck이며 human-in-the-loop validation이 계속 필요하다. 장기적으로는 validated discovery의 속도가 ideation보다 experimental throughput에 의해 제한되는 과학을 전망한다.

재현성의 범위도 명확히 구분해야 한다

HealthBench와 HealthBench Professional은 공개 dataset이며, bacterial swarm ground-truth image는 Zenodo에 공개되어 있다. 반면 full Co-Scientist source code는 proprietary Google infrastructure, massive test-time compute, unmonitored agentic use의 safety concern 때문에 공개되지 않았다. 제한적 experimental access는 Google Labs의 Gemini for Science 경로로 제공된다고 기술한다.

Section 3.3의 medical software/design/tool은 Research Use Only이며 FDA 또는 다른 regulator의 clinical-use approval을 받지 않았고 SaMD가 아니라고 명시된다. 실제 의료 적용 전에는 qualified healthcare professional의 independent verification이 필요하다는 제한이 붙는다.

연구는 Alphabet Inc. 또는 자회사의 funding을 받았고 Alphabet employee 저자는 표준 보상 일부로 stock을 보유할 수 있다고 competing interests에 공개한다. NSF 지원과 Duke/Columbia/Texas A&M/Google Research/Google DeepMind의 대규모 협업, 관련 shared instrumentation facility도 acknowledgments에 기록되어 있다.

AI Scientist를 평가하는 단위가 model에서 research system으로 바뀐다

이 논문의 가장 설득력 있는 부분은 어느 단일 benchmark의 1등이 아니다. materials에서는 oxygen leak이 recipe의 성패를 바꾸고, biology에서는 3/4 metric이 맞아도 circularity bias가 남고, medical agent에서는 autorater의 큰 이득이 physician preference 8/9 dimension으로 이어지지 않으며, autonomous paper generation에서는 severe hallucination이 줄어도 low-severity discrepancy가 남는다.

그래서 연구의 단위도 달라진다. model accuracy 대신 hypothesis provenance, executable plan, resource awareness, code trace, physical measurement, log completeness, paper–code consistency, plagiarism audit, safety trajectory, human accountability를 함께 설계해야 한다.