자율 연구 에이전트는 경쟁력 있는 해법과 전문가 수준의 논문을 만들어내지만, 그 산출물은 표면 표현만 평가하는 방식으로는 잡히지 않는 검증 가능성 실패 — 조작된 인용, 재현되지 않는 점수, 구현과 어긋난 방법 서술 — 을 담을 수 있다. 이 실패들의 공통 뿌리는 하나다. 어떤 평가 프로토콜도 주장이 근거로 뒷받침되는지 감사하지 않고, 어떤 자율 연구 시스템도 주장을 근거로 되짚도록 설계되지 않았다.
자율 연구 시스템은 각 단계가 이전 단계의 출력을 소비하는 다단계 파이프라인이다. 이 구조에서 오류는 보존될 뿐 아니라 증폭된다.
문헌 요약이 가설을 형성하고, 가설이 실험을 결정하며, 실험 결과가 논문으로 흘러든다. 결함 있는 요약은 실험 설계를 편향시키고, 잘못 해석된 결과는 논문 전체로 이어져 내부적으로는 일관되게 보이는 문서를 만든다. 같은 오류가 모든 절에 일관되게 반영되기 때문이다. 궤적이 길수록 위험은 커진다. 에이전트는 팽창하는 맥락을 추적하지 못하고, 할루시네이션을 일으키며, 본래 목표에서 표류한다.
이 실패들은 자율 파이프라인에서 상호작용하며 복합된다. 모델은 코드가 구현하는 것 이상으로 방법을 과장하고, 벤치마크 자체 평가기에서 재현되지 않는 점수를 보고하며, 검색이 아닌 파라미터 기억에서 참고문헌을 채운다 — 그러면서도 기술적으로 건전하게 읽히는 텍스트를 만든다.
75편의 논문을 감사한 결과, 모든 기준 시스템이 증거 사슬 실패를 보였다.
데이터베이스에서 ACID가 '신뢰할 수 있음'을 정의하듯, CoE는 연구 주장에서 '검증 가능함'을 정의한다.
ACID를 위반한 데이터베이스가 조용히 데이터를 손상시키면서도 그럴듯한 질의 결과를 반환할 수 있듯 — 한 계좌에서 출금됐지만 다른 계좌로 입금되지 않아도 양쪽 잔고가 유효해 보이듯 — CoE를 위반한 연구 시스템은 주장을 근거로 되짚을 수 없는 논문을 만들어낸다. 논문은 잘 읽히지만, 점수는 재현되지 않는다. ACID가 데이터베이스를 어떻게 만들지가 아니라 어떤 속성을 가져야 하는지를 규정하듯, CoE는 연구 산출물에 같은 역할을 한다.
인용된 연구가 학술 데이터베이스에 실재하고, 그 내용이 논문의 서술과 일치해야 한다.
보고된 값이 기록된 출력(실행 로그·실험 측정·시뮬레이션 결과)까지 추적되어야 한다.
방법 서술이 대응하는 구현으로 해소(resolve)되어야 한다.
수치·방법론 주장으로부터 검증 가능한 추론을 거쳐 도출되어야 한다.
CoE는 의도적으로 아키텍처 불가지론적이며 저자 불가지론적이다. 같은 근거 사슬이 인간 저작이든 기계 저작이든 동일하게 요구된다. 다만 자율 시스템의 실패가 체계적이고 급격히 확대되므로 이에 초점을 둔다.
각 모듈은 주장을 근거로 검증하는 데 필요한 출처 메타데이터를 담은 구조화 산출물을 생성하도록 설계된다.
시스템이 인용하는 모든 논문이 학술 데이터베이스에서 검색되고, 전문(full-text)으로 읽히며, 출처 메타데이터와 함께 기록되도록 보장한다. 시드 논문에서 출발해 인용 그래프를 구축하고, 주제당 최대 100편의 PDF 전문을 읽어 구조화된 연구 브리프를 산출한다. 구조화 검색이 없는 시스템은 최대 21%의 할루시네이션 인용률을 보인다.
Ideator가 후보 접근을 생성해 신규성·실현성으로 채점하고, 상위 제안을 Parallel Explore-Exploit(PEE) 오케스트레이터의 병렬 분기로 분배한다. 각 분기는 Solver가 노드당 최대 E개 버전을 반복하고 과제별 평가기가 채점하는 격리 사이클을 돈다. I회 반복 후 best-run 선택기가 사양 위반 해법을 걸러내고 최고 점수 해법에 애블레이션을 수행한다.
다섯 단계 주장-정초 파이프라인으로 LaTeX를 생성한다. Conceive가 모든 원자료를 읽어 모든 사실 주장이 인라인 근거 태그를 지니는 연구 표현을 내놓고, Ground가 각 태그를 결정론적으로 검증하며, Critic이 결정론적 검사가 못 잡는 것을 감사하고, Resolve가 근거 없는 주장을 버린다. Claim Verifier가 초안의 모든 주장을 선언된 근거 원천과 대조한 뒤에야 최종 논문이 만들어진다.
provenance before prose. 각 절 집필자가 검증된 수치와 명명된 baseline을 연구 표현과 함께 받으므로, 사후에 출처를 붙여야 하는 주장을 만드는 대신 확립된 사실을 둘러싸고 산문을 쓴다.
어댑터가 각 시스템의 산출물(paper.tex, 해법 코드, references.bib)을 공통 아티팩트 번들로 정규화한 뒤, 네 검사가 독립적으로 실행된다. 각 검사는 주장이 정초를 잃는 특정 방식을 겨냥한다.
논문의 보고 점수를 TeX·PDF에서 LLM으로 추출하고, 제출 해법을 골든 평가기에 재실행해 얻은 점수와 적응적 허용오차 내에서 비교한다. 평가기 잡음을 반영해 max(1%, 3σ/|s̄|) 허용오차를 쓴다.
해법 코드가 과제 규칙을 어기는 경우 — 평가기 채점 로직 역공학, 알려진 테스트 케이스 하드코딩 등 — 를 검출한다. 골든 평가기·과제 명세에 대해 LLM이 다수결로 판정한다.
각 서지 항목을 Semantic Scholar·arXiv·OpenAlex·CrossRef로 조회하고, LLM이 근접 오매치와 인용 게이밍을 교차 검증한다. 어떤 레코드와도 일치하지 않으면 할루시네이션으로 분류한다.
LLM이 논문 방법 절과 해법 코드를 나란히 읽고, 논문이 코드가 하는 일을 충실히 서술하는지 판정한다. 근본적으로 다른 알고리즘을 서술한 경우만 misaligned로 센다. 다수결로 노이즈를 줄인다.
위 네 검사는 포렌식이다. 제출 아티팩트만으로 작동하며 모든 시스템에 동일하게 적용된다. 집필 시점에 각 주장을 특정 출처 레코드에 연결하는 구조화 출처를 내보내는 시스템에는 추가로 CPR(Claim Provenance Rate) 검사가 가능하다. 평가 대상 중 이런 출처 기록을 생성하는 유일한 시스템이 ScientistOne이다.
ADRS 5개 과제 · 시스템당 15편 · 총 75편. I1–I3의 모든 플래그는 인간 검토자가 수동 확인했다.
| 시스템 | 점수 검증 ↑ | 사양 위반 ↓ | 참고문헌 ↓ | 방법–코드 ↑ |
|---|---|---|---|---|
| Sakana AI-Scientist v2 | 5/12 | 10/15 | 0/159 | 5/15 |
| AutoResearchClaw (ARC) | 5/12 | 0/15 | 3/196 | 3/15 |
| DeepScientist (DS) | 11/12 | 0/15 | 42/201 | 5/15 |
| AI-Researcher (AIR) | 9/12 | 1/15 | 21/222 | 12/15 |
| ScientistOne | 12/12 | 0/15 | 0/337 | 14/15 |
ScientistOne은 네 검사 모두에서 선두인 유일한 시스템이다. 완벽한 점수 검증(12/12), 사양 위반 0(0/15), 할루시네이션 인용 0(0/337), 최고 방법–코드 정합(14/15). 격차는 참고문헌 무결성과 방법–코드 정합 — 점수 재현이 아니라 근거 출처를 시험하는 두 검사 — 에서 가장 크다.
DS와 AIR은 모델 기억에서 참고문헌을 생성해 그럴듯하지만 존재하지 않는 항목을 만든다. ScientistOne의 0%는 PI 인용 그래프의 아키텍처적 속성이다. 모든 참고문헌이 Semantic Scholar API 호출에서 유래해 근거 사슬에 캐시된다.
집필 시 각 수치 문장에 {source: "experimental_log.md:N"} 태그를 달고, 참조 로그 라인과 5% 상대 허용오차 내 일치를 확인한다. 12건의 실패는 대부분 추출 휴리스틱의 오탐이며, 교정 후 CPR은 약 99%다.
ScholarPeer 자동 리뷰 기준, ScientistOne은 40% 채택률(6/15)로 최고 기준 시스템(AIR 13%)의 세 배다. 이 격차는 더 나은 알고리즘이 아니라 solver 종료 이후에 일어나는 일에서 비롯된다.
Soundness 2.3, Originality 2.5, Quality 2.3로 모든 항목에서 선두다. Best-of-3에서는 Overall 6.6, 5개 과제 중 4개 채택에 도달한다. Claim Verifier가 자기 데이터와 모순되는 주장(결과 표는 7.9ms인데 "sub-millisecond latency"라 주장)을 막는다.
모든 시스템에서 Clarity(2.5–3.1)가 가장 높고 Soundness(1.1–2.3)가 가장 낮다. 논문은 잘 읽히지만 방법론적 검증을 견디지 못한다. 병목은 글쓰기 능력이 아니라 연구 건전성이다.
| 과제 | 방향 | Human | Sakana | ARC | AIR | DS | ScientistOne |
|---|---|---|---|---|---|---|---|
| Prism | ↑ | 21.89 | 26.26 | 26.25 | 26.26 | 26.26 | 26.26 |
| Cloudcast | ↓ | 626.24 | 627.11 | 690.37 | 734.28 | 620.09 | 618.08 |
| EPLB | ↑ | 0.1265 | 0.1270 | 0.1266 | 0.1449 | 0.1284 | 0.1459 |
| LLM-SQL | ↑ | 0.6920 | 0.7320 | 0.6757 | 0.7148 | 0.7307 | 0.7222 |
| TXN | ↑ | 2724.8 | 4184 | 3247 | 4311 | 4286 | 3906 |
모든 시스템이 다섯 과제 전부에서 인간 전문가 baseline을 맞추거나 능가한다. ScientistOne은 모든 과제에서 인간 baseline을 넘고 Cloudcast·EPLB에서 최고 성능을 낸다. 검증 가능성이 성능을 희생시키지 않음을 보여준다. Sakana의 BFTS도 경쟁력 있는 점수를 내지만, 논문은 이 수치를 종종 오보하거나 체리피킹한다.
75편 감사에서 드러난 네 가지 대표 실패. 각각 CoE 감사의 특정 검사가 겨냥하도록 설계된 유형이다.
[0, 1] 스케일 벤치마크에서 1,538,006.69이라는 결합 점수를 보고한다. 이는 전사 오류가 아니라 내부 지표(prefix-hit 제곱합)를 ADRS 점수인 양 제시한 것이다. 논문은 자체 평가 프로토콜을 정의해 내부적으로 일관되지만, 골든 평가기 재실행이 크래시하며 점수→평가기 근거 사슬이 해소 불가능해진다.
15개 참고문헌 중 3개가 할루시네이션 — Semantic Scholar·arXiv 어디에서도 일치 출판물을 찾을 수 없다. 예외적 사례가 아니라, 구조화 검색 파이프라인이 없는 AIR·DS는 각각 9%·21%의 할루시네이션율을 보인다.
정당해 보이는 0.697점을 얻지만, 평가기가 검사하는 것과 벤치마크가 측정하려는 것 사이 틈을 악용한다. 행 그룹별로 열을 재정렬한 뒤 원 스키마 이름으로 되돌려 열 정합을 파괴한다. 같은 악용이 AIR·ScientistOne에서도 독립적으로 나타나 — 이것이 고립된 사고가 아니라 진짜 벤치마크 취약점임을 방증한다.
보고 점수 3,311은 재실행 평균 3,214의 3% 이내로 점수 검증을 거의 통과한다. 그러나 방법–코드 정합이 완전한 단절을 드러낸다. 논문은 비트 정수 인코딩·O(1) 대리 비용 모델·등거리 배치의 "STAR"를 서술하지만, 코드는 이 중 어느 것도 구현하지 않는다. 점수 검증만으로는 불충분함을 보여준다.
수정 없이(unmodified) 의료 영상, 세분화 인식, 3D 인지, 파라미터 제약 언어 모델링에 걸친 6개 과제에서 평가한다.
| 과제 | 방향 | DeepScientist | ScientistOne |
|---|---|---|---|
| 3D Object Detection | ↑ | 0.0000 · Below Median | 0.1763 · Gold |
| AI4Code | ↑ | 0.6964 · Below Median | 0.8356 · Above Median |
| iMet 2020 FGVC7 | ↑ | 0.6804 · Silver | 0.6791 · Silver |
| RSNA Brain Tumor | ↑ | 0.6377 · Gold | 0.6518 · Gold |
| iNaturalist 2019 FGVC6 | ↓ | 0.2158 · Silver | 0.2445 · Silver |
| Parameter Golf | ↓ | Invalid · 크기 초과 | 1.0600 · SOTA |
High 난이도에서 금메달 두 개(RSNA Brain Tumor, 3D Object Detection)를 얻고, DeepScientist가 완전히 실패한(0.0000) 3D Object Detection을 금메달 점수로 푼다. Parameter Golf에서는 baseline이 16MB 아티팩트 크기 제한 초과로 유효 제출에 실패하는 반면, ScientistOne은 모든 제약을 지키며 SOTA 1.0600을 달성한다. Hessian 대각 가중 SVD 초기화와 GPTQ 기반 교대최소제곱(ALS) 정제 루프 같은 진짜 알고리즘 혁신을 양자화 블록에 도입한 결과다.
자율 연구 시스템은 solver 품질만으로는 서로를 구분할 수 없는 지점에 도달했다. 여러 시스템이 판이한 접근으로 같은 벤치마크에서 경쟁력 있는 점수를 낸다. 그 산출물을 가르는 것은 결과 논문을 신뢰할 수 있는가다. 75편 감사는 어떤 기준 시스템도 증거 사슬 실패에서 자유롭지 못함을 보인다 — 최대 21%의 할루시네이션 인용, 허구의 방법 절, 잘못된 스케일의 점수 — 그리고 이 실패들은 근거 정초가 아니라 표면 표현만 평가하는 방식으로는 검출되지 않는다.
주장 생성 시점에 증거 사슬을 구축하는 시스템은, 사후에 정초를 재구성하는 시스템보다 더 검증 가능한 산출물을 만든다.
더 어려운 문제 — 인용 지지의 검증, 결론 주장의 확인, 결정론적 평가기가 없는 도메인으로의 확장 — 는 열려 있지만, 여기서 시연한 검사들의 추적 가능한 확장이며, 그 중요성은 AI 생성 연구의 양이 늘수록 커진다.
현재 실험은 골든 평가기가 있는 시스템 최적화 과제(ADRS)에 집중한다. 생물학·재료과학·이론 ML 같은 열린 도메인은 도메인 특화 검증 로직이 필요하며 아직 구축·검증하지 않았다.
인용이 실재하는지만 검사한다. 실재하는 인용도 원 논문이 하지 않은 주장을 뒷받침하는 데 쓰일 수 있다. 구절 단위 자연어 추론은 미래 과제로 남긴다.
ScholarPeer는 확장 가능한 대리 지표이지 인간 전문가 평가의 대체가 아니다. LLM 리뷰어는 특정 실패 모드에 체계적으로 눈멀어 있다.
네 오픈소스 시스템을 최대한 균일한 조건으로 ADRS에 적응시켰으나, 적응에는 판단이 개입한다. 교차 시스템 비교는 '선의의 동일 자원 적응하에서'로 읽어야 한다.
I1–I3 플래그는 수동 검증되어 오탐이 없지만, 위음성은 체계적으로 한정하지 않았다. 검사가 놓치는 무결성 실패는 분명히 존재하며 실제 실패율은 보고치보다 높을 것이다.
구조화 출처와 체계적 감사는 무결성 실패를 수동 검토가 따라올 수 없는 규모로 검출 가능하게 한다. 동시에 같은 능력이 그럴듯한 논문을 대량 생성하는 장벽을 낮춘다. 생성 능력과 나란히 투명성 도구를 개발해야 한다.