K-MOONSHOT · AI SCIENTIST RESEARCH WATCH
Scientific Judgment Before Execution and Evidence After Action
연구를 시작하는 판단과 결과를 믿는 판단 — 가설의 타당성, 재발견 평가, XR 기반 인간-AI 협업
연구를 시작하는 판단과 연구가 끝난 뒤의 증거를 함께 검사한다. 플랫폼에는 사람의 기여와 실패·수정의 근거가 남아야 한다.
초록
AI 과학자의 신뢰성은 실행 완료율만으로 판단할 수 없다. 이번 글은 새로 검토한 SoundnessBench·ResearchClawBench·LabOS를 통해 실험 전 방법론적 타당성, 기존 데이터에서의 과학적 증거 회복, 사람이 참여하는 물리 실험 지원을 구분한다. 각 연구의 방법·조건·수치·한계를 설명하고, 기존 실행 충실도 연구 및 기간 밖 배경과 연결한다. 정부 정책의 목표연도와 역할(안)을 유지하며, 사전 판단·실행 감사·협업 기억·독립 평가를 2028–2032년 ETRI 연구기획 후보로 제안한다.
PART 01
1 Definition
실험을 끝까지 실행했다는 사실과, 그 실험을 시작할 만했으며 결과가 주장을 뒷받침한다는 사실은 다르다.
AI 과학자를 평가하려면 연구의 앞과 뒤를 함께 봐야 한다. 앞에서는 가설과 실험설계의 타당성을 판단하고, 뒤에서는 원시 자료·실행 기록·결과가 과학적 결론을 지지하는지 검사한다. 그 사이에는 사람이 실제 실험을 수행하거나 장비를 관리하고 AI의 오류를 수정하는 협업 과정이 있다. 이번 글은 이 세 부분을 분리한 뒤 다시 연결한다.
| 개념 | 주된 범위 | 확인할 인간 역할 |
|---|---|---|
| AI for Science | 예측·분석·역문제 등 과학에 AI를 쓰는 상위 범주 | 목표·자료·해석 설정; 자율 연구 기능은 필수 아님 |
| 연구지원 에이전트 | 검색·코딩·계산·정리 등 위임 작업 | 사람이 작업 범위와 결과 채택을 주도 |
| AI Co-Scientist | 가설 제안·비판·실험설계를 연구자와 협업 | 목표·제약·실험 승인·판정에 사람 참여 |
| AI Scientist | 정의된 범위의 연구 순환과 다음 행동 선택 | 임무·도구·개입·복구·종료 조건 공개 |
| Self-Driving Laboratory | 실험 선택–물리 실행–측정의 폐루프 | 준비·교정·시약·유지보수·오류 복구 포함 |
XR로 사람이 보는 장면을 AI와 공유하는 체계는 인간-AI 공동연구의 한 형태다. 이를 무인 자율실험실과 동일시하지 않는다. 논문을 숨기고 기존 데이터에서 연구를 수행하는 평가는 실제 장비 운영과 다른 검증 범위를 가진다. 가설 판정·실행 충실도·협업 효과를 각각 입증해야 연구 전주기의 신뢰성을 말할 수 있다.
PART 02
2 Problem Definition
연구 자동화는 오류가 있는 계획도 빠르게 실행할 수 있다. 비교군이 부적절하거나 평가 데이터가 새어 들어가거나 측정 지표가 가설과 맞지 않으면 코드가 정상 종료해도 연구 질문에 답하지 못한다. 반대로 너무 엄격한 자동 심사자는 유망한 아이디어까지 버려 연구의 다양성과 탐색 가치를 줄일 수 있다.
따라서 문제는 ‘정확하게 승인하는 모델’ 하나를 만드는 데 있지 않다. 어떤 근거로 실험을 시작할지, 무엇이 부족하면 보류할지, 어떤 관측이 나오면 계획을 바꿀지, 누가 그 결정을 검토할지를 설계해야 한다. 가설의 창의성과 실험설계의 타당성도 분리해야 한다. 새로운 아이디어라도 검증법이 잘못될 수 있고, 보수적인 질문도 유효한 정보를 만들 수 있다.
이 식은 이번 글의 분석적 목적식이다. 새 논문들의 공통 실측 지표로 제시하지 않는다. 비용에는 모델 호출뿐 아니라 전문가 검토, 실험 준비, 장비 운영, 실패 복구, 독립 재검사를 포함한다. 모든 아이디어를 같은 비용으로 처리하는 대신 위험과 검증 난도에 따라 검토 자원을 배분할 수 있다.
국가 플랫폼에서는 이 문제가 더 커진다. 한 기관의 판단이 다른 기관의 계산·실험을 시작하게 되므로, 승인 근거와 실행 조건이 함께 전달돼야 한다. 좋은 보고서의 작성과 좋은 과학적 증거의 생산을 구분하는 공통 평가가 필요하다.
PART 03
3 Core Concepts
과학 지식과 멀티모달 증거의 통합
논문·구조 파일·실험 영상·시계열은 서로 다른 종류의 증거다. 같은 시료와 조건을 가리키는지, 측정 시점과 단위가 일치하는지 확인해야 통합이 된다. 실험 영상에서 절차를 설명하는 능력과 그 절차가 가설 검증에 적절한지 판단하는 능력은 다르다. 관측의 의미를 과학적 맥락과 함께 연결해야 한다.
반증 가능한 가설과 방법론적 타당성
가설에는 예상 관측, 대안 설명, 비교군, 기각 기준이 필요하다. 방법론적 타당성은 가설이 결국 참인지가 아니라 제안한 실험으로 그 가설을 적절히 검사할 수 있는지에 관한 문제다. 사전 검토에서 모든 미래 결과를 예측할 수 없다는 점도 평가에 반영해야 한다.
실행 충실도와 증거 충실도
실행 충실도는 계획한 분할·비교군·프로토콜을 실제 코드와 실험이 따랐는지를 뜻한다. 증거 충실도는 보고서의 숫자·그림·결론이 원시 자료와 실행 결과에 맞는지를 뜻한다. 둘 중 하나가 빠지면 그럴듯한 결과를 얻어도 원래 주장을 지지하지 못할 수 있다.
협업 기억과 메타인지
사람이 수정한 절차, AI가 놓친 장면, 도구 실패, 계획 변경의 이유를 연구 기억에 남겨야 한다. 메타인지는 자신감 문장보다 판정 보류·추가 측정·사람 인계·중단을 적절히 선택하는 능력으로 평가한다. 연구 기억은 결론의 저장소이면서 판단과 실행의 변경 이력이어야 한다.
PART 04
4 Introduction
직전 글은 Self-Building Labs와 공식 정정을 통해 실행 능력의 확장과 증거 수정의 필요성을 연결했다. 이번에는 직전 원장에 없던 SoundnessBench·ResearchClawBench·LabOS를 새로 검토했다. 세 연구 모두 오늘 처음 공개된 자료라는 뜻은 아니다. 2025-01-01부터 현재까지의 조사 범위에서 새로 발견하고 검토한 자료다.
| 연구 | 직접 다룬 문제 | 추가되는 관점 |
|---|---|---|
| SoundnessBench | 실험 전 연구 제안의 방법론적 타당성 판정 | 잘못된 승인과 잘못된 기각의 교환관계 |
| ResearchClawBench | 목표 논문을 숨긴 데이터 기반 연구 수행 | 실행 완료를 넘어 핵심 증거의 회복 평가 |
| LabOS | 멀티모달 지각·XR 기반 인간-AI 실험 협업 | 사람이 수행하는 물리 실험과 AI 지원을 분리 기록 |
기존 블로그에서 이미 다룬 Beyond Execution과 AI Scientist의 Nature 출판은 신규 발견으로 세지 않고 연결 근거로 재확인했다. AILA/AFMBench는 arXiv 식별자가 2501로 시작하지만 최초 제출 표시와 Research Square 원문이 2024년 12월임을 확인했다. 이를 2025년 신규 원연구로 세지 않고 배경 및 이후 출판 이력으로만 사용한다.
직전 글: Self-Building Laboratories and Revisable Scientific Evidence. 해당 Pages 작업의 성공 완료를 확인했다. DOI·arXiv 버전·중복 분류는 마지막 근거 원장에 공개한다.
PART 05
5 Motivation and Background
[정책 원문] 과기정통부 「K-문샷 추진전략(안)」(2026-02-25), PDF p.24는 연구 전주기 통합 AI Scientist 플랫폼, 과학적 발견 핵심기술, 국가 연구데이터·플랫폼 연계, 과학 특화 멀티모달 독자모델과 버티컬 AI 파인튜닝 툴킷을 제시한다. ETRI·KISTI 플랫폼, ETRI 과학 모델, KISTI 데이터는 역할(안)으로 유지한다.
| 원문 | 위치·내용 | 해석 원칙 |
|---|---|---|
| 추진전략(안) · 2026-02-25 | p.24: 플랫폼·모델·데이터·툴킷; 2030 협업형 연구, 2035 완전 자율형 발견 | 2월 발표의 목표로 구분 |
| 추진현황 보고 · 2026-03-11 | p.21: 2029 협업형 가설설계·실험·검증; 2032 인간 개입 최소화 장기임무·자율실험실 연계; 2035 완전 자율형 발견 | 3월 보고의 마일스톤으로 인용 |
| 전략 로드맵(안) · 2026-09-30 | p.4: AI 과학자 상세 로드맵 별도 발표 예정; pp.19–20: 과학 추론 모델·에이전트·과학 AI-OS·자율실험실 지원 | 3월 일정을 9월 확정 상세 로드맵으로 재명명하지 않음 |
9월 문서 p.20은 데이터·코드·에이전트 실행 기록을 플랫폼 자산으로 축적하고, 장비 인터페이스·실험 프로토콜·데이터 규격을 연결하며, 실험 결과의 판정·검증 기준과 원데이터 공개 체계를 마련하는 방향을 제시한다. 사전 타당성, 실제 실행, 결과 근거를 함께 기록해야 한다는 이번 분석과 직접 연결되는 요구다.
[후속 확인] 오늘 정부·NST 검색과 공식 공고 목록, AI 과학자 독립 검증·재현 인프라 기획 공고를 재확인했다. 새 확정 AI 과학자 상세 로드맵 원문은 확보하지 못했다. 기존 공고와 미확인 RFP를 근거로 본사업 예산·기관별 역할이 확정됐다고 추정하지 않는다. 원문을 확보하지 못한 상태와 정책 변경이 없다는 판단은 다르다.
[분석적 연결] ETRI의 2028–2032년 기획에서는 과학 모델의 추론 성능과 플랫폼의 증거 보존 능력을 함께 설계할 수 있다. 해외 벤치마크의 결과는 한국 정책 목표의 달성을 입증하지 않으며, 국내 데이터·장비·운영 조건에서 별도 검증이 필요하다.
PART 06
6 Challenges
낙관적 승인과 과도한 거절
연구 아이디어를 격려하도록 학습된 모델은 결함이 보이는 계획에도 긍정적인 평가를 할 수 있다. 반대로 ‘엄격하게 평가하라’는 지시를 강화하면 유망한 계획까지 거절할 수 있다. 더 비판적으로 말하는 모델이 더 정확한 심사자라는 보장은 없다. 결함의 위치와 필요한 수정·추가 증거를 제시하는지를 평가해야 한다.
참조 논문 중심 평가의 한계
목표 논문을 숨겨도 모델이 학습 중 해당 연구를 봤을 가능성은 별개다. 또한 기존 논문의 핵심을 회복하는 것과 진정으로 새로운 발견을 하는 것은 다르다. 참조를 능가하는 점수가 나와도 독립적인 과학적 검증이 필요하며, 새로운 접근이 기존 루브릭과 다르다는 이유로 저평가될 위험도 있다.
영상 이해에서 현장 개입으로
녹화된 영상의 오류를 찾는 것과 실시간으로 올바른 순간에 경고하는 것은 다르다. 경고 지연·오경보·놓친 오류·연구자의 주의 부담을 함께 측정해야 한다. XR 장치로 모든 중요한 상태를 볼 수 있다는 가정도 검사해야 한다. 카메라에 보이지 않는 시약 정보나 장비 내부 상태가 결과를 바꿀 수 있다.
인간 기여와 독립성
전문가가 데이터·프로토콜·평가 기준을 만들고 실험을 수행한 기여를 자동화 성능에서 지우면 안 된다. 생성 모델과 평가 모델이 유사한 오류를 공유할 가능성도 남는다. 저자 실행 결과, 저자 내부 전문가 평가, 외부 기관의 독립 재현을 구분해야 한다.
PART 07
7 Research Questions
| 질문 | 비교 실험 | 반증·보류 기준 |
|---|---|---|
| RQ1. AI 사전 심사가 연구 낭비를 줄이는가? | 표준 지시·엄격 지시·근거 요청·인간 검토를 동일 예산으로 비교 | 오승인 감소보다 유망 연구의 오기각 손실이 크면 효과 보류 |
| RQ2. 결함 설명이 수정 가능한가? | 승인/거절만 제공하는 모델과 결함·대조군·반증 기준을 제공하는 모델 비교 | 설명은 그럴듯해도 계획 수정 후 타당성이 개선되지 않으면 기각 |
| RQ3. 실행 계약이 과학적 핵심을 보존하는가? | 자유형 수행, 구조화 계획, 단계별 충실도 감사를 비교 | 코드 완료율만 높고 증거 불일치가 줄지 않으면 주장 기각 |
| RQ4. XR 지원이 실제 오류를 줄이는가? | 수동 수행·정적 매뉴얼·영상 AI·XR AI 지원을 분리 | 영상 점수만 개선되고 현장 오류·시간·주의 부담이 나빠지면 보류 |
| RQ5. 실패 기억이 장기임무를 개선하는가? | 요약 기억과 원시 근거·복구 이력을 가진 기억 비교 | 다른 조건의 실패를 과잉 일반화하면 재설계 |
| RQ6. 독립 평가가 자기평가와 얼마나 다른가? | 생성자 관련 모델·외부 모델·전문가·다기관 재실행 비교 | 평가자 변경에 따라 결론이 불안정하면 판정 보류 |
모델·도구·데이터 분할·튜닝 예산·인간 지원 시간을 먼저 고정해야 한다. 반복 실행, 결측·중단·실패의 공개, 라벨 출처의 분리가 필요하다. 위 질문은 제안이며 이번에 검토한 논문들이 모두 해결한 것으로 서술하지 않는다.
PART 08
8 Approaches(Methods)
8.1 SoundnessBench — 실험 전의 타당성 판단
[저자 결과·프리프린트 v3] 1,099개 ML 연구 제안에 ICLR 심사자 타당성 하위 점수 기반 대리 라벨을 구성하고, 327개에는 12명 연구자의 제안만 읽는 판단을 추가했다. 12개 LLM의 표준 지시 평균 오승인율은 대리 라벨 기준 74.0%였다. 엄격 지시에서는 19.9%로 낮아졌지만 타당한 제안의 재현율도 91.8%에서 36.2%로 줄었다. 전문가 라벨에서도 표준 지시의 오승인율은 64.8%였다. §2·§3·표2–3.
[조건·한계] 이는 실제 미래 연구의 성공 확률이나 정부 과제 선정 정확도가 아니다. 심사자는 완성 논문을 보았고 모델은 결과를 가린 제안을 본다는 차이가 있어, 대리 라벨과 제안 전용 전문가 라벨을 분리해야 한다. 전문가 판단도 주관성과 단일 주석자 등의 한계가 있다. 유출·표면 특징·문헌 검색 통제는 위험을 줄이는 분석이지 모든 오염을 배제하는 증명은 아니다.
[설계 해석] 가설 생성과 비판을 한 모델의 문체 변화로만 해결하기 어렵다는 경고로 읽을 수 있다. 사전 심사자는 최종 승인자보다 결함 후보와 추가 증거를 제안하는 역할로 평가하는 것이 합리적이다. 이를 다중 에이전트나 인간 검토에 연결할 때도 오승인과 오기각을 함께 측정해야 한다.
8.2 ResearchClawBench — 목표 논문 없이 증거를 회복하는가
[저자 결과·프리프린트 v5] 10개 분야 40개 과제에서 관련 문헌·원시 데이터를 제공하되 목표 논문은 숨긴다. 7개 연구 에이전트와 ResearchHarness의 17개 LLM을 비교하며, GPT-5.1이 전문가 구성 루브릭으로 최종 보고서를 평가한다. RADS의 50점은 참조 논문 수준의 증거를 뜻한다. 에이전트 중 가장 높은 평균은 Claude Code 21.5점, Harness 모델은 Claude-Opus-4.7 20.7점이었다. 주요 오류는 실험설계 불일치·증거 불일치·과학적 핵심 누락에 집중됐다. §3–4·Limitations.
[조건·한계] 점수는 정확도 퍼센트가 아니다. 기존 데이터·코드 기반 dry-lab 평가이며 실제 실험실 조작을 검증하지 않는다. 주로 최종 산출물을 평가하고, 새로운 결론의 평가는 기존 논문 루브릭만으로 충분하지 않다. 본문 내 에이전트 frontier 평균은 24.6·25.8로 서로 달라 해당 수치를 채택하지 않았다. 고정 자원 조건의 세부 상한은 확인한 본문에서 명확히 확보하지 못했으므로 비용 동등성이나 일반 모델 순위를 주장하지 않는다.
[설계 해석] PaperBench가 논문을 보고 구현을 재현하는 과제라면 이 평가는 목표 논문을 가리고 핵심 증거를 다시 구성하도록 한다. 입력 정보가 다르므로 점수를 직접 비교할 수 없다. 장기 임무에서 코드가 계속 실행되더라도 연구의 핵심을 놓칠 수 있으므로, 중간 단계의 주장–실험–증거 연결을 감사할 필요가 있다.
8.3 LabOS — 사람이 수행하는 실험에 AI가 참여한다
[저자 결과·프리프린트 v2] LabOS는 다중 에이전트의 디지털 연구와 스마트글라스·XR의 물리 실험 지원을 연결한다. LabSuperVision은 연구자 7명이 기록한 200개 초과 세션과 전문가 5명의 주석을 사용한다. 프로토콜 정렬과 오류 식별을 0–5점 전문가 척도와 GPT-5 비교자로 평가한다. FineBio·JoVE·LSV를 80/10/10으로 나눠 Qwen-VL 계열을 LoRA SFT와 GRPO로 후학습하며, 235B 모델의 보류 시험 부분집합에서 오류 탐지 정확도 90% 초과를 보고한다. v2 PDF, LSV·LabOS-VLM 절.
[조건·한계] 녹화 영상의 보류 평가를 실시간 현장 오류 예방률로 해석하지 않는다. 분할이 독립 기관·운영자·프로토콜의 전이를 충분히 보장하는지도 별도 검증이 필요하다. 생의학 응용은 기능 실험·세포 연구와 사람의 실험 수행을 포함하며 임상 효능이나 완전 무인 연구를 입증하지 않는다. 저자가 구축·평가한 연구로서 외부 독립 재현과 구분한다.
[설계 해석] 인간 참여를 남은 자동화 결함으로만 볼 필요가 없다. 사람이 보유한 암묵지를 영상·절차·수정 기록으로 구조화하고 AI가 관측 부족을 알리는 협업 인터페이스를 연구할 수 있다. 다만 데이터 수집량과 연구자의 실제 오류 감소를 동일한 성과로 세지 않아야 한다.
8.4 기존 연구와 기간 밖 배경을 연결한다
[기존 블로그 근거] Beyond Execution(2608.26753)은 2026-08-30 글에서 이미 다뤘다. 이번에는 원문을 재확인해 실행 완료와 실험 충실도의 구분을 연결하며 신규 발견 수에 넣지 않는다. AI Scientist의 2026-03-25 Nature 출판도 기존 글의 참고문헌에 있어 별개 신규 논문으로 세지 않는다.
[기간 밖 최초 공개·배경] AILA/AFMBench는 arXiv 최초 제출 표시 2024-12-18, Research Square 공개 표지 2024-12-19를 확인했다. 이후 v2는 2025-07-07, 정식 출판은 2025-10-14다. 실물 AFM 작업 100개와 지시를 벗어난 sleepwalking을 보고하지만, 이는 본 실행의 독립 재현이 아니다. 식별자 앞자리만으로 최초 공개연도를 판단하지 않았다.
8.5 통합 방법 제안
| 계층 | 산출물 | 판정 기준 |
|---|---|---|
| 지식·멀티모달 이해 | 출처·단위·시점·시료가 정렬된 관측 | 문헌 내용과 현재 현장 상태 구분 |
| 가설·사전 검토 | 경쟁 설명·비교군·반증 기준·미결정 항목 | 새로움과 방법론적 타당성 분리 |
| 능동 실험설계·BO | 정보 가치·실행 가능성·총 비용의 다음 행동 | 같은 초기 데이터·예산·중단 규칙 |
| 도구·시뮬레이션·장비 실행 | 버전 고정 코드·프로토콜·실행 계약 | 계획 준수와 물리적 사후조건 확인 |
| 인간-AI 협업 | 승인·수정·인계·주의 부담 기록 | 사람이 보충한 근거를 자동 성과와 구별 |
| 기억·복구·검증 | 실패 분기·원시 자료·판정·정정 계보 | 독립 평가와 재실행으로 주장 재검사 |
이 구조는 세 논문이 공동 실증한 시스템이 아니다. 장기임무와 자율실험실을 연결할 때 사전 판단, 실행 중 관측, 사후 증거가 동일한 임무 식별자로 이어지도록 하는 설계 제안이다.
PART 09
9 Key Applications
| 응용 | 이번 근거의 범위 | 추가 검증 |
|---|---|---|
| 연구 아이디어 검토 | ML 제안의 방법론적 판단 | 다른 과학 분야·국내 과제의 라벨과 오승인·오기각 비용 |
| 계산 연구 에이전트 | 기존 데이터 기반 재발견 평가 | 실행 중 충실도·비공개 과제·다른 평가자 |
| 실험 교육·품질 지원 | 영상 이해와 XR 협업 | 실시간 현장 오류·경고 지연·주의 부담 |
| 국가 연구 플랫폼 | 정책의 코드·로그·데이터 축적 요구 | 주장–실험–증거의 기관 간 재검사 |
| 장기임무·자율실험실 | 여러 연구를 연결한 설계 제안 | 드리프트·도구 변경·관측 불능 실패·복구 |
ETRI의 과학 멀티모달 모델은 단순한 논문 질의응답을 넘어 관측과 주장 사이의 연결을 다룰 수 있다. 플랫폼 연구는 서로 다른 에이전트·도구·장비의 상태와 계보를 보존하는 공통 실행환경에 기여할 수 있다. 이는 정책의 역할(안)과 논문 근거를 연결한 연구기획 해석이며 확정 사업 분담이 아니다.
능동 실험설계는 가장 유망한 가설만 선택하는 기능으로 제한할 필요가 없다. 현재 증거의 취약성을 가장 잘 구별하는 실험, AI 판단이 불안정해 전문가 검토가 필요한 계획, 복구 비용이 낮은 대안을 함께 선택하는 연구로 확장할 수 있다.
PART 10
10 Open Problems
과학적 타당성의 정답은 얼마나 안정적인가
전문가 간 불일치가 있는 상황에서 단일 라벨을 절대 정답으로 쓰면 모델이 합리적으로 보류한 판단을 오답으로 처리할 수 있다. 평가 라벨의 출처, 불일치, 판단에 제공된 자료를 함께 공개해야 한다. 사전 제안 단계와 완성 논문 단계의 판단을 섞지 않는 것이 중요하다.
검증자를 누가 검증하는가
LLM 심사자는 길고 자신감 있는 보고서를 높게 평가하거나 원시 자료와 맞지 않는 설명을 놓칠 수 있다. 일부 과제에서 전문가와 일치했다는 사실만으로 모든 분야의 독립성을 보증할 수 없다. 검증자 변경·보고 형식 변경·자료 가림을 포함한 강건성 시험이 필요하다.
협업의 장기 효과
AI가 경고를 자주 내면 사람은 경고를 무시하거나 판단을 지나치게 위임할 수 있다. 단기 과제 완료 시간 외에 과학적 이해, 장기 오류 재발, AI 없이도 수행할 수 있는 능력의 변화를 살펴야 한다. 이번 자료만으로 장기적인 전문가 역량 변화가 입증된 것은 아니다.
학습 데이터와 평가 데이터의 계보
영상·논문·코드가 학습과 평가에 동시에 쓰일 수 있다. 같은 프로토콜의 다른 영상이나 같은 논문의 재서술은 겉으로 다른 자료여도 누수일 수 있다. 국가 데이터 플랫폼은 물질·프로토콜·시간·장비·기관 단위의 분할과 사용 이력을 지원해야 한다.
PART 11
11 Future Directions
2028–2032년의 연구 목표는 ‘더 많은 연구를 자동 생성하는 체계’와 함께 ‘잘못된 연구 결정을 찾아 수정하는 체계’를 확보하는 데 둘 수 있다.
| 기술 묶음 | 2028–2029 연구 | 2030–2032 검증 |
|---|---|---|
| 과학적 판단·반증 지원 모델 | 제안의 비교군·누수·지표·반증 조건 추출 | 오승인·오기각·보류의 효용; 다른 분야·전문가 판단 |
| 증거에 접지된 과학 멀티모달 모델 | 논문·영상·구조·센서와 주장 연결 | 새 기관·프로토콜에서 관측·판정·불확실성 |
| 실행 충실도 감사 에이전트 | 계획–코드–프로토콜–결과의 자동 대조 | 미공개 결함·복구·도구 변경; 코드 완료와 과학적 성공 분리 |
| XR·인간-AI 실험 협업 | 암묵지·승인·수정·경고 기록 | 실제 오류·시간·주의 부담·인간 역량의 장기 효과 |
| 연합 연구 기억·독립 평가 플랫폼 | 데이터·코드·로그·라벨·정정의 계보 | 다기관 재실행·평가자 교체·누수와 오류 전파 |
연구 구상 A — 비판을 실험으로 바꾸는 에이전트
사전 심사가 ‘좋다/나쁘다’만 출력하지 않고 결함의 근거, 최소 수정안, 결론을 바꿀 관측을 생성하게 한다. 같은 예산에서 심사 문구만 바꾼 모델보다 유효한 실험계획을 더 많이 만드는지 검증한다. 비판의 분량보다 실제 수정 후의 타당성으로 평가한다.
연구 구상 B — 불일치가 클수록 검증 자원을 배분한다
동일 계획에 대한 모델·전문가 판단의 차이, 관측 부족, 잠재 비용을 이용해 추가 검토 순서를 선택한다. 다수결 대신 증거를 구별할 실험이나 전문가 검토를 선택하고, BO의 정보 이득과 인적 검토 비용을 결합한다. 불일치가 진짜 결함을 예측하지 못하면 이 가설을 기각해야 한다.
연구 구상 C — 원시 근거를 가진 협업 기억
XR 경고가 맞았는지, 사람이 왜 무시하거나 수정했는지, 이후 관측이 무엇을 보여줬는지 기록한다. 보고서 요약 기억과 비교해 반복 오류·잘못된 인계·근거 없는 결론을 줄이는지 검사한다. 개인정보·접근권을 포함한 현장 운영 조건도 연구 설계에 반영해야 한다.
핵심은 자율성을 늘리는 속도와 검증 능력을 늘리는 속도를 함께 관리하는 것이다. 정책의 2029·2032·2035 목표연도는 해당 발표 문서에 귀속시키고, 본 제안의 2028–2032년 연구기간과 구분한다. 위 사업 후보와 구상은 검증할 제안이며 확정 사업명·예산·기관 역할이 아니다.
EVIDENCE REGISTER · 2026-11-16 KST
출처·버전·중복·검증 범위
직전 원장 27편에 기간 내 연구 3편을 새로 검토해 이 연속 글의 원장은 30편이 됐다. 이는 분야 전체의 논문 수나 오늘 처음 공개된 논문의 수가 아니다. 기존 블로그에서 이미 다룬 2건은 별도 연결 자료로, 최초 공개가 2024년인 AILA는 배경으로 분류했다. 검색 범위는 2025-01-01부터 실행일 현재까지이며 최근 24시간에 제한하지 않았다.
| 연구 | 최초 공개·확인 버전 | 심사 상태·접근 범위 |
|---|---|---|
| SoundnessBench | 2026-05-28; v3 2026-10-23 | 프리프린트. v3 HTML의 데이터 구축·평가·표2–3·한계. 정식 출판 확인 못함 |
| ResearchClawBench | 2026-05-28; v5 2026-07-03 | 프리프린트. 최신 원문 HTML §3–4·Limitations를 직접 내려받아 확인. 웹 추출 실패를 다른 경로로 보완 |
| LabOS | 2025-10-16; v2 2025-12-08 | 프리프린트. arXiv v2 PDF의 시스템·LSV·후학습·협업·응용 확인. bioRxiv 전문은 403/429로 실패; 같은 연구로 묶음 |
arXiv 제출·개정 날짜는 원 사이트의 UTC 날짜를 보존한다. KST 조사일·게시일과 구분한다. 이번에 처음 읽은 v3·v5를 오늘 개정된 자료로 세지 않았고, 구버전과의 의미 있는 실험 차이를 분석했다고 주장하지 않는다. 정식 출판을 확인하지 못했다는 것은 미출판의 전면적 증명이 아니다.
원논문과 재현 자료
- Ho 외, SoundnessBench v3. 저자 코드 · 저자 데이터. 결과의 대리 라벨과 제안 전용 전문가 라벨을 구분했다.
- Xu 외, ResearchClawBench v5. 저자 프로젝트 · 코드 · 데이터. 원문에 서로 다른 frontier 평균이 있어 그 값은 비교에 쓰지 않았다. 코드 실행·독립 재현은 수행하지 않았다.
- Cong 외, LabOS v2 PDF. 공식 코드 저장소 · 저자 프로젝트 · 동일 연구의 bioRxiv. 변동 가능한 웹 리더보드 점수보다 확인한 v2 PDF 조건을 우선했다.
- Beyond Execution, 최초 2026-08-27, v1 재확인. 기존 블로그 글에 포함돼 신규 발견 수에서 제외. Towards end-to-end automation of AI research, Nature, 2026-03-25도 기존 글의 출판 연결로 유지.
- Mandal 외, AILA 프리프린트. 최초 제출 표시 2024-12-18; Research Square 표지 2024-12-19. 이후 v2 2025-07-07, Nature Communications 출판 2025-10-14. 배경 원연구로만 사용. 출판사 검색에서 제공한 본문·서지는 읽었으나 직접 HTML은 인증 리디렉션으로 실패했다.
정책 원문·공식 후속 경로
- 과기정통부, 「AI시대 과학기술 경쟁력 대도약을 위한 K-문샷 추진전략(안)」, 2026-02-25, PDF p.24. 공식 정책자료·첨부. 역할(안)과 확정 배분 구분.
- 과기정통부, 「K-문샷 추진현황 보고」, 2026-03-11, PDF p.21. 정부 공식 회의·안건3. 일정은 보관 PDF 표에 근거하며 웹 회의 안내와 구분.
- 과기정통부 제출, 제13회 과학기술관계장관회의, 「K-문샷 전략 로드맵(안)」, 2026-09-30, PDF p.4·pp.19–20. 공식 연구기관 게시 경로. 보관 원문 p.4·p.20을 재확인하고 별도 상세 로드맵 발표 단서 유지.
- NST, 공식 사업공고 목록과 AI 과학자 독립 검증·재현 인프라 기획 공고를 2026-11-16 확인. 기존 미확인 RFP를 읽은 것으로 처리하지 않음.
- 같은 공식 목록에서 「K-문샷 프로그램 성과관리·평가체계 수립 연구」 기획 공고의 작성일 2026-11-06·마감일 2026-11-16을 새로 확인했다. 이번 확인 범위는 목록의 제목·날짜다. 전문·RFP는 검토하지 않았으므로 확정 성과지표나 평가제도 개정 근거로 사용하지 않는다. 사전·사후 검증을 함께 기획할 필요성과의 연결은 이 글의 제안이다.
실시간 검색에서 새 확정 AI 과학자 상세 로드맵 원문을 확보하지 못했다. 이는 정책 개정이 없다는 증거가 아니다. 기존 예산·기관 역할·목표를 추정하지 않았고, 보관 정책 원문과 오늘 웹에서 읽은 내용을 구분했다.
직전 원장의 버전 재확인
| 연구 | 식별자·확인 버전 | 차이 |
|---|---|---|
| Co-Scientist | 2502.18864 v2 · 2026-06-29 | 직전 표시와 동일 |
| The AI Scientist-v2 | 2504.08066 v1 | 직전 표시와 동일 |
| AI-Researcher | 2505.18705 v1 | 직전 표시와 동일 |
| AlphaEvolve | 2506.13131 v1 | 직전 표시와 동일 |
| Intern-S1 | 2508.15763 v2 · 2025-08-24 | 직전 표시와 동일 |
| DeepScientist | 2509.26603 v1 | 직전 표시와 동일 |
| Kosmos | 2511.02824 v2 · 2025-11-05 | 직전 표시와 동일 |
| Robin | 2505.13400 v1 | 직전 표시와 동일 |
| LLM-AutoSciLab | 2605.24043 v1 | 직전 표시와 동일 |
| Sage-Taiyi | 2611.12762 v1 | 직전 표시와 동일 |
| SciMARS | 2611.12552 v1 | 직전 표시와 동일 |
| Physical Testbed for Self-Driving Laboratories | 2611.11690 v1 | 직전 표시와 동일 |
| Discovering formally verified quantum programs with AI | 2611.09822 v2 · 2026-11-09 | 직전 표시와 동일 |
| Interpretable self-driving sputter epitaxy | 2602.22531 v1 | 직전 표시와 동일 |
| Contrastive Discovery: Open-Ended Scientific Discovery over Competing Explanations | 2611.14514 v1 | 직전 표시와 동일 |
| Scientist World: Grow a Research World for AI-Scientists | 2611.08478 v1 | 직전 표시와 동일 |
| El Agente Fármaco: A Scalable AI Scientist for Drug Discovery | 2611.03832 v1 | 직전 표시와 동일 |
| Reimagining computational quantum research with AI scientists | 2611.02833 v1 | 직전 표시와 동일 |
| When AI Does Science: Evaluating the Autonomous AI Scientist KOSMOS in Radiation Biology | 2511.13825 v1 | 직전 표시와 동일 |
| AutoDNA — An AI-native experimental laboratory for autonomous biomolecular operations | 2507.02379 v1 | 직전 표시와 동일 |
| MIND: AI Co-Scientist for Material Research | 2604.13699 v2 · 2026-11-04 | 직전 표시와 동일 |
| BEAKER: An Expert-Curated Benchmark for Embodied Brains in Self-Driving Chemical Laboratories | 2611.06911 v1 | 직전 표시와 동일 |
| Embodied Science Agents: Making Embodied Experimental Design Learnable | 2611.12958 v1 | 직전 표시와 동일 |
| Self-Building Labs | 2610.23826 v2 · 2026-10-30 | 직전 표시와 동일 |
PaperBench의 2504.01848 v3(2025-04-07)도 재확인했다. 기존 ETRI 기술 동향 논문, 학회 서베이, 출판 DOI와 정정 연결은 원장에 유지한다. 모든 논문의 모든 정정·독립 재현을 완전 재조사했다고 주장하지 않는다. 직접 접근 실패를 ‘변화 없음’으로 처리하지 않고, 보완한 원문 경로와 남은 제한을 표시했다.
HTML·SVG·목차·메타데이터·강조·Liquid 호환성은 정적으로 검사한다. 실제 브라우저 렌더링 여부와 커밋·Pages 배포 상태는 별도로 보고한다. 검색 결과의 수집일을 최초 공개일로 사용하지 않았으며 실행일 이후 자료를 실적으로 인용하지 않았다.