K-MOONSHOT · AI SCIENTIST RESEARCH WATCH

Valid Experiments, Persistent State, and Transferable Scientific Agents

실험이 제대로 수행됐는가, 기억이 다음 행동에 유효한가 — 생물학적 전이 평가와 장비 확장까지 연결한 AI 과학자 연구기획

· RESEARCH WINDOW 2025-01-01 → 2026-11-17 · FOUR NEWLY REVIEWED STUDIES + ONE SUBSTANTIVE REVISION

AI 과학자의 실행과 증거 사이연구자가 의도한 조건, 장비가 실현한 상태, 센서가 관측한 결과를 구분한다. 실험 유효성을 판정한 뒤 가설을 갱신하고, 데이터 분할과 기억의 유효성을 검증한다. 국가 플랫폼은 이력과 독립 재현을 연결한다. 이번 논문들을 종합한 분석과 제안 도식이다. 의도한 실험실현된 상태관측한 결과유효 실험인가? 가설을 갱신할 근거인가?기억의 유효기간·복구 이력분할 독립성·새 조건의 전이국가 연구 플랫폼 · 실행 기록 · 독립 검증·재현 가설 · 프로토콜 · 설계시료 · 장비 · 부품센서 · 이미지 · 측정실패 진단 → 교정 또는 확인 실험AstroMemBench · 장기임무 제안BioXArena / Pro · 데이터 경계명령 성공과 과학적 증거를 구분
그림 1. 실험의 의도·실현·관측을 구분하고 기억·전이·재현으로 연결한 분석 도식. Embodied AI 리뷰의 구분을 출발점으로 다른 연구와 정책 요구를 연결했다. 도식 전체가 특정 논문의 검증 결과는 아니다.

핵심 관계: 올바른 명령만으로 발견이 성립하지 않는다. 실제 상태와 기록의 유효성을 확인해야 다음 실험과 다음 기관으로 지식을 옮길 수 있다.

초록

AI 과학자의 다음 병목은 더 긴 보고서보다, 어떤 결과를 믿고 다음 행동에 사용할 수 있는지를 판단하는 능력에 있다.

이번 실행은 직전 글의 30편 원장과 제출·개정 표시를 대조하고, 기간 내 연구 4편을 새로 검토했다. 부분 관측 실험을 정리한 Embodied AI 리뷰, 생의학 모델링의 BioXArena와 BioXArena-Pro, 재시작 후 기억을 평가하는 AstroMemBench가 대상이다. Self-Building Labs v3의 새 하드웨어 제작·설치 실험도 확인했다. 신규 발견은 오늘 처음 공개된 연구라는 뜻이 아니다.

정책에서는 이전에 열지 못했던 NST 제안요구서 원문에 접근해 독립 검증·재현 인프라 기획의 요구를 구체화했다. 아래에서는 [정책 원문], [저자 결과], [분석적 연결], [신규 제안]을 구분한다. 수치들은 서로 다른 과제·자원·인간 참여 조건에서 나온 결과이며 통합 순위로 비교하지 않는다.

PART 01

1 Definition

AI 과학자를 ‘논문을 쓰는 챗봇’으로 정의하면 검증해야 할 핵심을 놓친다. 이 글에서는 연구 목표를 받아 근거를 수집하고, 반증 가능한 가설과 실험을 구성하며, 도구 실행·결과 해석·다음 의사결정을 연결하는 시스템을 분석 대상으로 삼는다. 아래 구분은 명칭의 보편적 표준이 아니라 자동화 범위와 책임을 명료하게 설명하기 위한 실무적 정의다.

범위와 인간 참여 수준은 서로 다른 축이다
범주주요 범위인간 참여·검증 경계
AI for Science예측·역문제·시뮬레이션·탐색 등 과학 문제에 AI 적용연구 전주기 자율성을 전제하지 않음
연구지원 에이전트검색·코딩·문서화 등 지정 업무를 도구로 수행연구자가 목표·타당성·다음 단계 결정
AI Co-Scientist가설·계획·비판·분석을 연구자와 협업인간의 선택·실험·해석·승인 범위를 명시
AI Scientist가설부터 검증·보고까지 여러 단계를 연결과제·도구·중단 조건 안의 자율성; 전면 무인과 동의어 아님
Self-Driving Laboratory실험 선택과 물리 장비·측정을 폐루프로 연결시료 준비·교정·유지보수·안전 감독 포함 여부를 별도 보고

자율성은 시스템 이름이 아니라, 위임한 결정과 인간이 실제 개입한 구간으로 평가해야 한다. 코드 기반 실험을 잘 수행하는 시스템과 실제 장비를 조작하는 시스템은 서로 다른 능력을 검증한다. 사람이 실험을 수행하면서 AI의 안내를 받는 협업 방식도 중요한 연구 대상이다.

PART 02

2 Problem Definition

핵심 문제는 관측 결과를 다음 연구 의사결정에 사용할 수 있는지 판정하는 것이다. 같은 음성 결과라도 가설이 틀렸을 수도, 시료가 잘못 준비됐을 수도, 장비가 정상 작동하지 않았을 수도 있다. 단순히 ‘성과 없음’으로 저장하면 이후 에이전트가 유망한 가설을 버리거나 동일한 장비 오류를 반복할 수 있다.

[분석적 연결] 다음 네 경계를 함께 관리해야 한다. 첫째, 명령한 실험과 실제로 실현된 실험의 차이. 둘째, 관측한 데이터와 주장할 수 있는 결론의 차이. 셋째, 과거에 유효했던 기억과 현재 조건에 유효한 지식의 차이. 넷째, 공개 데이터에서 얻은 성능과 새로운 생물학적 단위·기관·장비에서의 전이 성능의 차이다.

따라서 목표는 실험 횟수의 최대화만이 아니다. 일정한 시간·비용·위험 범위에서 유효한 증거와 재현 가능한 결론을 얼마나 확보했는지가 더 적절하다. 실험 실패를 포함한 전체 분모와 인간 지원 시간을 공개해야 그 효율을 평가할 수 있다.

PART 03

3 Core Concepts

통합 이해: 문헌의 문장과 현장의 상태를 연결한다

멀티모달 과학 이해에는 텍스트·수식·분자 구조·표·이미지·시계열·장비 로그의 정렬이 필요하다. 단위, 시료 식별자, 시간, 장비 설정, 데이터 생성 이력이 연결돼야 ‘같은 실험’을 가리키는지 알 수 있다. 문헌 검색 결과를 많이 모으는 것과 관측이 생성된 조건을 이해하는 것은 구별해야 한다.

추론과 가설: 경쟁 설명을 가르는 실험을 만든다

가설은 ‘좋아질 것이다’보다 무엇이 어떤 조건에서 어떻게 변하며, 어떤 관측이 나오면 보류·기각할지를 포함해야 한다. 생성 에이전트, 반례 탐색 에이전트, 실행 에이전트, 평가자는 서로 다른 근거를 확인하도록 설계할 수 있다. 다만 같은 모델·문헌·평가 기준을 공유한 여러 에이전트의 합의는 독립적인 재현을 대신하지 않는다.

능동 실험설계와 베이지안 최적화

베이지안 최적화는 비싼 실험의 다음 조건을 고르는 방법이고, 베이지안 실험설계는 관심 가설·매개변수의 불확실성을 줄이는 관측을 선택한다. 실제 장비에서는 후보 탐색뿐 아니라 교정·재측정·장비 진단도 가능한 행동이어야 한다. 관측 잡음을 일정하다고 가정하는 대리모델은 장비 드리프트와 시료 변화가 큰 상황에서 잘못된 확신을 만들 수 있다.

[신규 제안의 개념식] 행동 선택 = 기대 정보가치 − 실행비용 − 위험비용. 단, 실험 유효성 조건을 만족한 결과만 가설 갱신에 사용한다.

이는 이번 논문들의 공통 성능 공식이나 확정 KPI가 아니다. 정보 획득과 진단의 비용을 함께 비교하자는 설계 원칙이다. 실제 구현에서는 확률모형과 제약을 명시하고, 유효성 판정이 불확실한 결과를 무조건 버리기보다 관측모형에 포함하는 대안도 비교해야 한다.

기억·복구·메타인지

연구 기억은 과거 대화의 요약을 넘어 원시 근거, 적용 조건, 유효 시점, 장비·모델 버전, 반례, 실패 원인과 복구 결과를 보존해야 한다. 메타인지는 자신감 표현보다 필요한 추가 관측을 요청하거나 결론을 보류하는 행동으로 평가할 수 있다. 자율실험실의 Lab-in-the-Loop는 이 판단을 다음 물리 실험으로 연결하고, Human-in-the-Loop는 권한과 해석의 경계를 보완한다.

PART 04

4 Introduction

직전 글은 연구 시작 전 타당성 판단과 실행 후 증거의 충실도를 다뤘다. 오늘의 새 근거는 그 사이를 더 세밀하게 나눈다. 실험이 의도대로 수행됐는지를 확인하고, 기억과 데이터가 다른 조건에서도 유효한지 검사하며, 필요한 장비 기능을 확장한 뒤에도 그 실현 상태를 검증해야 한다.

새로 반영한 근거와 달라진 질문
근거기존 관점에 추가한 내용해석 경계
Embodied AI 리뷰실험 자체의 부분 관측과 세 종류의 연결 완결성문헌 종합 틀; 새 알고리즘 성능 실증 아님
BioXArena동일 기반 모델에서도 실행 구조·완료율이 성능에 영향생의학 데이터 기반 모델링 평가
BioXArena-Pro생물학적 단위의 보류·과제 재구축·오염 점검잔여 공개 라벨 중첩과 참조법 비교 비대칭 존재
AstroMemBench세션 재시작 후 기억을 행동에 사용하는지 평가결정적 실행 환경; 실제 우주 임무 검증 아님
Self-Building Labs v3새 부품을 제작·설치해 실험 장비 기능 확장새 사례; 무감독 전체 실험실 건설의 증명 아님
NST RFP 원문 확보독립 평가·전수 기록·재현 네트워크의 구체적 기획 요구기획 요청; 상세 미션 로드맵·본사업 확정 아님

연속 글의 연구 원장은 30편에서 34편으로 늘었다. Self-Building Labs와 Sage-Taiyi의 버전 갱신은 같은 연구이므로 새 논문 수에 더하지 않았다. 직전 글의 공개 페이지 HTTP 200과 해당 게시 커밋의 Pages 작업 성공을 확인한 상태에서 대조했다.

PART 05

5 Motivation and Background

[정책 원문] 과기정통부 「K-문샷 추진전략(안)」(2026-02-25), PDF p.24는 연구 전주기 통합 AI Scientist 플랫폼, 과학적 발견 핵심기술, 국가 연구데이터 연계, 과학 특화 멀티모달 독자모델, 버티컬 AI 파인튜닝 툴킷을 제시한다. ETRI·KISTI 플랫폼, ETRI 과학 모델, KISTI 데이터는 원문의 역할(안)으로 유지한다.

정책 목표연도는 해당 문서에 귀속한다
문서·발표일PDF 위치·확인 내용기획에서의 취급
추진전략(안) · 2026-02-25p.24: 플랫폼·모델·데이터·툴킷기관 역할을 확정 배분으로 강화하지 않음
추진현황 보고 · 2026-03-11p.21: 2029 협업형 가설설계·실험·검증; 2032 인간 개입 최소화 장기임무·자율실험실 연계; 2035 완전 자율형 발견3월 보고의 마일스톤으로 인용
전략 로드맵(안) · 2026-09-30p.4: AI 과학자 미션 상세 로드맵 별도 발표 예정; pp.19–20: 과학 추론 모델·에이전트·과학 AI-OS·자율실험실 연계3월 일정을 9월 확정 상세 로드맵으로 서술하지 않음

9월 원문 p.20은 연구 과정의 데이터·코드·에이전트 실행 기록을 축적하고, 장비 인터페이스·프로토콜·데이터 규격의 상호 운용성을 확보하며, 실험 결과 판정·검증 기준과 원데이터 공개 체계를 마련하는 방향을 제시한다. ‘무엇을 실행했는가’와 ‘그 결과를 믿을 수 있는가’를 함께 남겨야 한다는 이번 분석의 정책적 접점이다.

이번에 처음 확보한 독립 검증·재현 RFP

[공식 후속 원문] NST가 2026-11-12 공고한 「AI 과학자 독립 검증·재현 인프라 구축사업 기획 연구」의 첨부1 HWPX를 직접 내려받아 본문 XML을 확인했다. 웹 뷰어는 파일 형식 오류를 냈지만 원본은 읽을 수 있었다. RFP의 ‘배경 및 목적’은 개발·플랫폼 운영과 구분되는 독립 검증 주체와 공통 심사절차, 2028년 착수 목표 신규사업의 추진체계·예산 구체화를 요구한다. 이는 본사업 예산 편성·시행 확정의 증거가 아니다.

‘주요 내용 및 범위’는 재현 패키지·사전등록, 평가자 자격·이해충돌, 데이터·평가예산 접근권, 자율성의 진입·상향·중단·재심의, 판정·이의제기, 다기관 재현 네트워크와 성공·실패·미완료 전수 기록을 요구한다. 안전 필수조건을 생산성으로 상쇄하지 않는 원칙도 명시한다. 공통기준 초안은 착수 2개월 내 과제 2에 인계하도록 한다. ‘활용방안’에는 2028년 신규사업 기획·예산 요구와 2029년 1단계 종합 평가의 공통 심사·KPI 설계가 제시된다. RFP는 검증·재현을 공개예정 로드맵의 ‘5대 핵심기술 ④’로 지칭하지만 이 문구만으로 나머지 기술체계를 추정하지 않는다.

신약개발 학습·벤치마크 데이터 기획 RFP도 원문 확인

[공식 후속 원문] 2026-11-13 공고한 NST 「신약개발 AI-ready 학습과 벤치마크 데이터 구축사업 기획 연구」 첨부1도 이번에 처음 읽었다. 구조·서열과 약효·물성·안전성을 연결하는 실측 데이터, 저분자·뉴모달리티 학습 데이터, 공통 평가과제와 표준실험·기관 간 교차검증, 학습데이터와 독립된 시험 데이터 및 비공개 평가·갱신체계의 기획을 요구한다. 전략연구사업·정부수탁사업·출연연 참여 가능성 검토도 과업이다. 표기 기간은 협약일로부터 9개월('26.12.~'27.9.), 기획연구비 100백만원(VAT 포함)이며 역시 후속 본사업의 확정 예산이 아니다.

[분석적 연결] BioXArena-Pro에서 확인한 잔여 중첩 문제는 정책의 ‘독립된 시험 데이터’를 파일 분리만으로 구현할 수 없음을 보여준다. 원천 시료·생물학적 단위·공개 이력·학습 가중치까지 점검하고, 공개에 따른 오염을 고려해 평가 데이터를 갱신하는 방안을 기획할 수 있다. 이 연결은 분석이며 RFP가 특정 해외 벤치마크를 채택했다는 뜻은 아니다.

[후속 검색의 한계] 정부·NST 공식 발표와 사업공고 목록을 다시 확인했으나 새 확정 AI 과학자 상세 로드맵 원문은 확보하지 못했다. 11월 정책 세미나 첨부 전문은 이번에도 확보하지 못했다. 새 원문 확보와 정책 자체의 새 개정을 구분하며, 공고의 행정적 마감 상태 변화는 미션 목표 변경으로 세지 않는다.

[분석적 연결] ETRI의 2028–2032년 제안은 모델·플랫폼의 개발 성과와 그 성과를 독립적으로 판단할 근거를 함께 설계할 필요가 있다. 외부 평가자가 원시 기록에 접근하지 못하거나 실패가 빠지면 장기임무의 자율성을 객관적으로 평가하기 어렵다. 아래 사업 구상은 이 요구에 대한 분석과 제안이다.

PART 06

6 Challenges

실험 실패와 유효한 음성 결과

실험이 성립하지 않았다는 판단과 가설을 지지하지 않는 결과는 다르다. 실패를 모두 재시도하면 비용이 늘고, 모두 음성 결과로 저장하면 잘못된 지식이 쌓인다. 진단 행동 자체가 시료를 소모하거나 상태를 바꿀 수 있으므로 진단의 정보가치와 비용도 비교해야 한다.

데이터를 가렸어도 생물학적 단위는 겹칠 수 있다

행 단위 무작위 분할은 동일 환자·기증자·종·실험 배치의 정보가 양쪽에 남는 문제를 놓칠 수 있다. 테스트 라벨을 에이전트 파일시스템에서 숨겨도 공개 원천 데이터나 사전학습 가중치의 정보가 남을 수 있다. 비식별화·네트워크 규칙·출처 감사는 함께 필요하며 어느 하나가 완전한 오염 방지를 보장하지 않는다.

기억이 커질수록 상태 충돌도 커진다

과거 프로토콜, 현재 교정값, 다른 기관의 장비 설정이 한 검색 결과에 섞일 수 있다. ‘무엇을 기억했는가’보다 현재 행동이 유효한 제약을 따르는지가 중요하다. 기억 삭제·수정·만료·모순 해결이 성능과 안전에 미치는 영향을 따로 측정해야 한다.

자율 확장 이후의 검증

에이전트가 만든 부품이 장착돼도 치수 공차·내구성·오염·측정 영향은 별도 문제다. 디지털 트윈의 충돌 없는 경로가 물리적 조립 상태를 보증하지 않으며, 장비 기능의 확장은 교정과 재현성 관리의 범위를 넓힌다. 물리적 도구를 실행하는 능력과 과학적 신뢰성을 함께 평가해야 한다.

PART 07

7 Research Questions

신규 제안: 방법·비교군·반증 기준을 함께 정한다
질문동일 예산의 비교 실험반증·보류 기준
RQ1. 진단을 선택하는 에이전트가 더 유효한 발견을 하는가?항상 탐색·고정 교정 주기·불확실성 기반 진단을 비교유효 증거/총비용이 개선되지 않으면 효율 주장 보류
RQ2. 조건을 기록한 기억이 복구를 개선하는가?요약·RAG·시점/적용범위/원시 근거를 가진 기억 비교; 강제 재시작 포함회상 점수만 오르고 유효 행동·복구율이 개선되지 않으면 기각
RQ3. 다중 에이전트의 비판이 자원 낭비를 줄이는가?기반 모델 고정, 단일·계획/실행·독립 근거 점검 구조 비교토큰·시간 증가에 비해 완료율·증거 품질이 나아지지 않으면 보류
RQ4. 전이 평가가 실제 외부 성능을 예측하는가?행 무작위·생물학적 단위·시점·기관 보류 분할을 외부 코호트와 연결내부 개선이 외부 검증에서 사라지면 일반화 주장 기각
RQ5. 스스로 만든 장비 부품이 재현성을 유지하는가?기존 부품·AI 제작 부품을 반복 제작·장착하고 독립 계측작동 시연만 성공하고 공차·교정·기관 간 분산이 악화되면 보류
RQ6. 인간 개입을 줄여도 판단 품질이 유지되는가?고정 승인·위험 기반 개입·최소 개입을 동등 자원과 중단 규칙으로 비교개입은 줄지만 미탐 오류·복구 비용·위험이 커지면 목표 재설계

모든 실험은 모델·데이터·도구·분할·튜닝 예산과 인간 지원의 단위를 먼저 고정한다. 반복 실행, 오류 유형별 전수 기록, 사전등록된 확인 실험과 기관 간 재실행을 포함해야 한다. 이 질문들은 이번 논문들이 이미 해결한 결과가 아니다.

PART 08

8 Approaches(Methods)

8.1 Embodied AI 리뷰 — 실험 자체가 부분 관측이다

[저자 종합·프리프린트 v2] Embodied AI for Scientific Discovery는 시료·장비·측정 과정의 상태를 완전히 알 수 없는 실험을 분석한다. 의도한 실험이 실현되는 operational closure, 관측이 믿음·다음 실험을 바꾸는 epistemic closure, 기록이 주장을 뒷받침하는 evidential closure를 구분한다. Record–Diagnose–Calibrate–Confirm은 고정 순서가 아니라 피드백 가능한 분석 기능이다. 비교 대상은 물리 워크플로 26건과 소프트웨어 경계 사례 2건이다.

[한계] 리뷰가 제시한 분류와 설계 관점은 새로운 실험 성능의 입증이 아니다. 확인 실험은 후보 선정에 쓴 증거와의 관계를 점검해야 하며, 다른 측정 방식이라는 이유만으로 통계적·실험적 독립성이 생기지 않는다. §3–5·평가 논의.

[분석적 연결] 기존 장비 API의 반환값을 성공으로 간주하는 플랫폼보다 ‘명령·실현·관측’을 따로 기록하는 플랫폼이 오류를 진단하기 쉽다. 국가 데이터 자산에는 결과값뿐 아니라 결과를 해석할 수 있게 하는 맥락이 필요하다. 이 연결은 리뷰를 국내 플랫폼 설계로 확장한 분석이다.

8.2 BioXArena — 기반 모델과 실행 구조를 분리한다

[저자 결과·v2] BioXArena는 9개 생의학 영역의 76개 과제에서 데이터 기반 모델링 파이프라인을 평가한다. 주 비교는 18개 구성, 과제당 A100 1장·CPU 16코어·RAM 96GB·2시간이며 데이터 작업은 인터넷 없는 샌드박스에서 수행한다. 숨긴 정답으로 예측 품질과 유효 제출을 평가한다. DeepSeek-V3.2를 고정한 비교에서 MLEvolve 57.62점·69/76 유효 제출, Minimal 39.81점·55/76으로 보고한다. 점수는 실패를 포함한 0–100 정규화 평균이다.

[조건·한계] 이 비교는 해당 모델·과제·시간제한에서 실행 구조의 영향을 보여준다. 다중 에이전트가 항상 우수하다는 결론은 아니다. 과제별 지표가 다르고 실제 습식 실험을 검증하지 않는다. 전체 최고점의 요약·본문 집계 조건은 충분히 해소하지 못해 인용하지 않았다. arXiv는 NeurIPS 2026 E&D Track을 표시하지만 공식 학회 기록은 독립 확인하지 못했다. §2–3·고정 기반 모델 비교·부록.

[분석적 연결] 연구지원 에이전트의 성능은 모델 자체와 실행 구조, 완료 능력의 결합이다. ETRI 평가에서도 기반 모델을 고정한 구조 비교와 구조를 고정한 모델 비교가 모두 필요하다. 실행 성공만 조건으로 계산한 성능과 실패를 포함한 전체 성능을 병기하면 복잡한 구조가 만드는 비용을 숨기기 어렵다.

8.3 BioXArena-Pro — 새 생물학적 조건으로 옮겨갈 수 있는가

[저자 결과·프리프린트 v1] BioXArena-Pro는 출판 연구에서 재구축한 8개 영역·64개 과제를 제공한다. 다수 과제는 종·코호트 등 생물학적 단위를 통째로 보류한다. 22개 구성을 A100 80GB·EPYC 16코어·RAM 96GB·7,200초로 비교해 최고 55.1/100을 보고했다. 공개 학습 데이터와 테스트 입력은 읽기 전용, 정답은 분리하며 패키지·가중치 다운로드 등을 위한 네트워크는 허용한다.

[조건·한계] 저자가 재실행한 출판 방법은 독립 외부 재현이 아니다. 원래 방법이 그대로 적용되는 9개 과제와 재구축·혼합 과제를 구분해야 하며 ‘AI가 과학자보다 우월’하다는 결론은 성립하지 않는다. 원문은 일부 과제에서 공개 BioXArena 학습 라벨과 Pro 테스트 항목의 중첩이 남음을 인정한다. 5개 과제의 잔여 중첩은 누수 방지 조치가 완전한 오염 배제를 뜻하지 않음을 보여준다. §2·§3.1·§3.8.

[분석적 연결] 두 BioXArena 연구는 별도 벤치마크 연구이며 동일 프리프린트의 출판 중복이 아니다. 그러나 관련 데이터 출처를 공유하므로 두 결과를 독립 증거처럼 단순 합산해서도 안 된다. 국내 과학 벤치마크에는 환자·시료·원천 데이터·학습 가중치까지 이어지는 분할 계보와 오염 점검표를 연결할 수 있다. 정답 비공개와 지식 독립성은 별도 검증 항목이다.

8.4 AstroMemBench — 재시작 뒤 기억이 행동을 바꾸는가

[저자 결과·프리프린트 v1] AstroMemBench는 결정적 실행 환경의 9개 과제·140개 템플릿·2,240개 인스턴스로 기억 활용을 평가한다. 인스턴스별 30턴 읽기 전용 이력과 약 7만 토큰 배경을 제공하며, 공통 GLM-5.3-Flash·온도 0 조건에서 같은 세션과 재시작 후 수행을 나눈다. 재시작 조건의 Mem0 65.28점과 RAG 53.03점 차이는 12.25점, 95% 부트스트랩 구간은 [10.09, 14.37]이다.

[조건·한계] 각 조건·인스턴스는 한 번 채점했다. 구간은 고정 템플릿 안의 구성 그룹을 재표집한 불확실성이며 모델 반복 시드 변동을 뜻하지 않는다. 같은 세션에서 일관된 기억 시스템 우위는 없었고, 상태·자원 예약 관련 약점이 남는다. 실제 우주선·실험실 검증이 아니며 다른 구조의 생성 예산 차이까지 공정한 기억 기법 비교로 읽지 않는다. §4–5·부록 C.

[신규 제안] 장기 연구 에이전트도 세션 재시작·서버 장애·모델 교체 뒤에 프로토콜 제약과 장비 상태를 정확히 적용하는지 시험할 수 있다. 기억의 문장 회상률과 ‘유효한 다음 행동’의 성공률을 분리하고, 교정값 만료와 모순 기록을 의도적으로 넣어 복구를 평가한다. 우주 환경 벤치마크의 수치가 국내 실험실 성능을 예측한다고 주장하지 않는다.

8.5 Self-Building Labs v3 — 필요한 부품을 만들어 기능을 확장한다

[의미 있는 개정·저자 실험] 직전 v2(2026-10-30)와 v3(2026-11-13)를 대조해 §2.6 ‘Building new laboratory hardware’와 관련 방법·부록의 새 사례를 확인했다. LumaStir용 3위치 바이알 홀더를 설계·슬라이싱해 Bambu Lab A1으로 출력하고, 손목 카메라로 위치를 보정해 UR5e가 집어 장착한다. 디지털 트윈에서 계획한 UR3e–UR5e 전달 뒤 바이알을 새 홀더에 놓고 조명·교반 작동을 시연했다.

[조건·한계] 필요한 부품 하나의 제작·설치 사례이며 반복 성공률이나 독립 기관 재현을 입증하지 않는다. 카메라상 장착 확인은 정밀 계측의 대체물이 아니다. 논문의 다층·대규모 실험실 사례에는 시뮬레이션이 포함되며 물리 실험의 인간 감독·확인 경계를 지워서는 안 된다. §2.6·Methods·Appendix E.

[분석적 연결] 기존의 실험 조건 탐색에서 도구 구성 자체의 변경으로 행동 공간이 넓어졌다는 점이 새롭다. 국내 적용에서는 부품 버전·재료·제작 조건·설치·교정 결과를 실험 계보와 연결해야 한다. 설계 파일의 재현 가능성과 물리 부품의 기능 재현 가능성을 함께 검증하는 연구가 가능하다.

8.6 개정이 곧 새 성과는 아니다

Sage-Taiyi는 v1에서 v2(2026-11-13)로 갱신됐다. 비교한 본문 단락에서는 서비스 안내·주석 번호·기여자 표기 변화가 보였으며 추출한 표의 텍스트는 같았다. 확인 범위에서 새 실험 성과를 발견하지 못해 의미 있는 성능 진전으로 세지 않았다. 반면 Self-Building Labs의 새 물리 사례는 후속 분석에 반영했다. 두 경우 모두 같은 연구로 원장에 유지한다.

PART 09

9 Key Applications

응용은 가능성, 검증 수준은 현재 근거로 구분한다
응용기능 연결추가 검증
생의학 모델 개발이질적 데이터 처리·코드 작성·모델 학습·새 코호트 평가원천 데이터 중첩·사전학습 오염·기관 전이; 임상 효능과 구분
소재·박막 자율실험베이지안 탐색에 교정·진단·재측정을 통합장비 드리프트·음성 결과·시료 소모의 독립 평가
장기 계산 연구코드·시뮬레이션 실행과 실패 이력·체크포인트 복구재시작 후 제약 준수·증거 보존·반복 실행
장비 구성 변경새 부품 설계·제작·설치와 디지털 트윈 계획공차·내구·오염·교정·반복 제작; SBL 사례의 확대 검증
국가 연구 플랫폼연구데이터·모델·에이전트·실험실의 실행 계보 연결기관 간 규격·접근권·독립 재현·판정 이의제기

[신규 제안] ETRI는 과학 멀티모달 모델과 도구 실행을 연결하는 소프트웨어·플랫폼 기술을 중심으로, 도메인 연구기관과 데이터·장비 검증을 공동 설계하는 방안을 검토할 수 있다. 이는 기관 역할 확정이 아니라 2028–2032년 협력 구조의 후보이며, 데이터·플랫폼 기관과 분야별 실험실의 실제 권한·자원 합의가 전제돼야 한다.

PART 10

10 Open Problems

실험 유효성 판정의 정답은 누가 만드는가

사람도 장비 내부 상태를 완전히 관측하지 못한다. 정상·오류의 이진 라벨만으로는 불확실한 실험을 설명하기 어렵다. 판정자의 근거·합의도·추가 계측을 기록하고, 오판이 이후 가설 갱신에 미치는 영향을 추적해야 한다.

자율성 단계와 과학적 가치의 분리

사람의 개입이 적은 연구가 반드시 좋은 연구는 아니다. 낮은 자율성의 협업이 더 중요한 발견을 만들 수도 있다. 생산성, 과학적 타당성, 자율성, 안전을 각각 평가하고 필수조건의 실패를 다른 평균 점수로 덮지 않아야 한다.

공개 벤치마크와 비공개 과학 자산의 양립

공개 데이터는 재현을 돕지만 반복 노출은 평가 오염을 키운다. 제한된 평가자에게만 제공하는 새 기관·시점 데이터, 결과만 공개하는 평가, 감사 가능한 접근 로그를 조합할 수 있다. 이때 외부 평가자의 접근권과 독립성이 실질적으로 보장돼야 한다.

장기 기억의 변경과 실패 복구

잘못된 기억을 수정할 때 과거 결과의 재해석 범위도 결정해야 한다. 장비 교정이 바뀌거나 데이터 정정이 발표되면 어느 가설·보고서·후속 실험이 영향을 받는지 찾을 수 있어야 한다. 원시 근거에 연결되지 않은 자연어 요약만으로는 이 의존성 감사를 수행하기 어렵다.

실패·미완료·사람의 복구 기여를 포함한 전체 기록이 있어야 장기 자율성을 평가할 수 있다. 이번 새 연구들의 결과는 대부분 저자 구축·실행에 근거한다. 이를 외부의 독립 검증으로 바꾸는 추가 근거는 이번 조사에서 확보하지 못했다.

PART 11

11 Future Directions

2028–2032 전략연구사업 후보: 검증 가능한 장기 과학 에이전트

[신규 제안] 목표는 제한된 분야·장비 조건에서 장기 연구를 수행하면서 근거·기억·복구 이력을 다른 연구자와 기관이 점검할 수 있는 AI 과학자 기술이다. 범용성을 선언하기보다 분야 간 공통 기술과 분야별 유효성 조건을 분리해 단계적으로 검증한다.

제안 일정 — 정책 자체의 확정 일정과 구분
기간연구 내용산출물·반증 가능한 평가
2028문헌·멀티모달 관측·실행 로그·단위·시료 계보 통합; 유효 실험 판정 기준선공통 기록 규격·오염 감사·수동/지원형 기준선; 기관 역할 합의와 별도 평가 접근권
2029가설 생성·경쟁 설명·실험 선택·인간 협업; 진단 행동을 포함한 능동 설계동일 자원 단일/다중 에이전트·교정 전략 비교; 유효 증거당 비용과 오판율
2030조건·유효기간을 갖는 연구 기억, 강제 재시작·도구 장애·모델 변경 복구원시 근거 연결·만료/모순 처리·체크포인트; 재시작 후 유효 행동·복구 시간
2031다기관 장비·데이터 전이, 제한된 부품 확장과 재교정기관·시점 보류 평가·반복 제작·독립 계측; 전수 실패·미완료 보고
2032제한 조건의 장기 Lab-in-the-Loop 임무; 위험 기반 인간 개입중단·재심의·이의제기 가능한 재현 패키지; 외부 재실행과 실제 개입량 검증

세 가지 구체적 연구 아이디어

조건을 검증하는 연구 기억. 각 기억에 출처·적용 장비·시료 조건·만료·반례를 연결하고, 행동 직전 현재 상태와 충돌하는지를 점검한다. 동일 모델의 요약 기억·검색 기억과 비교해 회상률이 아닌 유효 행동과 복구 비용을 검증한다.

진단을 선택하는 실험설계. 후보 실험과 기준 시료 측정·장비 교정·추가 관측을 같은 의사결정 집합에 넣는다. 탐색만 하는 정책보다 새로운 유효 결론을 적은 비용으로 얻는지, 진단이 과도해져 발견을 지연하는지 함께 확인한다.

기관을 옮겨도 해석 가능한 재현 패키지. 코드·모델·데이터 분할·부품 파일·교정·실행 기록·인간 개입·실패 이력을 묶되, 원시 데이터 접근권과 평가자 이해충돌을 분리 관리한다. 다른 기관에서 단순 실행뿐 아니라 동일한 과학적 결론에 도달하는지를 시험한다.

이 제안의 2028–2032 연구기간과 3월 정책의 2029·2032·2035 목표, 새로 읽은 RFP의 2028 착수 목표·2029 평가 활용은 서로 출처와 지위가 다르다. 상세 로드맵이 공개되면 정책 요구와 제안의 정합성을 다시 점검해야 한다. 위 사업 후보·평가 방식은 신규 제안이며 확정 사업명·예산·기관 배분이 아니다.

EVIDENCE REGISTER · 2026-11-17 KST

출처·버전·정책 원문·누적 근거 원장

직전 원장의 연구 30편과 비교해 4편을 새로 검토했다. 이 수는 분야 전체의 논문 수나 오늘 처음 공개된 논문 수가 아니다. 기존 arXiv 27건과 PaperBench의 제출·개정 표시는 원 사이트에서 재확인했다. 새 연구 4편과 SBL·Sage의 비교 대상 버전은 원문 HTML을 읽었다. 기존 연구의 출판 상태·모든 실험·모든 정정 이력을 오늘 다시 전수 검증했다고 주장하지 않는다.

이번에 처음 검토한 연구 — 원 사이트의 UTC 날짜 보존
연구·식별자최초 제출·개정상태·접근 범위
Embodied AI for Scientific Discovery · 2611.043712026-11-03; v2 2026-11-08리뷰 프리프린트; v2 원문 HTML. 정식 출판 확인 못함
BioXArena · 2605.157662026-05-15; v2 2026-10-15v2 원문 HTML. 저자 표기 NeurIPS 2026 E&D; 공식 학회 기록 독립 확인 못함
BioXArena-Pro · 2611.139942026-11-10; v1프리프린트; v1 원문 HTML의 방법·잔여 중첩·참조법 조건 확인
AstroMemBench · 2611.165902026-11-12; v1프리프린트; v1 원문 HTML·평가 프로토콜·통계 부록 확인

KST 조사·게시일과 원 사이트의 UTC 제출 날짜를 구분한다. arXiv 최초 제출일은 해당 프리프린트의 기록이며 프로젝트·데이터의 모든 선행 공개일을 뜻하지 않는다. 실행일 이후 자료는 근거로 채택하지 않았다. 이번 코드 실행이나 외부 독립 재현 실험은 수행하지 않았다.

원논문·저자 재현 자원

  1. Xu 외, Embodied AI for Scientific Discovery: From Physical Action to Scientific Evidence, v2. 리뷰의 분석 틀과 실제 검증 결과를 구분.
  2. BioXArena: Benchmarking LLM Agents on Multi-Modal Biomedical Machine Learning Tasks, v2. 저자 코드·과제. 최고점 요약의 집계 조건은 보류하고 고정 기반 모델 비교 조건을 인용.
  3. BioXArena-Pro: a research-grade benchmark for autonomous biomedical machine learning agents, v1. 저자 코드 · 공개 데이터. 실제 임상 연구의 효능 검증과 구분.
  4. Wu 외, AstroMemBench: A Benchmark for Memory Systems in Embodied Spacecraft Agents, v1. 저자 코드. 결정적 환경의 기억 평가이며 비행 검증 아님.
  5. Self-Building Labs v2 → v3. 최초 2026-10-16; 비교 버전 2026-10-30 → 2026-11-13. 새 §2.6·관련 방법·부록 E를 확인.
  6. Sage-Taiyi v1 → v2. 최초 2026-11-09; v2 2026-11-13. 본문 단락과 추출 표 텍스트를 대조한 범위에서 새 실험 성과는 확인 못함.

정부·NST 공식 원문과 접근 한계

  1. 과기정통부, 「AI시대 과학기술 경쟁력 대도약을 위한 K-문샷 추진전략(안)」, 2026-02-25, PDF p.24. 공식 연구기관 정책자료·첨부 경로. 보관 PDF 원문 사용; 기관 역할은 역할(안).
  2. 과기정통부, 「K-문샷 추진현황 보고」, 2026-03-11, PDF p.21. 정부 공식 회의·안건3 경로. 표는 보관 PDF 렌더링을 확인; 목표연도는 3월 보고에 귀속.
  3. 과기정통부, 제13회 과학기술관계장관회의 「K-문샷 전략 로드맵(안)」, 2026-09-30, PDF p.4·pp.19–20. 공식 연구기관 게시 경로. 보관 원문·해당 페이지 렌더링 확인. 최신 공식 개정 원문을 확보했다는 뜻은 아님.
  4. NST, 「AI 과학자 독립 검증·재현 인프라 구축사업 기획 연구」 정책연구과제 공고, 2026-11-12, 공고 본문 · 첨부1 RFP 원본 HWPX. ‘배경 및 목적’·‘주요 내용 및 범위’·‘활용방안’ 확인. PDF 문서가 아니므로 쪽수를 임의로 붙이지 않았다.
  5. NST, 「신약개발 AI-ready 학습과 벤치마크 데이터 구축사업 기획 연구」 정책연구과제 공고, 2026-11-13, 공고 본문 · 첨부1 RFP 원본 HWPX. ‘배경 및 목적’·‘주요 내용 및 범위’·‘활용방안’ 확인. 이번 접근으로 직전 미확인 항목을 해소했다.
  6. NST 사업공고 목록에서 후속 공고와 마감 상태 재확인. 과기정통부 11월 K-문샷 정책 세미나 공식 발표 경로는 검색 결과의 첨부 목록만 확인했고 직접 본문 접근은 503으로 실패해 첨부 전문에 근거한 새 주장을 하지 않았다.
  7. 과기정통부 훈령 제320호 「K-문샷 프로그램 운영·관리 규정」 제정 공시, 2026-06-30. 공시 본문은 확인했으나 규정 첨부 전문은 이번에 읽지 않았으므로 세부 권한·절차의 해석 근거로 사용하지 않았다. 새 미션 로드맵 개정으로 세지 않음.

정부 원문의 요구, 논문의 저자 결과, 이 글의 정책 연결, 신규 사업 제안을 구별했다. 공식 공고가 기획을 요구한다는 사실은 해당 본사업의 승인·예산 확정·기관 역할 확정을 뜻하지 않는다. 3월·9월 문서의 위 공식 게시 경로는 이번 직접 요청에서 HTTP 503을 반환해 보관 PDF 원문을 사용했다. 운영·관리 규정 공시는 검색 서비스가 제공한 공식 본문에서 확인했으나 직접 요청은 503이었다.

누적 연구 34편과 중복·버전 관리 보기

다음 arXiv 연구 31건에 PaperBench, ETRI 동향 논문, AACL 서베이 각 1건을 더한 연속 글 원장이다. 정식 출판은 동일 연구 행의 연결로 유지한다. 오늘 원문 전체를 재검토하지 않은 기존 연구의 상세 조건은 이전 글을 참조한다.

누적 arXiv 연구 31편 — 최초 제출·최신 확인 버전·직전 차이
연구식별자·최초 제출·버전직전 원장과 차이
Co-Scientist2502.18864
2025-02-26
v2 · 2026-06-29
직전 버전 표시와 동일
기존 정식 출판 연결
The AI Scientist-v22504.08066
2025-04-10
v1
직전 버전 표시와 동일
AI-Researcher2505.18705
2025-05-24
v1
직전 버전 표시와 동일
AlphaEvolve2506.13131
2025-06-16
v1
직전 버전 표시와 동일
Intern-S12508.15763
2025-08-21
v2 · 2025-08-24
직전 버전 표시와 동일
DeepScientist2509.26603
2025-09-30
v1
직전 버전 표시와 동일
Kosmos2511.02824
2025-11-04
v2 · 2025-11-05
직전 버전 표시와 동일
Robin2505.13400
2025-05-19
v1
직전 버전 표시와 동일
기존 정식 출판 연결
LLM-AutoSciLab2605.24043
2026-05-21
v1
직전 버전 표시와 동일
Sage-Taiyi2611.12762
2026-11-09
v2 · 2026-11-13
v1 → v2: 새 실험 근거 확인 못함
SciMARS2611.12552
2026-11-09
v1
직전 버전 표시와 동일
Physical Testbed for Self-Driving Laboratories2611.11690
2026-11-08
v1
직전 버전 표시와 동일
Discovering formally verified quantum programs with AI2611.09822
2026-11-06
v2 · 2026-11-09
직전 버전 표시와 동일
Interpretable self-driving sputter epitaxy2602.22531
2026-02-26
v1
직전 버전 표시와 동일
기존 정식 출판 연결
Contrastive Discovery: Open-Ended Scientific Discovery over Competing Explanations2611.14514
2026-11-10
v1
직전 버전 표시와 동일
Scientist World: Grow a Research World for AI-Scientists2611.08478
2026-11-05
v1
직전 버전 표시와 동일
El Agente Fármaco: A Scalable AI Scientist for Drug Discovery2611.03832
2026-11-02
v1
직전 버전 표시와 동일
Reimagining computational quantum research with AI scientists2611.02833
2026-11-02
v1
직전 버전 표시와 동일
When AI Does Science: Evaluating the Autonomous AI Scientist KOSMOS in Radiation Biology2511.13825
2025-11-17
v1
직전 버전 표시와 동일
AutoDNA — An AI-native experimental laboratory for autonomous biomolecular operations2507.02379
2025-07-03
v1
직전 버전 표시와 동일
기존 정식 출판 연결
MIND: AI Co-Scientist for Material Research2604.13699
2026-04-15
v2 · 2026-11-04
직전 버전 표시와 동일
BEAKER: An Expert-Curated Benchmark for Embodied Brains in Self-Driving Chemical Laboratories2611.06911
2026-11-04
v1
직전 버전 표시와 동일
Embodied Science Agents: Making Embodied Experimental Design Learnable2611.12958
2026-11-07
v1
직전 버전 표시와 동일
Self-Building Labs2610.23826
2026-10-16
v3 · 2026-11-13
v2 → v3: 새 하드웨어 실험
SoundnessBench: Can Your AI Scientist Really Tell Good Research Ideas from Bad Ones?2605.30329
2026-05-28
v3 · 2026-10-23
직전 버전 표시와 동일
ResearchClawBench: A Benchmark for End-to-End Autonomous Scientific Research2606.07591
2026-05-28
v5 · 2026-07-03
직전 버전 표시와 동일
LabOS: The AI-XR Co-Scientist That Sees and Works With Humans2510.14861
2025-10-16
v2 · 2025-12-08
직전 버전 표시와 동일
Embodied AI for Scientific Discovery: From Physical Action to Scientific Evidence2611.04371
2026-11-03
v2 · 2026-11-08
이번 신규 검토
BioXArena: Benchmarking LLM Agents on Multi-Modal Biomedical Machine Learning Tasks2605.15766
2026-05-15
v2 · 2026-10-15
이번 신규 검토
BioXArena-Pro: a research-grade benchmark for autonomous biomedical machine learning agents2611.13994
2026-11-10
v1
이번 신규 검토
AstroMemBench: A Benchmark for Memory Systems in Embodied Spacecraft Agents2611.16590
2026-11-12
v1
이번 신규 검토
  • PaperBench · ICML 2025: 2504.01848, 최초 2025-04-02; v3 2025-04-07 재확인. 논문을 제공하는 재현 과제와 목표 논문을 숨기는 연구 과제를 구분.
  • ETRI 동향 논문, 2026-10-01; AACL 2026 서베이, 공식 출판 표기 2026-11. 기존 원장 유지, 오늘의 새 발견으로 세지 않음.
  • Co-Scientist와 Robin의 프리프린트·Nature 출판, AutoDNA의 프리프린트·Nature 출판은 각각 같은 연구로 묶었다. 오늘 새 정식 출판을 발견한 것으로 세지 않았다.
  • 기존 블로그 연결: Beyond Execution, Towards end-to-end automation of AI research는 이미 다룬 자료로 신규 수 제외.
  • 배경: AILA는 최초 제출 표기가 2024-12-18이므로 기간 내 새 원연구로 세지 않음. A-Lab 저자 정정(2026-01-19)은 2023년 원연구와 구분해 기존 정정 원장 유지. 오늘 새 정정을 발견한 것으로 세지 않음.

조사 범위와 한계. 2025-01-01부터 실행일 현재까지 원논문·출판사·저자 프로젝트와 정부·NST 공식 자료를 검색했다. 최근 24시간으로 제한하지 않았고 검색·뷰어 실패는 원본 직접 다운로드로 보완하거나 미확인으로 남겼다. 모든 관련 연구의 누락 없는 완전 목록이나 독립 재현의 전수조사를 보장하지 않는다. 검색 실패를 변화 없음으로 처리하지 않았다.