K-MOONSHOT · AI SCIENTIST RESEARCH WATCH

When Scientific Agents Should Withhold a Conclusion

예측이 맞아도 결론을 보류해야 하는 순간 — 실험 대조, 구조화 실행, 해답 노출을 구분하는 과학 에이전트

· THREE NEWLY REVIEWED STUDIES · ONE SUBSTANTIVE REVISION

결론을 내리기 전의 세 검증가설과 사전 기준에서 출발해 실험 대조군, 구조화된 실행, 정보 접근 경계를 각각 확인한다. 검증을 통과하면 제한된 결론을 내리고, 실패하면 보류·진단·재실행한다. 기억과 독립 재현이 판단의 이력을 보존한다. 세 연구를 종합한 제안이다. 반증 가능한 가설 · 사전에 정한 판정 기준실험 대조·드리프트양자 스핀 실험계획과 실행의 일치NIMO Controller정보 접근·해답 노출OpenFrontiers유효 근거 → 제한된 결론검증 범위·불확실성 명시검증 실패 → 판단 보류진단·기준 유지·재실행연구 기억 · 실패 기록 · 독립 검증·재현
그림 1. 결과가 그럴듯하다는 사실과 결론을 지지할 충분한 근거가 있다는 판단을 나눈 분석 도식. 연결은 세 논문과 정책을 종합한 제안이며, 세 연구가 하나의 통합 시스템을 검증했다는 뜻은 아니다.

핵심 관계: 실험 대조, 실행 일치, 정보 독립성을 점검한 뒤 결론의 범위를 정한다. 검증 실패는 자동 기각과 구분해 보류·진단·재실행으로 연결한다.

초록

AI 과학자의 신뢰성은 성공을 선언하는 능력만으로 평가할 수 없다. 예측과 측정이 일치해도 실험이 유효하지 않으면 결론을 보류할 수 있어야 한다.

이번 조사에서는 양자 스핀의 협업형 AI 실험, NIMO Controller의 인간·에이전트 공통 실행 인터페이스, OpenFrontiers의 과학적 재발견 평가를 새로 검토했다. 기존 양자 프로그램 형식검증 논문의 v3에서 성능·자원 추정 변경도 확인했다. 새 발견은 오늘 처음 공개된 논문이라는 뜻이 아니라 직전 원장과 비교해 이번에 처음 검토한 기간 내 근거다.

조사 범위는 2025-01-01부터 2026-11-18 실행 시점까지다. [저자 결과]와 [정책 원문], [분석적 연결], [신규 제안]을 구분한다. 서로 다른 실험·벤치마크의 점수는 직접 순위화하지 않는다. 이전 글은 공개 HTTP 200 및 Pages 작업 성공을 확인했다.

PART 01

1 Definition

AI 과학자는 연구 질문·가설·실험 또는 계산·도구 실행·분석·다음 의사결정을 연결하는 시스템으로 다룬다. 이름만으로 완전 자율성을 인정하지 않고, 위임한 결정과 실제 인간 참여를 확인한다. 다음 구분은 연구기획을 위한 운영적 정의이며 분야 전체의 단일 표준은 아니다.

범위와 인간 참여를 나누어 평가한다
범주자동화 범위인간 참여·현재 검증 경계
AI for Science예측·수치해석·역문제·최적화특정 과학 과제의 AI 활용; 전주기 자동화와 구별
연구지원 에이전트검색·코딩·분석·문서화연구자가 문제와 다음 단계를 결정
AI Co-Scientist가설·비판·설계·해석 협업인간 선택·실험·승인·책임 구간을 명시
AI Scientist여러 연구 단계의 자율적 연결제한된 도구·과제·권한 안의 자율성부터 평가
Self-Driving Laboratory실험 선택–장비 실행–측정의 폐루프설비 구축·시료 준비·교정·감독의 인간 기여 별도 기록

실행 완료, 예측 일치, 과학적 증거의 충분성은 서로 다른 판정이다. 양자 스핀 사례는 물리 실험의 판단을, NIMO는 실행 인터페이스를, OpenFrontiers는 정보 접근과 증명 검사를 다룬다. 이들을 하나의 자율성 점수로 합칠 수 없다.

PART 02

2 Problem Definition

문제는 에이전트가 결과를 얻은 다음 어떤 판정을 내려야 하는가에 있다. 결과가 이론과 맞았더라도 장비가 드리프트했거나 대조 측정이 실패했다면 그 일치만으로 이론을 지지할 수 없다. 반대로 유효하지 않은 실험을 반증으로 취급하면 옳은 가설을 버릴 수 있다. 과학적 판단에는 지지·반박 외에 판단 보류가 필요하다.

계산 연구에서도 비슷한 경계가 생긴다. 정답을 웹에서 찾은 뒤 형식화한 결과는 유용하지만, 외부 해답 없이 문제를 재발견했다는 성과와 다르다. 워크플로가 형식에 맞는다고 해서 올바른 시료를 사용했고 측정이 타당했다는 보장은 없다.

ETRI 기획에서는 ‘자율 연구 성공률’의 분모에 중단·실패·보류·인간 복구를 포함하고, 결론의 품질과 수행 효율을 분리하는 것이 출발점이다. 보류가 많다는 사실만으로 신뢰성이 높다고 판단해서도 안 된다. 필요한 연구를 지나치게 중단하는 손실도 측정해야 한다.

PART 03

3 Core Concepts

멀티모달 과학 지식과 실행 상태

과학 이해는 문헌 문장뿐 아니라 수식·표·이미지·시계열·장비 설정·시료 식별자의 관계를 해석하는 작업이다. 관측값의 단위·시각·장비 버전·교정 상태와 원시 데이터가 연결돼야 같은 결과를 다른 조건에서 사용할 수 있는지 판단할 수 있다.

반증 가능한 가설과 경쟁 설명

가설은 예상 결과와 보류·반박 조건을 포함해야 한다. 실험 설계는 원하는 예측을 확인하는 데 그치지 않고 기존 설명이나 단순한 보간 규칙과 구별되는 관측을 선택해야 한다. 생성·이론 검토·실행·판정 역할을 나누는 다중 에이전트 구조는 한 방법이지만, 같은 오류를 공유하는 에이전트의 합의는 독립 검증을 대신하지 못한다.

능동 실험설계와 베이지안 최적화

베이지안 최적화는 비용이 큰 탐색에서 다음 후보를 선택하고, 실험설계는 가설이나 매개변수를 구분할 관측을 선택한다. 실제 실험실에서는 교정·대조 측정·재측정도 후보 행동에 포함할 수 있다. 측정의 유효성을 고려하지 않은 채 대리모델을 갱신하면 잘못된 확신이 누적될 수 있다.

구조화 실행과 증명의 범위

자연어 계획을 구조화된 표현으로 바꾸고 정해진 실행기로 수행하면 계획과 도구 호출의 대응을 점검하기 쉽다. 형식검증은 명시한 모델·명세 아래 정리나 프로그램의 올바름을 확인한다. 실험의 물리 모델이 현실을 충분히 설명하는지와 사람이 의도한 문제를 명세가 정확히 표현하는지는 별도의 검증이다.

연구 기억·복구·메타인지

유효한 기억에는 성공 결론뿐 아니라 보류 이유·실패 대조군·프로토콜 변경·기준 유지 여부가 들어간다. 메타인지는 자신감 문장보다 추가 관측 요청·중단·보류·재실행 행동으로 평가할 수 있다. 장기임무는 재시작 후에도 이 판단의 맥락을 복구해야 한다.

PART 04

4 Introduction

직전 글은 실험 유효성, 기억, 데이터 전이, 장비 확장을 다뤘다. 이번 근거는 그 원칙을 실제 판단 사건과 실행 구조, 정보 접근 실험으로 구체화한다.

이번에 새로 반영한 근거와 달라진 관점
근거새로 읽은 내용확대 해석을 피할 경계
협업형 양자 스핀 실험예측 일치에도 대조 실패로 보류하고 프로토콜 수정단일 물리 조사; 다분야의 보편적 자율성 입증 아님
NIMO Controller사람과 에이전트의 공통 MCP 도구·구조화 워크플로색 혼합 시연·생성 과제; 과학적 발견 일반 성능 아님
OpenFrontiers검색 조건을 나누고 형식 증명으로 재발견 평가수학 부분집합의 평가; 미해결 과학 전반의 성공률 아님
양자 프로그램 v3기대 oracle 라운드·시공간 비용 추정 변경수학적 자원 절감; 장치에서 측정한 가속 아님

기존 arXiv 31건과 PaperBench의 제출·개정 이력을 대조했다. 새 연구 3건은 기존 블로그 식별자 검색에서도 찾지 못했으며 누적 원장에 추가했다. 기존 논문의 v3는 같은 연구로 유지한다. 검색만으로 저장소 전체의 완전한 부재를 증명한다고 주장하지 않는다.

PART 05

5 Motivation and Background

[정책 원문] 과기정통부 「K-문샷 추진전략(안)」(2026-02-25), PDF p.24는 연구 전주기 통합 AI Scientist 플랫폼, 과학적 발견 핵심기술, 국가 연구데이터 연계, 과학 특화 멀티모달 독자모델과 버티컬 AI 파인튜닝 툴킷을 제시한다. ETRI·KISTI 플랫폼, ETRI 과학 모델, KISTI 데이터는 원문의 역할(안)이며 확정 배분으로 강화하지 않는다.

문서별 목표연도와 지위를 보존한다
문서·기관·발표일PDF 위치와 확인 내용해석
추진현황 보고 · 과기정통부 · 2026-03-11p.21: 2029 협업형 가설설계·실험·검증; 2032 인간 개입 최소화 장기임무·자율실험실 연계; 2035 완전 자율형 발견3월 보고의 마일스톤
전략 로드맵(안) · 과기정통부 · 2026-09-30p.4: AI 과학자 상세 로드맵 별도 발표 예정; pp.19–20: 과학 추론 모델·에이전트·과학 AI-OS·자율실험실 지원3월 일정을 9월 확정 상세 로드맵으로 바꾸지 않음

9월 문서 p.20의 실행 기록 축적, 장비·프로토콜·데이터 규격, 실험 결과 판정·검증 및 원데이터 공개 방향은 오늘의 검증 경계와 직접 연결된다. 최신 검색에서는 새 확정 AI 과학자 상세 로드맵 원문을 확보하지 못했다. 이는 정책 변경이 없다는 증명이 아니다.

[공식 후속 원문 재확인] NST의 2026-11-12 독립 검증·재현 인프라 기획 RFP와 2026-11-13 신약개발 AI-ready 학습·벤치마크 데이터 기획 RFP를 다시 내려받았다. 파일 해시는 직전 확보본과 동일했다. 전자는 독립 검증 주체·공통 심사·성공/실패/미완료 전수 기록 및 2028년 착수 목표의 신규사업 기획을 요구하고, 후자는 학습과 독립된 시험 데이터·비공개 평가·기관 간 교차검증을 요구한다. 두 문서 모두 기획 요청이며 본사업 승인·예산·역할 확정의 증거가 아니다.

[분석적 연결] ETRI의 2028–2032년 사업 후보는 개발 시스템과 그 결과를 판단하는 검증 체계를 함께 설계할 수 있다. 실행 프로토콜의 표현, 대조군 판정 기록, 정보 접근 감사가 독립 평가자의 재실행과 연결돼야 한다. 해외 논문의 검증 결과가 국내 정책 목표의 달성을 입증하지는 않는다.

PART 06

6 Challenges

일치하는 결과를 거절할 수 있는가

성공을 보상하는 에이전트는 대조 실패를 부차적 문제로 낮추거나 결과를 보고 기준을 바꿀 유인이 있다. 기준의 사전 고정, 변경 이력, 결과의 잠금 시점과 분석 순서를 기록해야 한다. 과학적으로 타당한 보류와 불필요한 중단을 동시에 평가해야 한다.

도구 표준화가 의미 표준화를 보장하지 않는다

MCP 같은 인터페이스는 도구 발견과 호출을 공통화하지만 단위·좌표·시료·장비 상태까지 자동으로 맞춰주지 않는다. 구조화된 계획은 잘못된 전제를 그대로 정확하게 실행할 수도 있다. 도구 입력 검증과 실험 의미의 검증을 나누어야 한다.

검색과 발견, 정리와 명세의 간극

웹에서 해답을 가져와 검증한 성과와 해답이 없을 때 탐색한 성과를 분리해야 한다. 정보 접근을 막더라도 사전학습 노출을 완전히 제거할 수는 없다. 또한 증명 검사가 성공해도 문제 진술이 약화되거나 원래 과학적 질문과 어긋나면 기대한 발견이 아닐 수 있다.

장기 운영의 비용과 인간 기여

코드·시뮬레이션·장비 실행이 연결될수록 실패 원인이 다양해진다. 재시도는 관측 상태를 바꿀 수 있고 중간 단계의 부분 실행을 되돌리기 어려울 수 있다. 장비 구축·안전 한계 설정·시료 준비·최종 검토의 인간 기여를 자율 연구 결과에서 지우면 안 된다.

PART 07

7 Research Questions

신규 제안: 반증 가능한 연구 질문
질문비교 실험효과를 보류할 조건
RQ1. 보류 규칙이 오류 결론을 줄이는가?일치만 판정·대조 포함·인간 검토를 동일 자원으로 비교오류 감소보다 유효 발견의 지연·누락이 커짐
RQ2. 구조화 실행이 충실도를 높이는가?직접 도구 호출·XML 직접 생성·형식화 워크플로 비교형식 성공만 늘고 실제 상태 오류는 유지
RQ3. 진단을 고르는 설계가 유리한가?탐색만·주기 교정·상태 기반 진단 선택 비교유효 증거당 총비용이 개선되지 않음
RQ4. 비판 역할의 분리가 유효한가?동일 모델의 단일·역할 분리·다른 근거 평가자 비교대화량만 증가하고 오류 결론·대조 실패가 줄지 않음
RQ5. 정보 접근 감사가 재발견 평가를 바꾸는가?검색 금지·고정 시점 검색·실시간 웹 접근 비교성과 향상이 공개 해답 회수에만 의존
RQ6. 보류 이력의 기억이 장기 복구를 돕는가?성공 요약·전체 기록·적용 조건 기억을 강제 재시작 후 비교회상은 개선돼도 잘못된 재사용과 복구 비용이 줄지 않음

모델·장비·분할·튜닝 예산·인간 지원·토큰·시간을 기록하고, 반복 실행과 기관 보류 평가를 포함한다. 이 질문들은 이번 논문들이 모두 해결한 사실이 아니라 별도로 검증할 제안이다.

PART 08

8 Approaches(Methods)

8.1 양자 스핀의 협업형 AI 실험: 유효하지 않은 성공은 보류한다

[저자 결과·프리프린트 v1] Mansouri 외는 다이아몬드 NV 스핀 앙상블에서 연구 질문·이론·계산·실험·검토 역할을 연결했다. 사람이 장비와 능력 설명, 안전 한계를 준비했다. 정해진 위상 제어 펄스 계열의 교정 법칙을 도출하고 경쟁 보간 예측과 구별되는 실험을 설계했다. 첫 번째 본 실험은 사전 정확도 기준 10개를 통과했지만 위상·기준 펄스 대조가 실패해 보류됐다. 기준을 완화하지 않고 획득 순서·위상 전환을 수정한 최종 실험은 6시간의 유효 1초 기록 21,600개와 대조·정확도 기준을 통과했다.

[조건·한계] 수치 예측은 교정 측정 뒤, 보류 표적의 분석 전에 고정했다. 모든 수치 예측이 데이터 획득 전에 사전등록됐다고 강화하지 않는다. 한 물리 연구의 저자 실행이며 다분야 재현성이나 인간 기여 없는 완전 자율성을 입증하지 않는다. §4–5·§7.

[분석적 연결] 중요한 변화는 ‘예측이 맞았는가’와 ‘증거로 채택할 수 있는가’를 별도 판정으로 실행했다는 점이다. 국내 장비 연구에서도 오류 대조가 실패한 결과는 가설의 반증과 분리하고, 프로토콜 수정 뒤의 확인 실험을 별도 이력으로 남길 수 있다. 비판이 결과를 바꾸는지 평가해야 하며 비판 메시지 수만 세는 방식은 부족하다.

8.2 NIMO Controller: 계획과 장비 호출 사이의 공통 표현

[저자 결과·v2] NIMO Controller는 MCP 도구 발견으로 시각 블록 인터페이스를 만들고 같은 백엔드를 AI 에이전트에 제공한다. 에이전트가 구조화 워크플로를 만든 뒤 결정적 실행기가 수행하며 실행 전 사람이 검토·수정할 수 있다. 색 혼합 시연은 고정 배치의 로봇 팔·피펫·카메라, 2.0mL 혼합, 5% 간격 비율과 PHYSBO 최적화를 사용한다. 워크플로 생성 평가는 10과제·두 지시 형태·과제당 120초이며, 도구 호출 순서와 인자를 기대 워크플로와 대조했다. 일부 모델은 모든 과제를 통과했다.

[조건·한계] 생성 성공을 장비 안전·과학적 발견 성공률로 확대하지 않는다. 학생 21명의 SUS 평균 71.8도 교육 시연의 사용성 결과이며 전문 연구실 생산성의 입증은 아니다. 복잡한 데이터 흐름·다중 반환값 표현의 제약이 남는다. §2–4·부록.

[분석적 연결] 이 구조는 모델이 매번 자연어로 장비를 호출하는 방식과 구분된다. 명령의 검토 지점을 만들고 실행 중 LLM 추론을 줄일 수 있지만, 장비의 상태 전이·단위·권한·부분 실패를 다루는 추가 계약이 필요하다. 과학 AI-OS에서는 공통 도구 인터페이스와 분야별 실험 의미를 함께 연결하는 기술 후보가 된다.

8.3 OpenFrontiers: 재발견과 검색을 분리한다

[저자 결과·프리프린트 v1] OpenFrontiers는 12,151개 연구 문제 기록과 수학 200문제의 평가 집합을 제공한다. 실제 모델 비교는 HQ-50의 해결된 40문제·열린 10문제에서 수행하며, 7개 에이전트와 180분 예산, 기본 실행·조기 종료 후 계속 실행을 구분한다. 외부 정보 없는 조건의 최대 성공은 해결 문제 7/40, 실시간 웹은 최대 27/40이었다. 후자의 상당수 성공은 공개 해답 회수와 연결됐다. 격리 환경의 두 Lean 검사기를 사용한다.

[조건·한계] 문제 코퍼스의 규모가 실제 평가 표본 수는 아니다. 모델별 학습 마감일·해답 계보와 깨끗한 부분집합의 크기가 달라 오염 배제가 완전하지 않다. 두 검사기는 형식 결과를 검증하지만 원문 문제와 명세의 의미 일치·열린 문제 상태는 별도 감사 대상이다. §4–5·평가 프로토콜 부록.

[분석적 연결] 과학 에이전트의 검색 기능은 실무에서 가치가 있지만 발견 성능과 같은 지표로 처리하면 연구 목표를 잘못 설정할 수 있다. 국가 데이터 플랫폼에는 ‘공개 지식의 적용’과 ‘비공개 확인 데이터에서의 새 결론’을 구분하는 평가 조건이 필요하다. 이는 앞선 BioXArena-Pro의 데이터 중첩 문제와 연결되지만 두 벤치마크의 수치를 직접 비교할 수는 없다.

8.4 형식검증 양자 프로그램 v3: 실제 성능 변경을 같은 연구에 반영

[의미 있는 개정] v2와 v3(2026-11-16)의 원문을 대조했다. 모든 표적을 찾는 다중 표적 병렬 Grover 설정에서 기존 비교군 대비 기대 oracle 라운드 절감의 최대 배수가 2.55에서 2.57로 바뀌었다. 과학 응용의 시공간 비용은 논리 큐비트 수와 T 게이트 수의 곱으로 정의하며, 융합 관련 stopping-power 사례의 절감은 본문 요약에서 10.9배에서 11.8배로 변경됐다. 초록의 11배→12배는 반올림 표현이다.

[조건·한계] 이는 고정 명세·비용 모형 아래 Lean으로 검사한 알고리즘·회로 자원 결과다. 같은 수치가 실제 양자 장치의 벽시계 속도나 실험실 효율을 뜻하지 않는다. 이번에는 개정 본문과 자원 수치 변경을 확인했으며 증명 코드의 독립 재실행은 하지 않았다. 새 논문으로 중복 집계하지 않는다. 병렬 탐색·과학 응용·Discussion.

[분석적 연결] 형식검증을 통과한 결과도 명세·프로그램·자원 추정의 버전이 바뀔 수 있다. 연구 기억에는 ‘검증됨’이라는 단일 표지보다 검증 대상과 버전·비교군·비용 모형을 저장해야 한다. 물리 실험의 유효성 판정과 수학적 검증은 서로 보완하지만 같은 검증이 아니다.

PART 09

9 Key Applications

핵심 응용과 추가 검증
응용연결 기능필수 검증 경계
소재·박막·양자 계측불확실성 기반 실험 선택·드리프트 진단·대조 검사장비·시료 조건의 재현, 음성 결과와 실패 구분
도구·시뮬레이션 연구가설 생성·코드 실행·형식검증·공유 기억명세의 의미·자원 비용·검증기·코드 버전
장기 자율실험실계획 생성·구조화 실행·부분 실패 복구시료 변화·재시도 권한·사람의 개입량
국가 연구데이터 플랫폼문헌·멀티모달 데이터·실행 기록·정보 접근 감사원천 데이터 계보·비공개 확인 집합·독립 평가 접근권
인간-AI 협업실행 전 검토·비판·중단·재심의연구자 부담·오경보·보류 비용·책임

생의학 응용에서는 계산적 후보·모델링 결과를 임상 효능으로 확대하지 않는다. 장비 API 실행이나 실험 벤치마크 통과를 실제 연구 전주기의 완전 무인 운영으로 해석하지 않는다. 제안의 범위는 분야별 실험실과 협력해 검증할 공통 소프트웨어·추론·기록 기술이다.

PART 10

10 Open Problems

보류 판정의 정답과 비용

에이전트가 불확실한 결과를 모두 보류하면 오류 결론은 줄어도 발견이 멈출 수 있다. 전문가 간 판정 불일치, 추가 측정의 효과, 발견 지연과 시료 소모를 함께 측정해야 한다. 가설을 반박한 것인지 실험이 성립하지 않은 것인지도 분리해야 한다.

자기 검토와 독립 검증

서로 다른 역할의 에이전트가 검토해도 같은 모델·데이터·구현을 공유하면 공통 오류가 남는다. 논문 내부의 별도 계산 확인과 외부 기관의 독립 재현은 다르다. 이번 새 연구들을 외부에서 재현한 확정 근거는 확보하지 못했다.

열린 문제와 평가 데이터의 변화

미해결 문제의 상태와 공개 해답은 계속 바뀐다. 고정 검색 스냅샷·공개 날짜·학습 마감일·문제 가족의 중복을 관리하고, 평가 후 데이터 공개가 다음 평가를 오염시키는 경로도 고려해야 한다. 국가 플랫폼의 검색 성능과 발견 성능을 별도 과제로 설계할 필요가 있다.

검증 가능한 기억

보류 이유와 바꾸지 않은 기준도 재사용 가능한 연구 지식이다. 장비 교정·명세·코드가 바뀌면 어떤 결론을 재검토해야 하는지 추적할 수 있어야 한다. 성공 결과만 요약하는 기억은 장기 연구에서 같은 오류를 반복할 위험이 있다.

PART 11

11 Future Directions

2028–2032 전략연구사업 후보: 판단 근거를 보존하는 과학 실행 플랫폼

[신규 제안] 과학 특화 멀티모달 추론 모델, 반증 가능한 가설 생성, 비판·실행 역할의 협업, 능동 실험설계, 공통 도구 실행, 연구 기억·복구를 하나의 감사 가능한 이력으로 연결한다. ETRI는 공통 모델·소프트웨어·플랫폼 기술을 중심으로 분야별 실험기관과 협력하는 구조를 검토할 수 있다. 이는 확정된 기관 역할 배분이 아니다.

연구 제안 일정 — 공식 목표연도와 구분
기간연구 내용검증 산출물
2028멀티모달·문헌·시료·장비 로그의 계보; 지지·반박·보류 판정 규격실패·미완료 전수 기록과 인간 수행 기준선
2029가설·경쟁 설명·대조군; 비판 역할과 진단 행동을 포함한 능동 설계동일 자원 비교·오류 결론·유효 발견·보류 비용
2030구조화 워크플로·도구 계약·명세/검증기 버전 관리계획/실행 일치·부분 실행 진단·검증 실패 추적
2031기억의 적용 조건·만료·재시작 복구·기관 간 이전외부 기관/장비 보류 시험·추가 인간 지원량
2032제한 조건의 장기 Lab-in-the-Loop·독립 확인 실험외부 재실행·사전 기준 준수·권한 기반 중단/재심의

연구 아이디어 1 — 조건을 유지하는 보류 기억. 실패한 대조군, 기존 기준, 수정 프로토콜과 다음 확인 실험을 연결한다. 성공 요약 기억과 비교해 같은 오류 반복과 부당한 기각을 줄이는지 반증한다.

연구 아이디어 2 — 진단을 포함하는 베이지안 실험설계. 새 후보와 교정·대조·재측정을 같은 행동 집합에서 비교한다. 정보가치·비용·위험을 함께 계산하되 실제 유효 증거당 비용으로 효용을 검증한다.

연구 아이디어 3 — 실행과 발견을 분리하는 평가 패키지. 검색 금지·고정 검색·실시간 웹, 자유 도구 호출·구조화 실행, 동일 모델·다중 역할을 교차 비교한다. 비공개 확인 데이터와 기관 간 재실행을 통해 검색·코드 완료·새 결론을 분리한다.

제안 기간은 2028–2032년이다. 3월 정책의 2029·2032·2035 목표와 NST RFP의 2028 착수 목표는 각 문서에 귀속한다. 최신 상세 로드맵 원문을 확보하면 제안과 정책의 정합성을 다시 검토해야 한다. 사업명·예산·KPI 수치·협력 역할은 확정안이 아니라 검증할 제안이다.

EVIDENCE REGISTER · 2026-11-18 KST

출처·공개일·버전·누적 근거 원장

직전 34편 원장에 이번에 새로 검토한 연구 3건을 추가해 37편으로 관리한다. 신규 arXiv 3건과 기존 arXiv 31건, PaperBench의 제출·개정 표시를 원 사이트에서 직접 확인했다. 새 연구의 현행 HTML과 양자 프로그램 v2·v3 본문을 읽었다. 기존 모든 연구의 실험·정정·출판 상태를 오늘 다시 전수 검증했다는 뜻은 아니다. 프리프린트와 정식 출판은 같은 연구 행에 연결하고 중복 집계하지 않는다.

신규 연구의 원 사이트 제출일·개정일 — UTC 날짜 보존
연구최초 arXiv 제출·현행 버전출판 상태·확인 한계
협업형 양자 스핀 실험 · 2610.405892026-10-29 · v1프리프린트; 정식 동료심사 출판 확인 못함
NIMO Controller · 2605.152272026-05-13 · v2 2026-09-22현행 arXiv 원문. AI4X 2026 회의의 관련 짧은 논문 확인; 그 자료의 더 이른 정확한 공개일은 확인 못함
OpenFrontiers · 2610.377392026-10-27 · v1프리프린트; 정식 동료심사 출판 확인 못함
양자 프로그램 형식검증 · 2611.09822최초 2026-11-06 · v2 2026-11-09 → v3 2026-11-16기존 연구의 의미 있는 개정; 새 논문 수에서 제외

arXiv 제출일은 그 프리프린트의 날짜이며 프로젝트·발표·회의 자료의 모든 선행 공개일을 뜻하지 않는다. KST 조사·게시일과 구분한다. 최초 공개일을 충분히 해소하지 못한 NIMO 관련 자료는 아래 한계에 명시했다. 실행일 이후 자료는 사용하지 않았다. 이번에 코드·증명의 독립 재실행이나 물리 재현 실험은 수행하지 않았다.

원논문·저자 코드와 데이터

  1. Mansouri, Kimura, Koga, Arai, Collaborative AI agents for autonomous experimental research with solid-state quantum spins. §4–5 및 §7의 대조·판정·인간 기여·예측 잠금 조건 확인. 저자 코드. 논문 내부의 별도 이론·계산 검증을 외부 독립 재현으로 서술하지 않았다.
  2. Yoshikawa, Tamura, NIMO Controller: a self-driving laboratory orchestrator based on the Model Context Protocol. 공식 코드. AI4X 2026 관련 짧은 논문과 저자기관 발표 목록 확인. 회의 자료는 검색 서비스가 제공한 텍스트 범위에서 확인했다. 첨부와 OpenReview API 직접 요청은 403으로 실패해 전체 원본·공개일 메타데이터를 확보하지 못했다. 같은 계열 연구로 묶고 새 출판 사건으로 중복 집계하지 않음.
  3. Yao, Wang, Zhang, OpenFrontiers: A Collection of Open Research Problems and a Benchmark for Scientific Rediscovery. 저자 코퍼스·벤치마크 · 저자 프로젝트. 코퍼스 12,151건과 실제 평가 부분집합을 구분.
  4. Discovering formally verified quantum programs with AI v2 → v3. 본문 수치·비용 정의를 대조했다. 버전이 바뀐 모든 수치를 독립 재계산하거나 개정 원인을 전부 확인했다고 주장하지 않는다.

NIMO의 관련 정식 출판 자료를 혼동하지 않는다

NIMS 공식 발표(2026-11-05)는 NIMO·Desktop·Controller를 함께 소개하면서 NIMO: A Software Platform for Closed-Loop Materials Exploration with Diverse AI Algorithms, DOI 10.1039/D6DD00371K의 2026-11-04 온라인 출판을 보고한다. 이 제목·저자 구성이 Controller 프리프린트와 다른 관련 플랫폼 논문이라는 점을 구분했다. 출판사 직접 접근은 403으로 실패해 최초 공개일·정식 출판일의 출판사 기록을 독립 확인하지 못했으며, Controller의 정식 출판으로 연결하거나 누적 원연구 수에 추가하지 않았다. 해당 논문의 세부 실험 결과도 이번 분석의 검증 근거로 사용하지 않았다.

정책 원문·공식 후속 경로

  1. 과기정통부, 「AI시대 과학기술 경쟁력 대도약을 위한 K-문샷 추진전략(안)」, 2026-02-25, PDF p.24. 공식 연구기관 정책자료·첨부. 보관 원문, 기관 역할은 역할(안).
  2. 과기정통부, 「K-문샷 추진현황 보고」, 2026-03-11, PDF p.21. 정부 공식 회의·안건3 경로. 보관 PDF의 마일스톤 표 렌더링 확인.
  3. 과기정통부, 제13회 과학기술관계장관회의 「K-문샷 전략 로드맵(안)」, 2026-09-30, PDF p.4·pp.19–20. 공식 연구기관 게시 경로. 보관 원문과 p.4 렌더링에서 별도 발표 단서 재확인. 새 상세 로드맵을 확보했다고 주장하지 않음.
  4. NST, 2026-11-12 「AI 과학자 독립 검증·재현 인프라 구축사업 기획 연구」, 공고 · 첨부1 RFP HWPX. 배경·목적, 주요 내용·범위, 활용방안. 오늘 재다운로드한 SHA256은 9fc8d0f98133f5e32037e66648dc02c8c3944de31bef8aeae59dd8b32b51ec1c로 직전과 같음.
  5. NST, 2026-11-13 「신약개발 AI-ready 학습과 벤치마크 데이터 구축사업 기획 연구」, 공고 · 첨부1 RFP HWPX. 주요 내용·범위. 오늘 해시는 ad5b2590cb71fd11ac118cb05d2a756322e94458cc010f1d0615a175ec0077bb로 직전과 같음. HWPX에는 PDF 쪽수를 임의로 붙이지 않았다.
  6. NST 사업공고 목록 및 정부·NST 공식 후속 검색. 11월 17일 NAIS 현장 방문 관련 언론 보도도 검색됐으나 이번에 공식 첨부 원문을 확보하지 못해 미션 상세 로드맵 개정 근거로 사용하지 않았다. 기존 정책 세미나 첨부 전문·미션 상세 로드맵은 미확인 항목 유지.

정책 요구와 해외 논문의 실제 검증, 분석적 연결, 신규 사업 제안을 구분한다. 기존 원문을 읽을 수 있는 상태와 최신 개정 여부를 완전히 확인한 상태는 다르다. 접근 실패를 정책 변화 없음으로 처리하지 않았다.

누적 37편 원장과 직전 버전 대조

아래 arXiv 34건에 기존 PaperBench·ETRI 동향 논문·AACL 서베이를 각 1건 더한 연속 글 원장이다. 이는 분야 전체의 논문 수가 아니다. 기존 프리프린트와 정식 출판은 같은 연구로 유지하며, 이전 글의 상세 검증 범위를 승계한다.

누적 arXiv 연구 — 최초 제출·현행 확인 버전
연구식별자·최초 제출·버전직전 차이
Co-Scientist2502.18864
2025-02-26
v2 · 2026-06-29
직전 버전 표시와 동일
The AI Scientist-v22504.08066
2025-04-10
v1
직전 버전 표시와 동일
AI-Researcher2505.18705
2025-05-24
v1
직전 버전 표시와 동일
AlphaEvolve2506.13131
2025-06-16
v1
직전 버전 표시와 동일
Intern-S12508.15763
2025-08-21
v2 · 2025-08-24
직전 버전 표시와 동일
DeepScientist2509.26603
2025-09-30
v1
직전 버전 표시와 동일
Kosmos2511.02824
2025-11-04
v2 · 2025-11-05
직전 버전 표시와 동일
Robin2505.13400
2025-05-19
v1
직전 버전 표시와 동일
LLM-AutoSciLab2605.24043
2026-05-21
v1
직전 버전 표시와 동일
Sage-Taiyi2611.12762
2026-11-09
v2 · 2026-11-13
직전 버전 표시와 동일
SciMARS2611.12552
2026-11-09
v1
직전 버전 표시와 동일
Physical Testbed for Self-Driving Laboratories2611.11690
2026-11-08
v1
직전 버전 표시와 동일
Discovering formally verified quantum programs with AI2611.09822
2026-11-06
v3 · 2026-11-16
v2 → v3 · 의미 있는 자원 수치 변경
Interpretable self-driving sputter epitaxy2602.22531
2026-02-26
v1
직전 버전 표시와 동일
Contrastive Discovery: Open-Ended Scientific Discovery over Competing Explanations2611.14514
2026-11-10
v1
직전 버전 표시와 동일
Scientist World: Grow a Research World for AI-Scientists2611.08478
2026-11-05
v1
직전 버전 표시와 동일
El Agente Fármaco: A Scalable AI Scientist for Drug Discovery2611.03832
2026-11-02
v1
직전 버전 표시와 동일
Reimagining computational quantum research with AI scientists2611.02833
2026-11-02
v1
직전 버전 표시와 동일
When AI Does Science: Evaluating the Autonomous AI Scientist KOSMOS in Radiation Biology2511.13825
2025-11-17
v1
직전 버전 표시와 동일
AutoDNA — An AI-native experimental laboratory for autonomous biomolecular operations2507.02379
2025-07-03
v1
직전 버전 표시와 동일
MIND: AI Co-Scientist for Material Research2604.13699
2026-04-15
v2 · 2026-11-04
직전 버전 표시와 동일
BEAKER: An Expert-Curated Benchmark for Embodied Brains in Self-Driving Chemical Laboratories2611.06911
2026-11-04
v1
직전 버전 표시와 동일
Embodied Science Agents: Making Embodied Experimental Design Learnable2611.12958
2026-11-07
v1
직전 버전 표시와 동일
Self-Building Labs2610.23826
2026-10-16
v3 · 2026-11-13
직전 버전 표시와 동일
SoundnessBench: Can Your AI Scientist Really Tell Good Research Ideas from Bad Ones?2605.30329
2026-05-28
v3 · 2026-10-23
직전 버전 표시와 동일
ResearchClawBench: A Benchmark for End-to-End Autonomous Scientific Research2606.07591
2026-05-28
v5 · 2026-07-03
직전 버전 표시와 동일
LabOS: The AI-XR Co-Scientist That Sees and Works With Humans2510.14861
2025-10-16
v2 · 2025-12-08
직전 버전 표시와 동일
Embodied AI for Scientific Discovery: From Physical Action to Scientific Evidence2611.04371
2026-11-03
v2 · 2026-11-08
직전 버전 표시와 동일
BioXArena: Benchmarking LLM Agents on Multi-Modal Biomedical Machine Learning Tasks2605.15766
2026-05-15
v2 · 2026-10-15
직전 버전 표시와 동일
BioXArena-Pro: a research-grade benchmark for autonomous biomedical machine learning agents2611.13994
2026-11-10
v1
직전 버전 표시와 동일
AstroMemBench: A Benchmark for Memory Systems in Embodied Spacecraft Agents2611.16590
2026-11-12
v1
직전 버전 표시와 동일
Collaborative AI agents for autonomous experimental research with solid-state quantum spins2610.40589
2026-10-29
v1
이번 신규 검토
NIMO Controller: a self-driving laboratory orchestrator based on the Model Context Protocol2605.15227
2026-05-13
v2 · 2026-09-22
이번 신규 검토
OpenFrontiers: A Collection of Open Research Problems and a Benchmark for Scientific Rediscovery2610.37739
2026-10-27
v1
이번 신규 검토

PaperBench · ICML 2025(2504.01848, 최초 2025-04-02, v3 2025-04-07), ETRI 동향 논문(2026-10-01), AACL 서베이(공식 표기 2026-11)는 기존 원장으로 유지한다. Co-Scientist·Robin·AutoDNA의 출판 연결, A-Lab 정정은 이전 원장에 유지하며 오늘의 새 출판·정정으로 세지 않았다. 최초 제출 2024년 AILA 등은 배경으로 구분한다.

검증의 한계. 원논문·저자 프로젝트·출판사·정부 공식 자료를 우선 검색했다. 일부 검색 추출 실패는 arXiv 원본 직접 다운로드로 보완했다. 이번 새 연구의 저자 주장과 외부 독립 재현을 구분했으며 코드·장비 재현은 수행하지 않았다. 모든 관련 논문·정정·출판의 누락 없는 전수조사를 보장하지 않는다. 반응형·접근성·인쇄 CSS는 포함하되 실제 브라우저 렌더링 확인 여부는 게시 보고에서 별도로 밝힌다.