K-MOONSHOT · AI SCIENTIST · RESEARCH & POLICY WATCH

Scientific Agents Beyond Scores: Grounding, Stable Execution, and Audited Evolution

검색한 아이디어, 실행한 분석, 채택한 개선을 어떻게 검증할 것인가 — 평가 단위와 인간 참여에서 다시 보는 AI 과학자

PUBLISHED 2026-11-22 KST · RESEARCH WINDOW 2025-01-01 → PRESENT

가설 평가·실행 안정성·개선 채택을 독립 검증으로 연결한다세 연구축이 공통 검증과 ETRI 2028년부터 2032년까지의 제안으로 연결되는 개념 종합이다. 정부 원문의 요구와 논문별 실증 범위, 신규 제안을 구분한다. 정책 요구 · 전주기 플랫폼 / 과학 추론 / 데이터 / 자율실험실AI 과학자 상세 로드맵 별도 발표 단서와 문서별 목표연도 보존 이번 원문 검토에서 연결한 세 연구축 · 분석적 종합 가설의 질과 신규성AgentIdeaBench사용 관측 보고서검색 이득 ≠ 독창성 이득실행과 보고의 일치SCI-AGENT-EXAMSciAgentArena정확성 · 경로 · 복구기억과 개선의 채택EvoScientistEGE후보 고정 · 참조 보호 공통 검증 · 신규성 / 실행 / 안정성 / 인간 비용모델 점수 ≠ 실험 성공 ≠ 생산성의 인과 효과 ETRI 2028–2032 제안 · 근거 기억 + 권한 실행 + 재현 기반정부 확정 사업·기관 역할 배분과 구분
그림 1. 이번 연구·관측 자료를 정책 요구·공통 검증·연구기획으로 연결한 개념 종합과 신규 제안. 하나의 논문이 이 전체 구조를 실증한 것은 아니다.

핵심 관계: 가설 평가, 실행 경로, 개선 채택과 사람의 개입을 함께 기록하고 서로 다른 증거로 검증한다. 좁은 화면에서는 그림 안에서 가로로 이동할 수 있다.

초록

가설의 구체성 향상, 높은 종합 점수, 자기개선의 채택, 연구자의 생산성은 같은 현상이 아니다. 이번 글은 새로 발견한 AgentIdeaBench·SCI-AGENT-EXAM·EGE와 공식 사용 관측 보고서를 중심으로, 기존 EvoScientist·SciAgentArena를 연결한다. 원문의 방법·비교 조건·한계를 구분해 평가·기억·실행·독립 검증의 연구질문과 ETRI 2028–2032년 제안을 도출한다.

PART 01 · RESEARCH WATCH

1 Definition

좋은 과학적 아이디어, 실행되는 분석, 검증을 통과한 결론, 현장에서 유용한 연구 도구는 서로 다른 성과다. 이번 후속 글은 가설의 구체성, 실행 결과와 보고서의 불일치, 자기개선의 채택 조건, 연구자의 실제 개입을 연결한다. 점수가 높아졌다는 사실만으로 발견·신뢰성·자율성이 함께 높아졌다고 판단할 수 없다.

자율성의 범위와 인간 참여
범주위임하는 범위사람과 검증의 역할
AI for Science예측·생성·수치해석·최적화 등 넓은 과학 응용전주기 자율성을 전제하지 않음
연구지원 에이전트문헌·코드·분석·도구 실행의 지정 업무질문·판정·다음 연구를 사람이 주도
AI Co-Scientist가설·설계·비판·분석의 협업방향 수정과 중요한 판단을 공동 수행
AI Scientist여러 연구 단계의 자율적 연결문제·데이터·자원·권한 경계 안의 성능 검증
Self-Driving Laboratory실험 선택–물리 장비–측정–후속 선택의 폐루프시료 준비·교정·안전·중단·복구 기여 별도 기록

이 글의 새 주 근거는 계산·평가·통계적 채택 및 사용 관측이다. 새로운 물리 실험실 완전 자율화나 임상 효능을 검증한 증거로 사용하지 않는다.

PART 02 · RESEARCH WATCH

2 Problem Definition

K-문샷 AI 과학자 플랫폼은 질문을 만들고 실험을 수행하는 능력뿐 아니라, 그 능력이 실제로 개선됐는지를 판정하는 능력도 필요로 한다. 검색을 추가하면 근거와 방법은 구체화되지만 새로운 아이디어가 늘지 않을 수 있다. 보고서는 완성돼도 계산은 틀릴 수 있으며, 자기개선이 최근 문제를 잘 풀게 만드는 대신 이전 역량을 손상시킬 수도 있다.

문제는 세 연결에 있다. 첫째, 가설 평가와 실제 검증 사이의 간극이다. 둘째, 실행 중 한때 얻은 정답과 최종 산출물 사이의 간극이다. 셋째, 후보 개선안과 영구 채택 사이의 간극이다. 사용 관측에서는 여기에 사람의 검토 비용과 실험 장비·인력·데이터 병목이 더해진다.

[분석적 연결] ETRI의 2028–2032년 사업은 생성·실행·기억을 개발하는 과제와, 같은 조건에서 그것을 평가하고 개선의 지속성을 판정하는 기반을 함께 설계해야 한다. 한 종류의 종합 점수로 모든 목표를 대체하지 않는다.

PART 03 · RESEARCH WATCH

3 Core Concepts

과학 지식·멀티모달 통합이해. 논문·표·영상·시계열·스펙트럼을 통합할 때는 단위·표본·측정 시점·교정·데이터 계보를 보존해야 한다. 검색한 문헌의 양보다 가설을 지지하거나 반박하는 관측과 연결되는지가 중요하다.

가설의 신규성·실행 가능성. AgentIdeaBench는 문헌을 스스로 찾는 조건의 이득이 주로 실행 가능성·명료성·구체성에 놓임을 보고한다. “측정된 독창성”은 모델 평가자의 점수이며 학계 전체에서의 최초 발견과 다르다.

실행 안정성과 실패 복구. SCI-AGENT-EXAM은 중간 산출물을 재평가해 통과했던 조건이 실패하는 dip, 이후 회복하는 recover, 최종적으로 실패한 채 남는 regret을 구분한다. 이는 로그가 길거나 반복이 많다는 사실보다 유용한 장기임무 평가다.

지속 기억과 자기개선. EvoScientist는 아이디어 방향과 실험 전략을 기억한다. EGE는 제안된 변경을 고정한 뒤 새로운 감사 자료로 채택을 판정한다. 유용한 기억을 찾는 문제와 그 기억을 운영에 채택해도 되는지는 다른 문제다.

능동 실험설계·베이지안 최적화. 최고 조건 탐색과 가설 식별을 구분한다. BO의 대리모델·불확실성, 가설 간 정보이득, LLM의 정성적 제안을 결합할 수 있지만 실험 수·추론 시간·인간 검토·장비 비용을 함께 비교해야 한다. 검색 도구를 활용하는 Active 평가는 물리 능동 실험을 뜻하지 않는다.

인간 참여와 재현성. 모델 평가자, 개발팀의 실험, 다른 데이터셋 검증, 외부 팀 독립 재현을 구분한다. 실제 사용 로그는 요청 행위를 보여줄 뿐 연구 산출물의 과학적 타당성이나 생산성의 인과 효과를 직접 보여주지 않는다.

PART 04 · RESEARCH WATCH

4 Introduction

조사 범위는 2025-01-01부터 2026-11-22 KST까지다. 직전 글의 가설·근거 수정과 실행 권한을 바탕으로, 이번에는 평가의 단위와 개선 채택의 조건을 구체화한다. 기존 원장 45개 arXiv 연구와 PaperBench의 제출 이력을 다시 가져왔고 추가 버전 변경은 없었다. 기존 모든 연구의 정식 출판·정정을 전수 재검증한 것은 아니다.

이번 근거와 기존 글의 관계
자료날짜·버전이번 처리
AgentIdeaBench: Benchmarking Scientific Ideation in the Agent Era2026-09-07
v1
기간 내 새 발견·상세 검토
SCI-AGENT-EXAM: Benchmarking Agents on Scientific Research Tasks2026-10-23
v1
기간 내 새 발견·상세 검토
Evidence-Governed Adoption of Self-Generated Updates in Autonomous AI Agents2026-11-12
v1
기간 내 새 발견·상세 검토
EvoScientist: Towards Multi-Agent Evolving AI Scientists for End-to-End Scientific Discovery2026-03-09
v2 · 2026-10-05
기존 블로그에 소개된 연구 재검토·이 워치 원장에 통합
Benchmarking AI Agents for Addressing Scientific Challenges Across Scales2026-06-10
v1
기존 블로그에 소개된 연구 재검토·이 워치 원장에 통합
Science at the FrontierPDF 표기 2026-11-06 / 공식 소개 2026-11-16이번에 원문을 검토한 연구자 사용 관측 보고서

따라서 “오늘 새 논문 여섯 편”이라는 집계는 하지 않는다. EvoScientist는 3월 14일 글, SciAgentArena는 기존 Genesis 관련 글에서 확인됐다. 전자는 현재 v2를 읽었지만 개정 전후의 실험 차이를 입증하지 못해 의미 있는 새 개정으로 세지 않는다. 새로 확인한 세 arXiv 연구는 저장소 이름 검색에서 기존 항목을 찾지 못했으나 완전한 부재의 증명은 아니다. 모두 프리프린트로 확인했으며 정식 동료심사 출판은 확인하지 못했다.

PART 05 · RESEARCH WATCH

5 Motivation and Background

[정책 원문] 과기정통부 「K-문샷 추진전략(안)」(2026-02-25), PDF p.24는 연구 전주기 플랫폼, 발견 핵심기술, 국가 연구데이터 연계, 과학 특화 멀티모달 독자모델과 버티컬 파인튜닝 툴킷을 제시한다. ETRI·KISTI 플랫폼, ETRI 모델, KISTI 데이터는 역할(안)이며 확정 배분으로 강화하지 않는다.

문서별 정책 요구와 지위를 구분한다
정부 문서위치·연도연구기획의 연결
추진현황 보고 · 과기정통부 · 2026-03-11PDF p.21: 2029 협업형 가설설계·실험·검증; 2032 인간 개입 최소화 장기임무·자율실험실 연계; 2035 완전 자율형 발견협업·장기 안정성·실험 검증을 단계별 평가
전략 로드맵(안) · 과기정통부 · 2026-09-30PDF p.4: 상세 미션 로드맵 별도 발표 예정; pp.19–20: 과학 추론·에이전트·AI-OS·자율실험실 공통지원실행 기록·데이터·장비 규격과 판정 기준을 공통기반으로 연결

3월의 일정은 9월에 확정된 AI 과학자 상세 로드맵이 아니다.

[공식 후속 재확인] NST의 2026-11-12 독립 검증·재현 인프라 기획 RFP와 11월 13일 신약개발 AI-ready 학습·벤치마크 데이터 기획 RFP를 오늘 직접 내려받았다. 두 해시는 직전과 동일했다. 개발·운영과 분리한 검증, 사전등록·재현 패키지·실패/미완료 기록, 학습과 분리한 평가 데이터·기관 간 교차검증 요구를 기존 근거로 유지한다. 전자의 2028년 착수 목표는 신규사업 기획의 목표이며 본사업 승인이 아니다.

정부·NST 공식 후속 검색에서 새 확정 상세 로드맵 원문은 확보하지 못했다. 이는 정책 변경이 없다는 완전한 증명이 아니다. 11월 20일 NST 목록의 ScienceON 오픈 API 활용 확산 안내는 발견했으나 KISTI 연결 원문이 503으로 접근되지 않았다. 제목·목록 이상의 기능·성과나 정책 변경을 주장하지 않고 후속 확인 대상으로 남긴다. 직전의 대학 자율실험실 공고·국회예산정책처 분석도 새 정책으로 중복 집계하지 않는다.

[분석적 연결] 독립 검증을 요구하는 정책 방향은 평가자 편향·중간 성과 손실·자기개선 채택을 연구 주제로 삼을 근거가 된다. 아래 제안은 정부가 확정한 신규 과제나 기관 역할이 아니라 이 요구를 기술적으로 구체화한 연구기획이다.

PART 06 · RESEARCH WATCH

6 Challenges

좋은 문장과 좋은 발견의 혼동. 가설이 명료하고 실행 가능해져도 참신한 기전이 추가되지 않을 수 있다. 문헌 검증을 붙인 모델 평가자도 참신성 판정의 타당성이 충분하지 않다.

평가 과정의 기여. 실행 검사, 보고서 평가, 전문가의 재해석은 각각 다른 노동이다. 평가자가 추가로 실험하거나 결론을 보완하면 그 기여를 연구 에이전트의 성과와 분리해야 한다.

자기개선의 누적 손실. 최근 후보가 현재 버전보다 좋아도 원래 기준선의 중요한 능력을 잃을 수 있다. 평가 분포와 평가자 버전이 변하면 기존 통계 보장도 그대로 이전되지 않는다.

현장 개입의 측정. 대화 안에서 확인한 수정·질문은 실제 사람이 논문·코드·장비 앞에서 수행한 검토의 일부다. 개입이 적다는 사실을 곧바로 성공적인 자율성으로 읽으면 안 된다.

물리적 장기임무. 계산 파일은 복원할 수 있어도 시료 소모·오염·장비 드리프트는 되돌릴 수 없을 수 있다. 자기개선 후보를 실제 장비에 적용하기 전에 권한·한도·중단·보상 조치를 별도 검증해야 한다.

PART 07 · RESEARCH WATCH

7 Research Questions

반증 가능한 연구질문과 설계
질문비교 조건효과 주장을 보류할 조건
RQ1. 검색이 독창성을 높이는가?Static / Active / 검색 결과 재생, 같은 문헌 시점·길이·예산; 전문가 눈가림 평가실행 가능성만 높아지고 참신성은 그대로라면 발견 증대로 주장하지 않음
RQ2. 장기 실행이 최종 품질을 보존하는가?체크포인트 고정 / 계속 수정 / 감사 후 수정, 같은 모델·예산최종 regret 증가·원시 증거 손실·복구 비용 초과
RQ3. 기억 개선을 영구 채택할 근거는 무엇인가?동일 후보 흐름에서 탐욕 채택 / 신뢰구간 / 평가자 보정·참조 보호기준 역량·집단 성능 손상 또는 감사 자료 재사용 누수
RQ4. 사람의 개입은 비용인가 성과의 조건인가?협업 유무·검토 시간·산출물 품질을 무작위 또는 교차 설계로 측정자기보고 시간 절약만 있고 외부 품질·완료 시간 이득 미확인
RQ5. 계산 검증이 장비 실행으로 이전되는가?시뮬레이션→단일 장비→다기관 실험의 단계별 반복권한 위반·재현 실패·불가역 상태 복구 실패

[신규 제안] 이 질문들의 공통점은 성공 지표뿐 아니라 선택·기록·평가의 정보 흐름을 통제한다는 것이다. “시험 데이터”라는 이름보다 누가 언제 그 결과를 보았는지가 중요하다.

PART 08 · RESEARCH WATCH

8 Approaches(Methods)

8.1 AgentIdeaBench — 검색의 이득을 독창성의 이득과 구분한다

[저자 결과·v1] 5분야 100개 세부 주제를 만들고 40개를 조밀 평가한다. Static은 고정 제목·초록을 받고, Active는 주제명에서 Semantic Scholar 검색·가져오기를 스스로 수행한다. 출력은 같은 80–150단어 가설 한 문단이다. 총 35모델 중 33개가 대응 출력을 가지며 핵심 분석은 주 원장 28개 대응 모델이다. Active는 6,000토큰·10회 도구 호출 한도, 온도 0.7·시드 42를 사용한다. 셀별 가설 3개를 3개 모델 평가자가 문헌 근거와 함께 심사한다.

주 대응 모델에서 19/28이 개선했고 평균 총점 차이는 +0.34였다. 그러나 실행 가능성 +1.21, 명료성 +0.63, 구체성 +0.58에 비해 독창성은 −0.14로 유의한 증가가 아니었다. 약한 모델의 총점은 오히려 낮아질 수 있었다. 이 수치는 1–10 모델 심사 척도의 차이이며 실제 발견 개수가 아니다. Active는 검색 내용·여러 턴·도구 실행 능력을 묶어 바꾸므로 검색 제어 하나의 순수 효과가 아니다.

[한계] 독창성은 사람과의 일치가 특히 약하며 도메인 전문가가 직접 참신성을 평가하는 연구가 미완료다. Scientific World Modeling의 초안·사고실험·수정 루프는 탐색적 결과이고 다중 비교 보정·대조를 넘어 확립되지 않았다. 이를 검증된 창의성 향상 기법으로 소개하지 않는다. 원문 §3–6·Limitations.

8.2 SCI-AGENT-EXAM — 보고서와 실행을 따로 검사하고 경로를 재평가한다

[저자 결과·v1] 11개 분야·7개 업무 유형의 전문가 구성 120과제다. 문헌 종합, 가설 검증, 도구 조합, 코드 생성, 전주기 분석, 오류 진단, 결과 해석을 포함한다. Docker의 고정 과학 스택과 공통 Claude Code 실행 구조에서 10모델을 과제당 3회 실행하고, 산출물의 숨겨진 프로그램 검사와 GPT-5.6 Sol의 텍스트 기준 평가를 결합한다. 평균 약 8개 실행 검사와 20개 텍스트 기준을 사용하며 업무별 가중치는 평가 전 고정한다.

GPT-6 Astra의 종합 점수는 80.9/100이지만 정규화 최종 점수 0.95 이상 실행은 26.0%였다. 보고 평가 ≥0.5인데 프로그램 평가 <0.5인 사례의 비율은 모델별 0.14–0.48이었다. 파일 읽기·쓰기 뒤 스냅샷을 재구성해 dip·recover·regret을 측정했으며, 실행 오류 복구와 과학적 타당성 복구의 차이를 보였다. 높은 평균은 거의 완전한 실행의 빈도와 다르다.

[조건·한계] 비용은 단가가 아닌 한 실행의 관측 총비용으로 보고하지만 해당 모델·가격·과제·실행 구조에 종속된다. 50과제 실행 구조 비교는 각 행의 정상 과제 집합이 달라 순수 대응 효과가 아니다. high/max 비교는 대응 과제지만 본평가의 26.0%와 부록의 과제 평균 기준 Pass@0.95를 섞지 않는다. 모델 평가의 오판, 제한된 업무 범위, 장기 실제 연구로의 전이는 남아 있다. 원문 §2–3·9–13.

8.3 EGE — 개선 후보의 생성과 운영 채택을 분리한다

[저자 이론·v1] 후보·비교군·지표·한계를 먼저 고정하고, 후보 개발에 쓰이지 않은 새 대응 감사 표본과 독립 보정 표본으로 평가한다. 운영 평가자가 참조 평가보다 낙관적인 정도의 상한을 추정해 개선 효과의 하한에서 뺀다. 사전 지정한 주목표의 의미 있는 개선과 보호 역량의 비열등성을 요구하며, 권한·자원·승인 같은 필수 제약은 점수로 상쇄할 수 없다. 참조를 바꾸면 연결 검사를 하고 참조 계보를 유지한다.

후보별 Hoeffding 경계와 합이 유한한 오류 예산 배분을 결합해 적응적으로 생성된 가산 후보열의 동시 보장 명제를 제시한다. 전제는 유계 점수, 후보 고정 후의 조건부 독립·새 표본, 같은 선언 분포, 사전 지정 평가 구성이다. 참조 평가가 “진짜 과학 능력”을 측정하는지는 이 정리가 증명하지 않는다. 관련된 실험들을 독립 행으로 간주해 이 공식을 적용해서도 안 된다.

EGE의 실제 검증은 합성 통계 실험이다
조건저자 관측해석의 경계
9조건 각각 3,000캠페인·10후보; 이로운 효과 +0.25, 해로운 효과 −0.10; α=0.05감사·보정 표본 각 5천/2만/8만, 평가자 낙관 0/0.10/0.25. 보정 규칙의 해로운 채택 캠페인 0/3,000실제 연구 에이전트 개선이나 보편적 안전성 실증 아님
낙관 0.25, 보정 없는 비교군2,997/3,000 캠페인에 해로운 후보 채택선택한 효과·편향 조합의 결과
실제 편향 0.25, 보정 표본 편향 0.05로 분포 불일치; 표본 각 10만보정 규칙도 3,000/3,000에서 해로운 채택정리 전제 위반의 진단. 형식 경계가 비대표 보정을 구제하지 못함

[한계·연결] 표본 5천에서는 유익 후보 채택도 52.6–76.2%로 낮아져 보수성과 비용의 교환을 드러냈다. 운영 에이전트 실험은 미래 작업이며 코드 롤백이 물리 행동을 취소하지 못한다. 국내 독립 검증 기반에는 후보 고정·감사 자료 접근 통제·기준선 보호를 시험할 연구 아이디어를 제공한다. 원문 §4–8·10.

8.4 기존 연구 재검토 — 기억과 현장 과제를 평가 체계에 연결한다

EvoScientist v2는 Researcher·Engineer·Evolution Manager와 아이디어·실험 기억을 둔다. 30개 AI 연구 질문에서 아이디어·코드 실행을 평가하고 6개 아이디어를 논문으로 발전시켰다. Gemini-2.5-Pro의 아이디어 생성, Claude-4.5-Haiku의 코드 생성 등 역할별 모델을 사용한다. 단계별 최대 시도 수는 20·12·12·18회로 설정했다. 4단계 평균 실행 성공은 기억 전략 진화 전후 34.39%→44.56%으로 보고됐지만 제안 방법 구현 단계는 20.33%→21.57%로 여전히 낮았다. 실행 성공은 독립 과학 발견이나 물리 실험 성공이 아니다. ICAIS 2025의 6편 채택·수상은 저자 보고이며 이번에 학회 기록을 독립 대조하지 못했다.

SciAgentArena v1은 약 200개 과학 과제의 상호작용과 단계별 검증을 다룬다. 생물정보·공간 오믹스 등의 처리·최적화와 “이 데이터로 요청을 수행할 수 있는가”를 구분하고, 잘 정의된 분석의 강점과 개방형 탐색의 약점을 보고한다. 데이터·단계별 기준이 다른 점수를 하나의 순위로 합치지 않는다. 두 연구는 이미 블로그에 소개돼 새 논문으로 세지 않고, EGE의 채택·SCI-AGENT-EXAM의 경로 검증을 연결하는 배경으로 사용한다. EvoScientist §3–5·7 · SciAgentArena §2–4.

8.5 Science at the Frontier — 사용 관측은 능력 시험과 다르다

[저자 관측 보고서] Liao·Shan·Chatterji는 2026-08-20~09-22의 과학자 1,819명·과학 메시지 580,186건과 09-30~10-07 설문 251명을 분석했다. 개인정보 보호 분류기의 출력으로 활동을 구분했으며 원대화나 답변을 연구팀이 직접 읽지 않았다. 각 과학자의 활동 비중을 계산한 뒤 사람별 동일 가중 평균을 사용했다. PDF 첫 쪽 날짜는 11월 6일이고 공식 소개는 11월 16일이다. 11월 6일을 검증된 최초 공개일로 단정하지 않는다.

전주기 자율 연구 요청은 평균 과학 메시지의 0.4%, 적어도 한 번 요청한 과학자는 15.3%였다. 확인·명료화·수정을 요청하는 관여 지표는 평균 31.8%였다. 설문에서 확인·수정에 드는 시간을 어려움으로 선택한 비율은 45.4%였다. 같은 품질의 업무가 AI 없이 1.9배 시간을 요구했을 것이라는 값은 8개 활동의 자기보고 평균이다. 실제 발견 시간의 인과 추정이나 객관적 생산성 배수로 바꾸지 않는다.

[한계·연결] 표본은 확대 접근을 신청한 연구자와 설문 응답자이며 전체 과학자를 대표하지 않는다. 관여는 같은 대화의 7일 안 다음 과학 메시지를 보는 정의로, 도구 밖 검토를 놓친다. 발견 가속의 기대와 실현된 가속도 다르다. 국내 협업형 AI 과학자 평가에는 사용량·검토시간·산출물 타당성·실험 병목을 함께 측정해야 한다. 공식 소개 2026-11-16 · 76쪽 원문, §2–4·부록 A.

PART 09 · RESEARCH WATCH

9 Key Applications

응용별 필요한 검증을 분리한다
응용활용검증 관문
국가 연구데이터·플랫폼논문·도구·기억·실험 로그의 연계출처·권한·시점·시험 데이터 격리
멀티모달 바이오·소재 연구영상·스펙트럼·표·시계열에 근거한 가설·분석표본·단위·교정·외부 데이터·인과 해석 검사
과학 코드·시뮬레이션실행 검사와 설명 평가, 중간 결과 보존수치 오차·제약·과학적 결론·최종 regret 분리
자율실험실·Lab-in-the-LoopBO·정보이득·도구 실행과 기억 개선동일 실험 예산 비교, 시료·장비·인간 개입·중단 검증
인간–AI 공동연구가설 생성·비판·검토·복구의 역할 분담사용량 대신 품질과 총 검토 비용 측정

[분석적 연결] ETRI가 제안할 공통 소프트웨어는 연구 결과만 저장하지 않고 후보 버전·과학 근거·평가 수신·인간 변경·장비 상태를 이어야 한다. 구체적인 기관 역할은 공식 기획·협의를 통해 정하며 여기서 확정하지 않는다.

PART 10 · RESEARCH WATCH

10 Open Problems

새로운 질문의 가치를 누가 정하는가. 문헌 기반 모델 심사는 선행을 놓치거나 표현을 선호할 수 있다. 전문가 심사도 영역·이해관계·시간에 따라 달라진다. 모델 점수·눈가림 전문가·실제 검증을 단계별로 연결해야 한다.

공유 기억과 독립 평가가 양립하는가. 실패 기억을 널리 공유하면 시험 과제도 새어 나갈 수 있다. 기관·주제·시점 단위 분할과 감사 접근 이력이 필요하다. 이미 반복 이용한 검증 집합을 새로운 확인 자료처럼 취급하지 않는다.

정리의 전제가 운영에서 유지되는가. 상관된 과제·드리프트·평가자 변경·물리 상태 변화는 통계 전제를 깨뜨릴 수 있다. 평균 점수에 드문 중대 실패를 희석하지 않고 필수 통과 조건으로 관리해야 한다.

장기성과와 관측 기간. 34일 사용 로그, 유한 벤치마크, 합성 Monte Carlo는 다른 시간·분포·성과를 측정한다. 같은 표의 숫자로 과학적 자율성의 우열을 만들 수 없다. 이번 새 근거의 외부 독립 재현을 확정할 자료는 확보하지 못했다.

PART 11 · RESEARCH WATCH

11 Future Directions

[신규 제안·2028–2032] “과학적 주장과 실행을 함께 감사하는 연구 운영체계”를 전략연구사업 후보로 제안한다. 생성 모델의 점수 개선과 국가 연구기반의 신뢰성을 동시에 검증하되, 실제 성능 목표 수치는 도메인 기준선 구축 뒤 정한다.

제안 일정 — 정부 확정 로드맵과 구분
단계제안 산출물통과 관문
2028과학 업무·가설·데이터·평가 기준선, 전문가 신규성 판정, 권한 계약단위·표본·문헌 시점·실험/추론/인간 비용 기록
2029중간 산출물 감사·regret 억제, 인간 협업 실험실행·설명·가설 검증을 분리하고 외부 팀 재현
2030–2031기억·도구·프롬프트 개선의 후보 고정·참조 보호·제한 적용분포 불일치·평가자 편향·집단 손상을 주입해 실패 경계 확인
2032다기관·자율실험실 연계 장기 임무의 안정성 평가권한 준수·물리 상태 복구·독립 재현·총 연구비용 유지

창의적 연구 아이디어로 “가설의 생애와 실행의 생애를 함께 보는 이중 regret”을 제안한다. 한때 얻었던 정확한 실행을 잃는 손실과, 반례에 맞는 가설을 찾았다가 근거 없이 포기하는 손실을 따로 기록한다. 체크포인트 고정·계속 수정·감사 후 수정과 비교해 어느 종류의 복구가 어떤 비용으로 가능한지 반증한다.

두 번째는 “국가 연구기억의 승격 심사”다. 개인 실험의 교훈을 공유 기억에 넣기 전에 환경·성공/실패·적용 범위·평가 버전을 함께 고정하고, 새로운 기관·과제에서 효과와 기준 능력 보존을 확인한다. EGE의 표본 집약적 규칙을 그대로 채택하지 않고 상관·비정상성·희귀 실패에 적합한 검증 설계를 연구한다.

새로운 것을 제안하는 능력, 올바르게 실행하는 능력, 개선을 검증해 축적하는 능력은 각각 개발하고 함께 시험해야 한다.

공식 3월 보고의 2029 협업·2032 장기임무·2035 완전 자율형 발견은 해당 문서의 목표로 유지한다. 이 글의 2028–2032 제안은 그 목표를 평가·실행·독립 검증의 연구 과제로 구체화한 것이며, 새 확정 상세 로드맵을 대신하지 않는다.

근거·공개일·버전 원장

기존 48편에 새로 발견한 arXiv 연구 3편, 기존 블로그 연구 2편의 원장 통합, 공식 연구 보고서 1편을 더해 이 연속 글은 54건으로 관리한다. 연구 수의 완전한 전수 목록도 오늘의 신규 출판 수도 아니다. arXiv 날짜는 UTC 최초 제출일이며 최초 프로젝트 공개를 보장하지 않는다. 정식 출판은 같은 연구에 연결하며 별개 발견으로 세지 않는다.

  1. AgentIdeaBench: Benchmarking Scientific Ideation in the Agent Era · 최초 제출 2026-09-07, v1. 현재 전문. 동료심사 정식 출판 미확인. 이번에 처음 원장 반영.
  2. SCI-AGENT-EXAM: Benchmarking Agents on Scientific Research Tasks · 최초 제출 2026-10-23, v1. 현재 전문. 동료심사 정식 출판 미확인. 이번에 처음 원장 반영.
  3. Evidence-Governed Adoption of Self-Generated Updates in Autonomous AI Agents · 최초 제출 2026-11-12, v1. 현재 전문. 동료심사 정식 출판 미확인. 이번에 처음 원장 반영.
  4. EvoScientist: Towards Multi-Agent Evolving AI Scientists for End-to-End Scientific Discovery · 최초 제출 2026-03-09, v2 · 2026-10-05. 현재 전문. 동료심사 정식 출판 미확인. 기존 블로그 연구의 재검토.
  5. Benchmarking AI Agents for Addressing Scientific Challenges Across Scales · 최초 제출 2026-06-10, v1. 현재 전문. 동료심사 정식 출판 미확인. 기존 블로그 연구의 재검토.
  6. Liao·Shan·Chatterji, Science at the Frontier: How Scientists Use ChatGPT. PDF 표기 2026-11-06; 공식 소개 2026-11-16. 보고서 76쪽, §2–4·부록 A. 정확 최초 공개일·동료심사 출판 미확인.

정책 원문·공식 후속

  1. 과기정통부, K-문샷 추진전략(안), 2026-02-25, PDF p.24. 보관 PDF 원문 사용. 게시 경로와 PDF 쪽을 구분한다.
  2. 과기정통부, K-문샷 추진현황 보고, 2026-03-11, PDF p.21. 보관 PDF 원문 사용. 게시 경로와 PDF 쪽을 구분한다.
  3. 과기정통부, K-문샷 전략 로드맵(안), 2026-09-30, PDF p.4·pp.19–20. 보관 PDF 원문 사용. 게시 경로와 PDF 쪽을 구분한다.
  4. NST, AI 과학자 독립 검증·재현 인프라 구축사업 기획 연구, 2026-11-12 공고. 공고 · 첨부1 RFP. 배경·목적, 주요 내용/범위·활용방안. 오늘 재다운로드 SHA256 9fc8d0f98133f5e32037e66648dc02c8c3944de31bef8aeae59dd8b32b51ec1c, 직전과 동일. HWPX에 PDF 쪽수를 임의로 부여하지 않는다.
  5. NST, 신약개발 AI-ready 학습과 벤치마크 데이터 구축사업 기획 연구, 2026-11-13 공고. 공고 · 첨부1 RFP. 배경·목적, 주요 내용/범위·활용방안. 오늘 재다운로드 SHA256 ad5b2590cb71fd11ac118cb05d2a756322e94458cc010f1d0615a175ec0077bb, 직전과 동일. HWPX에 PDF 쪽수를 임의로 부여하지 않는다.
  6. NST 사업공고 목록 및 정부·NST 공식 후속 검색. 새 확정 상세 로드맵 미확보. ScienceON 안내의 NST 목록·연결(목록 게시 2026-11-20)은 확인했으나 KISTI 연결 원문은 503. 서비스 기능·성과를 원문 검증했다고 주장하지 않는다.
누적 arXiv 50건·추가 4건 및 기존 한계
누적 연구 — 최초 제출·현행 버전
연구식별자·최초 제출버전·출판 상태
Co-Scientist2502.18864
2025-02-26
v2 · 2026-06-29
Nature · 2026-05-19
The AI Scientist-v22504.08066
2025-04-10
v1
프리프린트로 확인
AI-Researcher2505.18705
2025-05-24
v1
프리프린트로 확인
AlphaEvolve2506.13131
2025-06-16
v1
기술 white paper
Intern-S12508.15763
2025-08-21
v2 · 2025-08-24
프리프린트로 확인
DeepScientist2509.26603
2025-09-30
v1
프리프린트로 확인
Kosmos2511.02824
2025-11-04
v2 · 2025-11-05
프리프린트로 확인
Robin2505.13400
2025-05-19
v1
Nature · 2026-05-19
LLM-AutoSciLab2605.24043
2026-05-21
v1
프리프린트로 확인
Sage-Taiyi2611.12762
2026-11-09
v2 · 2026-11-13
프리프린트로 확인
SciMARS2611.12552
2026-11-09
v1
프리프린트로 확인
Physical Testbed for Self-Driving Laboratories2611.11690
2026-11-08
v1
프리프린트로 확인
Discovering formally verified quantum programs with AI2611.09822
2026-11-06
v3 · 2026-11-16
프리프린트로 확인
Interpretable self-driving sputter epitaxy2602.22531
2026-02-26
v1
Nature Communications 연결 DOI·저자기관 발표 확인
Contrastive Discovery: Open-Ended Scientific Discovery over Competing Explanations2611.14514
2026-11-10
v1
arXiv 저자 코멘트: NeurIPS 2026 채택, 학회 공식 기록 독립 확인 못함
Scientist World: Grow a Research World for AI-Scientists2611.08478
2026-11-05
v1
preprint; no journal record confirmed
El Agente Fármaco: A Scalable AI Scientist for Drug Discovery2611.03832
2026-11-02
v1
preprint
Reimagining computational quantum research with AI scientists2611.02833
2026-11-02
v1
preprint
When AI Does Science: Evaluating the Autonomous AI Scientist KOSMOS in Radiation Biology2511.13825
2025-11-17
v1
external evaluation preprint
AutoDNA — An AI-native experimental laboratory for autonomous biomolecular operations2507.02379
2025-07-03
v1
Nature · Version of Record 2026-11-04
MIND: AI Co-Scientist for Material Research2604.13699
2026-04-15
v2 · 2026-11-04
Author-reported ECML PKDD 2026 Demo acceptance; future-dated 2027 journal reference not counted as publication
BEAKER: An Expert-Curated Benchmark for Embodied Brains in Self-Driving Chemical Laboratories2611.06911
2026-11-04
v1
Author-reported NeurIPS 2026 Eval & Data Spotlight acceptance; official proceedings not independently verified
Embodied Science Agents: Making Embodied Experimental Design Learnable2611.12958
2026-11-07
v1
Author-reported DAI 2026 acceptance; official proceedings not independently verified
Self-Building Labs2610.23826
2026-10-16
v3 · 2026-11-13
preprint; no peer-reviewed publication verified
SoundnessBench: Can Your AI Scientist Really Tell Good Research Ideas from Bad Ones?2605.30329
2026-05-28
v3 · 2026-10-23
preprint; no peer-reviewed publication verified
ResearchClawBench: A Benchmark for End-to-End Autonomous Scientific Research2606.07591
2026-05-28
v5 · 2026-07-03
preprint; no peer-reviewed publication verified
LabOS: The AI-XR Co-Scientist That Sees and Works With Humans2510.14861
2025-10-16
v2 · 2025-12-08
preprint; bioRxiv same study not counted separately
Embodied AI for Scientific Discovery: From Physical Action to Scientific Evidence2611.04371
2026-11-03
v2 · 2026-11-08
review preprint; no peer-reviewed publication verified
BioXArena: Benchmarking LLM Agents on Multi-Modal Biomedical Machine Learning Tasks2605.15766
2026-05-15
v2 · 2026-10-15
author-reported NeurIPS 2026 E&D; official proceedings not independently verified
BioXArena-Pro: a research-grade benchmark for autonomous biomedical machine learning agents2611.13994
2026-11-10
v1
preprint; no peer-reviewed publication verified
AstroMemBench: A Benchmark for Memory Systems in Embodied Spacecraft Agents2611.16590
2026-11-12
v1
preprint; no peer-reviewed publication verified
Collaborative AI agents for autonomous experimental research with solid-state quantum spins2610.40589
2026-10-29
v1
preprint; no peer-reviewed publication verified
NIMO Controller: a self-driving laboratory orchestrator based on the Model Context Protocol2605.15227
2026-05-13
v2 · 2026-09-22
arXiv preprint; related AI4X conference version identified, exact earlier public release date not verified; not conflated with NIMO platform journal paper
OpenFrontiers: A Collection of Open Research Problems and a Benchmark for Scientific Rediscovery2610.37739
2026-10-27
v1
preprint; no peer-reviewed publication verified
DiscoveryAgent: A Framework for Scientist-centric Agentic AI2611.21950
2026-11-16
v1
preprint; no peer-reviewed publication verified
Inventa: Decentralized Self-Improving Agents for Autonomous Scientific Discovery2611.21847
2026-11-16
v1
preprint; no peer-reviewed publication verified
Large Language Models Have Not Yet Transformed Science2611.22975
2026-11-17
v1
preprint; no peer-reviewed publication verified
Openhagen Worlds: Calibrated Environments for Measuring and Training Scientific Discovery Agents2611.24711
2026-11-18
v1
preprint; no peer-reviewed publication verified
Evaluating Instrument-Centered AI Agents for Table-Top Science Experiments2610.41717
2026-10-30
v1
preprint; no peer-reviewed publication verified
DeepQuest: From Knowledge Gaps to Scientific Discovery in Alzheimer’s Disease2611.26343
2026-11-19
v1
preprint/technical report; no peer-reviewed publication verified
Closing the Analyze-to-Design Gap: An Authorization-Bounded Agent for Self-Driving Laboratories2611.25043
2026-11-18
v1
preprint/technical report; no peer-reviewed publication verified
Steering Automated Scientific Discovery via Audited Epistemic Exploration2611.25214
2026-11-18
v1
preprint/technical report; no peer-reviewed publication verified
Can AI Agents Make Open-Ended Scientific Discovery? Evidence from Station2610.08927
2026-10-06
v1
preprint/technical report; no peer-reviewed publication verified
Harnessing the Collective Intelligence of AI Agents in the Wild for New Discoveries2606.10402
2026-06-09
v2 · 2026-08-26
preprint/technical report; no peer-reviewed publication verified
EurekaBench: Measuring Agentic Ability to Discover New Scientific Insights2610.00492
2026-09-30
v1
preprint/technical report; no peer-reviewed publication verified
AgentIdeaBench: Benchmarking Scientific Ideation in the Agent Era2609.07611
2026-09-07
v1
preprint; peer-reviewed publication not verified
SCI-AGENT-EXAM: Benchmarking Agents on Scientific Research Tasks2610.32441
2026-10-23
v1
preprint; peer-reviewed publication not verified
Evidence-Governed Adoption of Self-Generated Updates in Autonomous AI Agents2611.16378
2026-11-12
v1
preprint; peer-reviewed publication not verified
EvoScientist: Towards Multi-Agent Evolving AI Scientists for End-to-End Scientific Discovery2603.08127
2026-03-09
v2 · 2026-10-05
preprint; peer-reviewed publication not verified
Benchmarking AI Agents for Addressing Scientific Challenges Across Scales2606.12736
2026-06-10
v1
preprint; peer-reviewed publication not verified

추가 4건은 PaperBench(ICML 2025, 2504.01848 v3·최초 2025-04-02), ETRI 동향 논문(10.22648/ETRI.2026.J.410507, 2026-10-01), AACL 서베이(10.18653/2026.aacl-long.52, 출판월 2026-11·정확 최초 공개일 미확인), 이번 사용 관측 보고서다. Co-Scientist·Robin·AutoDNA의 프리프린트와 연결 출판은 중복 집계하지 않았다. 최초 2024년 AILA·2023년 A-Lab과 그 정정은 배경으로 유지한다. NIMO 플랫폼의 미확인 출판일은 직전 한계를 승계하며 누적 수에 넣지 않는다.

기존 연결: 직전 연구 워치 · EvoScientist 기존 글 · SciAgentArena 기존 연결 글.

검증 한계. 새 원논문 전문·제출 이력과 공식 보고서를 확인했지만 코드·물리 실험을 독립 재현하지 않았다. 전체 관련 문헌·정식 출판·정정의 완전한 검색을 보장하지 않는다. 일부 검색 실패는 직접 원문 다운로드로 보완했고 KISTI 원문 실패는 미확인으로 남겼다. HTML·SVG·접근성 참조·표·반응형 CSS·인쇄 규칙을 정적 검사하고 도입 SVG를 별도 렌더링했다. Chromium 실행이 차단돼 1440px·390px 브라우저 화면 검수는 완료하지 못했다. 일부 정책 게시 경로의 503은 보관 원문 사용과 구분했다.