K-MOONSHOT · AI SCIENTIST · RESEARCH & POLICY WATCH
Scientific Agents Beyond Scores: Grounding, Stable Execution, and Audited Evolution
검색한 아이디어, 실행한 분석, 채택한 개선을 어떻게 검증할 것인가 — 평가 단위와 인간 참여에서 다시 보는 AI 과학자
핵심 관계: 가설 평가, 실행 경로, 개선 채택과 사람의 개입을 함께 기록하고 서로 다른 증거로 검증한다. 좁은 화면에서는 그림 안에서 가로로 이동할 수 있다.
초록
가설의 구체성 향상, 높은 종합 점수, 자기개선의 채택, 연구자의 생산성은 같은 현상이 아니다. 이번 글은 새로 발견한 AgentIdeaBench·SCI-AGENT-EXAM·EGE와 공식 사용 관측 보고서를 중심으로, 기존 EvoScientist·SciAgentArena를 연결한다. 원문의 방법·비교 조건·한계를 구분해 평가·기억·실행·독립 검증의 연구질문과 ETRI 2028–2032년 제안을 도출한다.
1 Definition
좋은 과학적 아이디어, 실행되는 분석, 검증을 통과한 결론, 현장에서 유용한 연구 도구는 서로 다른 성과다. 이번 후속 글은 가설의 구체성, 실행 결과와 보고서의 불일치, 자기개선의 채택 조건, 연구자의 실제 개입을 연결한다. 점수가 높아졌다는 사실만으로 발견·신뢰성·자율성이 함께 높아졌다고 판단할 수 없다.
| 범주 | 위임하는 범위 | 사람과 검증의 역할 |
|---|---|---|
| AI for Science | 예측·생성·수치해석·최적화 등 넓은 과학 응용 | 전주기 자율성을 전제하지 않음 |
| 연구지원 에이전트 | 문헌·코드·분석·도구 실행의 지정 업무 | 질문·판정·다음 연구를 사람이 주도 |
| AI Co-Scientist | 가설·설계·비판·분석의 협업 | 방향 수정과 중요한 판단을 공동 수행 |
| AI Scientist | 여러 연구 단계의 자율적 연결 | 문제·데이터·자원·권한 경계 안의 성능 검증 |
| Self-Driving Laboratory | 실험 선택–물리 장비–측정–후속 선택의 폐루프 | 시료 준비·교정·안전·중단·복구 기여 별도 기록 |
이 글의 새 주 근거는 계산·평가·통계적 채택 및 사용 관측이다. 새로운 물리 실험실 완전 자율화나 임상 효능을 검증한 증거로 사용하지 않는다.
2 Problem Definition
K-문샷 AI 과학자 플랫폼은 질문을 만들고 실험을 수행하는 능력뿐 아니라, 그 능력이 실제로 개선됐는지를 판정하는 능력도 필요로 한다. 검색을 추가하면 근거와 방법은 구체화되지만 새로운 아이디어가 늘지 않을 수 있다. 보고서는 완성돼도 계산은 틀릴 수 있으며, 자기개선이 최근 문제를 잘 풀게 만드는 대신 이전 역량을 손상시킬 수도 있다.
문제는 세 연결에 있다. 첫째, 가설 평가와 실제 검증 사이의 간극이다. 둘째, 실행 중 한때 얻은 정답과 최종 산출물 사이의 간극이다. 셋째, 후보 개선안과 영구 채택 사이의 간극이다. 사용 관측에서는 여기에 사람의 검토 비용과 실험 장비·인력·데이터 병목이 더해진다.
[분석적 연결] ETRI의 2028–2032년 사업은 생성·실행·기억을 개발하는 과제와, 같은 조건에서 그것을 평가하고 개선의 지속성을 판정하는 기반을 함께 설계해야 한다. 한 종류의 종합 점수로 모든 목표를 대체하지 않는다.
3 Core Concepts
과학 지식·멀티모달 통합이해. 논문·표·영상·시계열·스펙트럼을 통합할 때는 단위·표본·측정 시점·교정·데이터 계보를 보존해야 한다. 검색한 문헌의 양보다 가설을 지지하거나 반박하는 관측과 연결되는지가 중요하다.
가설의 신규성·실행 가능성. AgentIdeaBench는 문헌을 스스로 찾는 조건의 이득이 주로 실행 가능성·명료성·구체성에 놓임을 보고한다. “측정된 독창성”은 모델 평가자의 점수이며 학계 전체에서의 최초 발견과 다르다.
실행 안정성과 실패 복구. SCI-AGENT-EXAM은 중간 산출물을 재평가해 통과했던 조건이 실패하는 dip, 이후 회복하는 recover, 최종적으로 실패한 채 남는 regret을 구분한다. 이는 로그가 길거나 반복이 많다는 사실보다 유용한 장기임무 평가다.
지속 기억과 자기개선. EvoScientist는 아이디어 방향과 실험 전략을 기억한다. EGE는 제안된 변경을 고정한 뒤 새로운 감사 자료로 채택을 판정한다. 유용한 기억을 찾는 문제와 그 기억을 운영에 채택해도 되는지는 다른 문제다.
능동 실험설계·베이지안 최적화. 최고 조건 탐색과 가설 식별을 구분한다. BO의 대리모델·불확실성, 가설 간 정보이득, LLM의 정성적 제안을 결합할 수 있지만 실험 수·추론 시간·인간 검토·장비 비용을 함께 비교해야 한다. 검색 도구를 활용하는 Active 평가는 물리 능동 실험을 뜻하지 않는다.
인간 참여와 재현성. 모델 평가자, 개발팀의 실험, 다른 데이터셋 검증, 외부 팀 독립 재현을 구분한다. 실제 사용 로그는 요청 행위를 보여줄 뿐 연구 산출물의 과학적 타당성이나 생산성의 인과 효과를 직접 보여주지 않는다.
4 Introduction
조사 범위는 2025-01-01부터 2026-11-22 KST까지다. 직전 글의 가설·근거 수정과 실행 권한을 바탕으로, 이번에는 평가의 단위와 개선 채택의 조건을 구체화한다. 기존 원장 45개 arXiv 연구와 PaperBench의 제출 이력을 다시 가져왔고 추가 버전 변경은 없었다. 기존 모든 연구의 정식 출판·정정을 전수 재검증한 것은 아니다.
| 자료 | 날짜·버전 | 이번 처리 |
|---|---|---|
| AgentIdeaBench: Benchmarking Scientific Ideation in the Agent Era | 2026-09-07 v1 | 기간 내 새 발견·상세 검토 |
| SCI-AGENT-EXAM: Benchmarking Agents on Scientific Research Tasks | 2026-10-23 v1 | 기간 내 새 발견·상세 검토 |
| Evidence-Governed Adoption of Self-Generated Updates in Autonomous AI Agents | 2026-11-12 v1 | 기간 내 새 발견·상세 검토 |
| EvoScientist: Towards Multi-Agent Evolving AI Scientists for End-to-End Scientific Discovery | 2026-03-09 v2 · 2026-10-05 | 기존 블로그에 소개된 연구 재검토·이 워치 원장에 통합 |
| Benchmarking AI Agents for Addressing Scientific Challenges Across Scales | 2026-06-10 v1 | 기존 블로그에 소개된 연구 재검토·이 워치 원장에 통합 |
| Science at the Frontier | PDF 표기 2026-11-06 / 공식 소개 2026-11-16 | 이번에 원문을 검토한 연구자 사용 관측 보고서 |
따라서 “오늘 새 논문 여섯 편”이라는 집계는 하지 않는다. EvoScientist는 3월 14일 글, SciAgentArena는 기존 Genesis 관련 글에서 확인됐다. 전자는 현재 v2를 읽었지만 개정 전후의 실험 차이를 입증하지 못해 의미 있는 새 개정으로 세지 않는다. 새로 확인한 세 arXiv 연구는 저장소 이름 검색에서 기존 항목을 찾지 못했으나 완전한 부재의 증명은 아니다. 모두 프리프린트로 확인했으며 정식 동료심사 출판은 확인하지 못했다.
5 Motivation and Background
[정책 원문] 과기정통부 「K-문샷 추진전략(안)」(2026-02-25), PDF p.24는 연구 전주기 플랫폼, 발견 핵심기술, 국가 연구데이터 연계, 과학 특화 멀티모달 독자모델과 버티컬 파인튜닝 툴킷을 제시한다. ETRI·KISTI 플랫폼, ETRI 모델, KISTI 데이터는 역할(안)이며 확정 배분으로 강화하지 않는다.
| 정부 문서 | 위치·연도 | 연구기획의 연결 |
|---|---|---|
| 추진현황 보고 · 과기정통부 · 2026-03-11 | PDF p.21: 2029 협업형 가설설계·실험·검증; 2032 인간 개입 최소화 장기임무·자율실험실 연계; 2035 완전 자율형 발견 | 협업·장기 안정성·실험 검증을 단계별 평가 |
| 전략 로드맵(안) · 과기정통부 · 2026-09-30 | PDF p.4: 상세 미션 로드맵 별도 발표 예정; pp.19–20: 과학 추론·에이전트·AI-OS·자율실험실 공통지원 | 실행 기록·데이터·장비 규격과 판정 기준을 공통기반으로 연결 |
3월의 일정은 9월에 확정된 AI 과학자 상세 로드맵이 아니다.
[공식 후속 재확인] NST의 2026-11-12 독립 검증·재현 인프라 기획 RFP와 11월 13일 신약개발 AI-ready 학습·벤치마크 데이터 기획 RFP를 오늘 직접 내려받았다. 두 해시는 직전과 동일했다. 개발·운영과 분리한 검증, 사전등록·재현 패키지·실패/미완료 기록, 학습과 분리한 평가 데이터·기관 간 교차검증 요구를 기존 근거로 유지한다. 전자의 2028년 착수 목표는 신규사업 기획의 목표이며 본사업 승인이 아니다.
정부·NST 공식 후속 검색에서 새 확정 상세 로드맵 원문은 확보하지 못했다. 이는 정책 변경이 없다는 완전한 증명이 아니다. 11월 20일 NST 목록의 ScienceON 오픈 API 활용 확산 안내는 발견했으나 KISTI 연결 원문이 503으로 접근되지 않았다. 제목·목록 이상의 기능·성과나 정책 변경을 주장하지 않고 후속 확인 대상으로 남긴다. 직전의 대학 자율실험실 공고·국회예산정책처 분석도 새 정책으로 중복 집계하지 않는다.
[분석적 연결] 독립 검증을 요구하는 정책 방향은 평가자 편향·중간 성과 손실·자기개선 채택을 연구 주제로 삼을 근거가 된다. 아래 제안은 정부가 확정한 신규 과제나 기관 역할이 아니라 이 요구를 기술적으로 구체화한 연구기획이다.
6 Challenges
좋은 문장과 좋은 발견의 혼동. 가설이 명료하고 실행 가능해져도 참신한 기전이 추가되지 않을 수 있다. 문헌 검증을 붙인 모델 평가자도 참신성 판정의 타당성이 충분하지 않다.
평가 과정의 기여. 실행 검사, 보고서 평가, 전문가의 재해석은 각각 다른 노동이다. 평가자가 추가로 실험하거나 결론을 보완하면 그 기여를 연구 에이전트의 성과와 분리해야 한다.
자기개선의 누적 손실. 최근 후보가 현재 버전보다 좋아도 원래 기준선의 중요한 능력을 잃을 수 있다. 평가 분포와 평가자 버전이 변하면 기존 통계 보장도 그대로 이전되지 않는다.
현장 개입의 측정. 대화 안에서 확인한 수정·질문은 실제 사람이 논문·코드·장비 앞에서 수행한 검토의 일부다. 개입이 적다는 사실을 곧바로 성공적인 자율성으로 읽으면 안 된다.
물리적 장기임무. 계산 파일은 복원할 수 있어도 시료 소모·오염·장비 드리프트는 되돌릴 수 없을 수 있다. 자기개선 후보를 실제 장비에 적용하기 전에 권한·한도·중단·보상 조치를 별도 검증해야 한다.
7 Research Questions
| 질문 | 비교 조건 | 효과 주장을 보류할 조건 |
|---|---|---|
| RQ1. 검색이 독창성을 높이는가? | Static / Active / 검색 결과 재생, 같은 문헌 시점·길이·예산; 전문가 눈가림 평가 | 실행 가능성만 높아지고 참신성은 그대로라면 발견 증대로 주장하지 않음 |
| RQ2. 장기 실행이 최종 품질을 보존하는가? | 체크포인트 고정 / 계속 수정 / 감사 후 수정, 같은 모델·예산 | 최종 regret 증가·원시 증거 손실·복구 비용 초과 |
| RQ3. 기억 개선을 영구 채택할 근거는 무엇인가? | 동일 후보 흐름에서 탐욕 채택 / 신뢰구간 / 평가자 보정·참조 보호 | 기준 역량·집단 성능 손상 또는 감사 자료 재사용 누수 |
| RQ4. 사람의 개입은 비용인가 성과의 조건인가? | 협업 유무·검토 시간·산출물 품질을 무작위 또는 교차 설계로 측정 | 자기보고 시간 절약만 있고 외부 품질·완료 시간 이득 미확인 |
| RQ5. 계산 검증이 장비 실행으로 이전되는가? | 시뮬레이션→단일 장비→다기관 실험의 단계별 반복 | 권한 위반·재현 실패·불가역 상태 복구 실패 |
[신규 제안] 이 질문들의 공통점은 성공 지표뿐 아니라 선택·기록·평가의 정보 흐름을 통제한다는 것이다. “시험 데이터”라는 이름보다 누가 언제 그 결과를 보았는지가 중요하다.
8 Approaches(Methods)
8.1 AgentIdeaBench — 검색의 이득을 독창성의 이득과 구분한다
[저자 결과·v1] 5분야 100개 세부 주제를 만들고 40개를 조밀 평가한다. Static은 고정 제목·초록을 받고, Active는 주제명에서 Semantic Scholar 검색·가져오기를 스스로 수행한다. 출력은 같은 80–150단어 가설 한 문단이다. 총 35모델 중 33개가 대응 출력을 가지며 핵심 분석은 주 원장 28개 대응 모델이다. Active는 6,000토큰·10회 도구 호출 한도, 온도 0.7·시드 42를 사용한다. 셀별 가설 3개를 3개 모델 평가자가 문헌 근거와 함께 심사한다.
주 대응 모델에서 19/28이 개선했고 평균 총점 차이는 +0.34였다. 그러나 실행 가능성 +1.21, 명료성 +0.63, 구체성 +0.58에 비해 독창성은 −0.14로 유의한 증가가 아니었다. 약한 모델의 총점은 오히려 낮아질 수 있었다. 이 수치는 1–10 모델 심사 척도의 차이이며 실제 발견 개수가 아니다. Active는 검색 내용·여러 턴·도구 실행 능력을 묶어 바꾸므로 검색 제어 하나의 순수 효과가 아니다.
[한계] 독창성은 사람과의 일치가 특히 약하며 도메인 전문가가 직접 참신성을 평가하는 연구가 미완료다. Scientific World Modeling의 초안·사고실험·수정 루프는 탐색적 결과이고 다중 비교 보정·대조를 넘어 확립되지 않았다. 이를 검증된 창의성 향상 기법으로 소개하지 않는다. 원문 §3–6·Limitations.
8.2 SCI-AGENT-EXAM — 보고서와 실행을 따로 검사하고 경로를 재평가한다
[저자 결과·v1] 11개 분야·7개 업무 유형의 전문가 구성 120과제다. 문헌 종합, 가설 검증, 도구 조합, 코드 생성, 전주기 분석, 오류 진단, 결과 해석을 포함한다. Docker의 고정 과학 스택과 공통 Claude Code 실행 구조에서 10모델을 과제당 3회 실행하고, 산출물의 숨겨진 프로그램 검사와 GPT-5.6 Sol의 텍스트 기준 평가를 결합한다. 평균 약 8개 실행 검사와 20개 텍스트 기준을 사용하며 업무별 가중치는 평가 전 고정한다.
GPT-6 Astra의 종합 점수는 80.9/100이지만 정규화 최종 점수 0.95 이상 실행은 26.0%였다. 보고 평가 ≥0.5인데 프로그램 평가 <0.5인 사례의 비율은 모델별 0.14–0.48이었다. 파일 읽기·쓰기 뒤 스냅샷을 재구성해 dip·recover·regret을 측정했으며, 실행 오류 복구와 과학적 타당성 복구의 차이를 보였다. 높은 평균은 거의 완전한 실행의 빈도와 다르다.
[조건·한계] 비용은 단가가 아닌 한 실행의 관측 총비용으로 보고하지만 해당 모델·가격·과제·실행 구조에 종속된다. 50과제 실행 구조 비교는 각 행의 정상 과제 집합이 달라 순수 대응 효과가 아니다. high/max 비교는 대응 과제지만 본평가의 26.0%와 부록의 과제 평균 기준 Pass@0.95를 섞지 않는다. 모델 평가의 오판, 제한된 업무 범위, 장기 실제 연구로의 전이는 남아 있다. 원문 §2–3·9–13.
8.3 EGE — 개선 후보의 생성과 운영 채택을 분리한다
[저자 이론·v1] 후보·비교군·지표·한계를 먼저 고정하고, 후보 개발에 쓰이지 않은 새 대응 감사 표본과 독립 보정 표본으로 평가한다. 운영 평가자가 참조 평가보다 낙관적인 정도의 상한을 추정해 개선 효과의 하한에서 뺀다. 사전 지정한 주목표의 의미 있는 개선과 보호 역량의 비열등성을 요구하며, 권한·자원·승인 같은 필수 제약은 점수로 상쇄할 수 없다. 참조를 바꾸면 연결 검사를 하고 참조 계보를 유지한다.
후보별 Hoeffding 경계와 합이 유한한 오류 예산 배분을 결합해 적응적으로 생성된 가산 후보열의 동시 보장 명제를 제시한다. 전제는 유계 점수, 후보 고정 후의 조건부 독립·새 표본, 같은 선언 분포, 사전 지정 평가 구성이다. 참조 평가가 “진짜 과학 능력”을 측정하는지는 이 정리가 증명하지 않는다. 관련된 실험들을 독립 행으로 간주해 이 공식을 적용해서도 안 된다.
| 조건 | 저자 관측 | 해석의 경계 |
|---|---|---|
| 9조건 각각 3,000캠페인·10후보; 이로운 효과 +0.25, 해로운 효과 −0.10; α=0.05 | 감사·보정 표본 각 5천/2만/8만, 평가자 낙관 0/0.10/0.25. 보정 규칙의 해로운 채택 캠페인 0/3,000 | 실제 연구 에이전트 개선이나 보편적 안전성 실증 아님 |
| 낙관 0.25, 보정 없는 비교군 | 2,997/3,000 캠페인에 해로운 후보 채택 | 선택한 효과·편향 조합의 결과 |
| 실제 편향 0.25, 보정 표본 편향 0.05로 분포 불일치; 표본 각 10만 | 보정 규칙도 3,000/3,000에서 해로운 채택 | 정리 전제 위반의 진단. 형식 경계가 비대표 보정을 구제하지 못함 |
[한계·연결] 표본 5천에서는 유익 후보 채택도 52.6–76.2%로 낮아져 보수성과 비용의 교환을 드러냈다. 운영 에이전트 실험은 미래 작업이며 코드 롤백이 물리 행동을 취소하지 못한다. 국내 독립 검증 기반에는 후보 고정·감사 자료 접근 통제·기준선 보호를 시험할 연구 아이디어를 제공한다. 원문 §4–8·10.
8.4 기존 연구 재검토 — 기억과 현장 과제를 평가 체계에 연결한다
EvoScientist v2는 Researcher·Engineer·Evolution Manager와 아이디어·실험 기억을 둔다. 30개 AI 연구 질문에서 아이디어·코드 실행을 평가하고 6개 아이디어를 논문으로 발전시켰다. Gemini-2.5-Pro의 아이디어 생성, Claude-4.5-Haiku의 코드 생성 등 역할별 모델을 사용한다. 단계별 최대 시도 수는 20·12·12·18회로 설정했다. 4단계 평균 실행 성공은 기억 전략 진화 전후 34.39%→44.56%으로 보고됐지만 제안 방법 구현 단계는 20.33%→21.57%로 여전히 낮았다. 실행 성공은 독립 과학 발견이나 물리 실험 성공이 아니다. ICAIS 2025의 6편 채택·수상은 저자 보고이며 이번에 학회 기록을 독립 대조하지 못했다.
SciAgentArena v1은 약 200개 과학 과제의 상호작용과 단계별 검증을 다룬다. 생물정보·공간 오믹스 등의 처리·최적화와 “이 데이터로 요청을 수행할 수 있는가”를 구분하고, 잘 정의된 분석의 강점과 개방형 탐색의 약점을 보고한다. 데이터·단계별 기준이 다른 점수를 하나의 순위로 합치지 않는다. 두 연구는 이미 블로그에 소개돼 새 논문으로 세지 않고, EGE의 채택·SCI-AGENT-EXAM의 경로 검증을 연결하는 배경으로 사용한다. EvoScientist §3–5·7 · SciAgentArena §2–4.
8.5 Science at the Frontier — 사용 관측은 능력 시험과 다르다
[저자 관측 보고서] Liao·Shan·Chatterji는 2026-08-20~09-22의 과학자 1,819명·과학 메시지 580,186건과 09-30~10-07 설문 251명을 분석했다. 개인정보 보호 분류기의 출력으로 활동을 구분했으며 원대화나 답변을 연구팀이 직접 읽지 않았다. 각 과학자의 활동 비중을 계산한 뒤 사람별 동일 가중 평균을 사용했다. PDF 첫 쪽 날짜는 11월 6일이고 공식 소개는 11월 16일이다. 11월 6일을 검증된 최초 공개일로 단정하지 않는다.
전주기 자율 연구 요청은 평균 과학 메시지의 0.4%, 적어도 한 번 요청한 과학자는 15.3%였다. 확인·명료화·수정을 요청하는 관여 지표는 평균 31.8%였다. 설문에서 확인·수정에 드는 시간을 어려움으로 선택한 비율은 45.4%였다. 같은 품질의 업무가 AI 없이 1.9배 시간을 요구했을 것이라는 값은 8개 활동의 자기보고 평균이다. 실제 발견 시간의 인과 추정이나 객관적 생산성 배수로 바꾸지 않는다.
[한계·연결] 표본은 확대 접근을 신청한 연구자와 설문 응답자이며 전체 과학자를 대표하지 않는다. 관여는 같은 대화의 7일 안 다음 과학 메시지를 보는 정의로, 도구 밖 검토를 놓친다. 발견 가속의 기대와 실현된 가속도 다르다. 국내 협업형 AI 과학자 평가에는 사용량·검토시간·산출물 타당성·실험 병목을 함께 측정해야 한다. 공식 소개 2026-11-16 · 76쪽 원문, §2–4·부록 A.
9 Key Applications
| 응용 | 활용 | 검증 관문 |
|---|---|---|
| 국가 연구데이터·플랫폼 | 논문·도구·기억·실험 로그의 연계 | 출처·권한·시점·시험 데이터 격리 |
| 멀티모달 바이오·소재 연구 | 영상·스펙트럼·표·시계열에 근거한 가설·분석 | 표본·단위·교정·외부 데이터·인과 해석 검사 |
| 과학 코드·시뮬레이션 | 실행 검사와 설명 평가, 중간 결과 보존 | 수치 오차·제약·과학적 결론·최종 regret 분리 |
| 자율실험실·Lab-in-the-Loop | BO·정보이득·도구 실행과 기억 개선 | 동일 실험 예산 비교, 시료·장비·인간 개입·중단 검증 |
| 인간–AI 공동연구 | 가설 생성·비판·검토·복구의 역할 분담 | 사용량 대신 품질과 총 검토 비용 측정 |
[분석적 연결] ETRI가 제안할 공통 소프트웨어는 연구 결과만 저장하지 않고 후보 버전·과학 근거·평가 수신·인간 변경·장비 상태를 이어야 한다. 구체적인 기관 역할은 공식 기획·협의를 통해 정하며 여기서 확정하지 않는다.
10 Open Problems
새로운 질문의 가치를 누가 정하는가. 문헌 기반 모델 심사는 선행을 놓치거나 표현을 선호할 수 있다. 전문가 심사도 영역·이해관계·시간에 따라 달라진다. 모델 점수·눈가림 전문가·실제 검증을 단계별로 연결해야 한다.
공유 기억과 독립 평가가 양립하는가. 실패 기억을 널리 공유하면 시험 과제도 새어 나갈 수 있다. 기관·주제·시점 단위 분할과 감사 접근 이력이 필요하다. 이미 반복 이용한 검증 집합을 새로운 확인 자료처럼 취급하지 않는다.
정리의 전제가 운영에서 유지되는가. 상관된 과제·드리프트·평가자 변경·물리 상태 변화는 통계 전제를 깨뜨릴 수 있다. 평균 점수에 드문 중대 실패를 희석하지 않고 필수 통과 조건으로 관리해야 한다.
장기성과와 관측 기간. 34일 사용 로그, 유한 벤치마크, 합성 Monte Carlo는 다른 시간·분포·성과를 측정한다. 같은 표의 숫자로 과학적 자율성의 우열을 만들 수 없다. 이번 새 근거의 외부 독립 재현을 확정할 자료는 확보하지 못했다.
11 Future Directions
[신규 제안·2028–2032] “과학적 주장과 실행을 함께 감사하는 연구 운영체계”를 전략연구사업 후보로 제안한다. 생성 모델의 점수 개선과 국가 연구기반의 신뢰성을 동시에 검증하되, 실제 성능 목표 수치는 도메인 기준선 구축 뒤 정한다.
| 단계 | 제안 산출물 | 통과 관문 |
|---|---|---|
| 2028 | 과학 업무·가설·데이터·평가 기준선, 전문가 신규성 판정, 권한 계약 | 단위·표본·문헌 시점·실험/추론/인간 비용 기록 |
| 2029 | 중간 산출물 감사·regret 억제, 인간 협업 실험 | 실행·설명·가설 검증을 분리하고 외부 팀 재현 |
| 2030–2031 | 기억·도구·프롬프트 개선의 후보 고정·참조 보호·제한 적용 | 분포 불일치·평가자 편향·집단 손상을 주입해 실패 경계 확인 |
| 2032 | 다기관·자율실험실 연계 장기 임무의 안정성 평가 | 권한 준수·물리 상태 복구·독립 재현·총 연구비용 유지 |
창의적 연구 아이디어로 “가설의 생애와 실행의 생애를 함께 보는 이중 regret”을 제안한다. 한때 얻었던 정확한 실행을 잃는 손실과, 반례에 맞는 가설을 찾았다가 근거 없이 포기하는 손실을 따로 기록한다. 체크포인트 고정·계속 수정·감사 후 수정과 비교해 어느 종류의 복구가 어떤 비용으로 가능한지 반증한다.
두 번째는 “국가 연구기억의 승격 심사”다. 개인 실험의 교훈을 공유 기억에 넣기 전에 환경·성공/실패·적용 범위·평가 버전을 함께 고정하고, 새로운 기관·과제에서 효과와 기준 능력 보존을 확인한다. EGE의 표본 집약적 규칙을 그대로 채택하지 않고 상관·비정상성·희귀 실패에 적합한 검증 설계를 연구한다.
새로운 것을 제안하는 능력, 올바르게 실행하는 능력, 개선을 검증해 축적하는 능력은 각각 개발하고 함께 시험해야 한다.
공식 3월 보고의 2029 협업·2032 장기임무·2035 완전 자율형 발견은 해당 문서의 목표로 유지한다. 이 글의 2028–2032 제안은 그 목표를 평가·실행·독립 검증의 연구 과제로 구체화한 것이며, 새 확정 상세 로드맵을 대신하지 않는다.
근거·공개일·버전 원장
기존 48편에 새로 발견한 arXiv 연구 3편, 기존 블로그 연구 2편의 원장 통합, 공식 연구 보고서 1편을 더해 이 연속 글은 54건으로 관리한다. 연구 수의 완전한 전수 목록도 오늘의 신규 출판 수도 아니다. arXiv 날짜는 UTC 최초 제출일이며 최초 프로젝트 공개를 보장하지 않는다. 정식 출판은 같은 연구에 연결하며 별개 발견으로 세지 않는다.
- AgentIdeaBench: Benchmarking Scientific Ideation in the Agent Era · 최초 제출 2026-09-07, v1. 현재 전문. 동료심사 정식 출판 미확인. 이번에 처음 원장 반영.
- SCI-AGENT-EXAM: Benchmarking Agents on Scientific Research Tasks · 최초 제출 2026-10-23, v1. 현재 전문. 동료심사 정식 출판 미확인. 이번에 처음 원장 반영.
- Evidence-Governed Adoption of Self-Generated Updates in Autonomous AI Agents · 최초 제출 2026-11-12, v1. 현재 전문. 동료심사 정식 출판 미확인. 이번에 처음 원장 반영.
- EvoScientist: Towards Multi-Agent Evolving AI Scientists for End-to-End Scientific Discovery · 최초 제출 2026-03-09, v2 · 2026-10-05. 현재 전문. 동료심사 정식 출판 미확인. 기존 블로그 연구의 재검토.
- Benchmarking AI Agents for Addressing Scientific Challenges Across Scales · 최초 제출 2026-06-10, v1. 현재 전문. 동료심사 정식 출판 미확인. 기존 블로그 연구의 재검토.
- Liao·Shan·Chatterji, Science at the Frontier: How Scientists Use ChatGPT. PDF 표기 2026-11-06; 공식 소개 2026-11-16. 보고서 76쪽, §2–4·부록 A. 정확 최초 공개일·동료심사 출판 미확인.
정책 원문·공식 후속
- 과기정통부, K-문샷 추진전략(안), 2026-02-25, PDF p.24. 보관 PDF 원문 사용. 게시 경로와 PDF 쪽을 구분한다.
- 과기정통부, K-문샷 추진현황 보고, 2026-03-11, PDF p.21. 보관 PDF 원문 사용. 게시 경로와 PDF 쪽을 구분한다.
- 과기정통부, K-문샷 전략 로드맵(안), 2026-09-30, PDF p.4·pp.19–20. 보관 PDF 원문 사용. 게시 경로와 PDF 쪽을 구분한다.
- NST, AI 과학자 독립 검증·재현 인프라 구축사업 기획 연구, 2026-11-12 공고. 공고 · 첨부1 RFP. 배경·목적, 주요 내용/범위·활용방안. 오늘 재다운로드 SHA256
9fc8d0f98133f5e32037e66648dc02c8c3944de31bef8aeae59dd8b32b51ec1c, 직전과 동일. HWPX에 PDF 쪽수를 임의로 부여하지 않는다. - NST, 신약개발 AI-ready 학습과 벤치마크 데이터 구축사업 기획 연구, 2026-11-13 공고. 공고 · 첨부1 RFP. 배경·목적, 주요 내용/범위·활용방안. 오늘 재다운로드 SHA256
ad5b2590cb71fd11ac118cb05d2a756322e94458cc010f1d0615a175ec0077bb, 직전과 동일. HWPX에 PDF 쪽수를 임의로 부여하지 않는다. - NST 사업공고 목록 및 정부·NST 공식 후속 검색. 새 확정 상세 로드맵 미확보. ScienceON 안내의 NST 목록·연결(목록 게시 2026-11-20)은 확인했으나 KISTI 연결 원문은 503. 서비스 기능·성과를 원문 검증했다고 주장하지 않는다.
누적 arXiv 50건·추가 4건 및 기존 한계
| 연구 | 식별자·최초 제출 | 버전·출판 상태 |
|---|---|---|
| Co-Scientist | 2502.18864 2025-02-26 | v2 · 2026-06-29 Nature · 2026-05-19 |
| The AI Scientist-v2 | 2504.08066 2025-04-10 | v1 프리프린트로 확인 |
| AI-Researcher | 2505.18705 2025-05-24 | v1 프리프린트로 확인 |
| AlphaEvolve | 2506.13131 2025-06-16 | v1 기술 white paper |
| Intern-S1 | 2508.15763 2025-08-21 | v2 · 2025-08-24 프리프린트로 확인 |
| DeepScientist | 2509.26603 2025-09-30 | v1 프리프린트로 확인 |
| Kosmos | 2511.02824 2025-11-04 | v2 · 2025-11-05 프리프린트로 확인 |
| Robin | 2505.13400 2025-05-19 | v1 Nature · 2026-05-19 |
| LLM-AutoSciLab | 2605.24043 2026-05-21 | v1 프리프린트로 확인 |
| Sage-Taiyi | 2611.12762 2026-11-09 | v2 · 2026-11-13 프리프린트로 확인 |
| SciMARS | 2611.12552 2026-11-09 | v1 프리프린트로 확인 |
| Physical Testbed for Self-Driving Laboratories | 2611.11690 2026-11-08 | v1 프리프린트로 확인 |
| Discovering formally verified quantum programs with AI | 2611.09822 2026-11-06 | v3 · 2026-11-16 프리프린트로 확인 |
| Interpretable self-driving sputter epitaxy | 2602.22531 2026-02-26 | v1 Nature Communications 연결 DOI·저자기관 발표 확인 |
| Contrastive Discovery: Open-Ended Scientific Discovery over Competing Explanations | 2611.14514 2026-11-10 | v1 arXiv 저자 코멘트: NeurIPS 2026 채택, 학회 공식 기록 독립 확인 못함 |
| Scientist World: Grow a Research World for AI-Scientists | 2611.08478 2026-11-05 | v1 preprint; no journal record confirmed |
| El Agente Fármaco: A Scalable AI Scientist for Drug Discovery | 2611.03832 2026-11-02 | v1 preprint |
| Reimagining computational quantum research with AI scientists | 2611.02833 2026-11-02 | v1 preprint |
| When AI Does Science: Evaluating the Autonomous AI Scientist KOSMOS in Radiation Biology | 2511.13825 2025-11-17 | v1 external evaluation preprint |
| AutoDNA — An AI-native experimental laboratory for autonomous biomolecular operations | 2507.02379 2025-07-03 | v1 Nature · Version of Record 2026-11-04 |
| MIND: AI Co-Scientist for Material Research | 2604.13699 2026-04-15 | v2 · 2026-11-04 Author-reported ECML PKDD 2026 Demo acceptance; future-dated 2027 journal reference not counted as publication |
| BEAKER: An Expert-Curated Benchmark for Embodied Brains in Self-Driving Chemical Laboratories | 2611.06911 2026-11-04 | v1 Author-reported NeurIPS 2026 Eval & Data Spotlight acceptance; official proceedings not independently verified |
| Embodied Science Agents: Making Embodied Experimental Design Learnable | 2611.12958 2026-11-07 | v1 Author-reported DAI 2026 acceptance; official proceedings not independently verified |
| Self-Building Labs | 2610.23826 2026-10-16 | v3 · 2026-11-13 preprint; no peer-reviewed publication verified |
| SoundnessBench: Can Your AI Scientist Really Tell Good Research Ideas from Bad Ones? | 2605.30329 2026-05-28 | v3 · 2026-10-23 preprint; no peer-reviewed publication verified |
| ResearchClawBench: A Benchmark for End-to-End Autonomous Scientific Research | 2606.07591 2026-05-28 | v5 · 2026-07-03 preprint; no peer-reviewed publication verified |
| LabOS: The AI-XR Co-Scientist That Sees and Works With Humans | 2510.14861 2025-10-16 | v2 · 2025-12-08 preprint; bioRxiv same study not counted separately |
| Embodied AI for Scientific Discovery: From Physical Action to Scientific Evidence | 2611.04371 2026-11-03 | v2 · 2026-11-08 review preprint; no peer-reviewed publication verified |
| BioXArena: Benchmarking LLM Agents on Multi-Modal Biomedical Machine Learning Tasks | 2605.15766 2026-05-15 | v2 · 2026-10-15 author-reported NeurIPS 2026 E&D; official proceedings not independently verified |
| BioXArena-Pro: a research-grade benchmark for autonomous biomedical machine learning agents | 2611.13994 2026-11-10 | v1 preprint; no peer-reviewed publication verified |
| AstroMemBench: A Benchmark for Memory Systems in Embodied Spacecraft Agents | 2611.16590 2026-11-12 | v1 preprint; no peer-reviewed publication verified |
| Collaborative AI agents for autonomous experimental research with solid-state quantum spins | 2610.40589 2026-10-29 | v1 preprint; no peer-reviewed publication verified |
| NIMO Controller: a self-driving laboratory orchestrator based on the Model Context Protocol | 2605.15227 2026-05-13 | v2 · 2026-09-22 arXiv preprint; related AI4X conference version identified, exact earlier public release date not verified; not conflated with NIMO platform journal paper |
| OpenFrontiers: A Collection of Open Research Problems and a Benchmark for Scientific Rediscovery | 2610.37739 2026-10-27 | v1 preprint; no peer-reviewed publication verified |
| DiscoveryAgent: A Framework for Scientist-centric Agentic AI | 2611.21950 2026-11-16 | v1 preprint; no peer-reviewed publication verified |
| Inventa: Decentralized Self-Improving Agents for Autonomous Scientific Discovery | 2611.21847 2026-11-16 | v1 preprint; no peer-reviewed publication verified |
| Large Language Models Have Not Yet Transformed Science | 2611.22975 2026-11-17 | v1 preprint; no peer-reviewed publication verified |
| Openhagen Worlds: Calibrated Environments for Measuring and Training Scientific Discovery Agents | 2611.24711 2026-11-18 | v1 preprint; no peer-reviewed publication verified |
| Evaluating Instrument-Centered AI Agents for Table-Top Science Experiments | 2610.41717 2026-10-30 | v1 preprint; no peer-reviewed publication verified |
| DeepQuest: From Knowledge Gaps to Scientific Discovery in Alzheimer’s Disease | 2611.26343 2026-11-19 | v1 preprint/technical report; no peer-reviewed publication verified |
| Closing the Analyze-to-Design Gap: An Authorization-Bounded Agent for Self-Driving Laboratories | 2611.25043 2026-11-18 | v1 preprint/technical report; no peer-reviewed publication verified |
| Steering Automated Scientific Discovery via Audited Epistemic Exploration | 2611.25214 2026-11-18 | v1 preprint/technical report; no peer-reviewed publication verified |
| Can AI Agents Make Open-Ended Scientific Discovery? Evidence from Station | 2610.08927 2026-10-06 | v1 preprint/technical report; no peer-reviewed publication verified |
| Harnessing the Collective Intelligence of AI Agents in the Wild for New Discoveries | 2606.10402 2026-06-09 | v2 · 2026-08-26 preprint/technical report; no peer-reviewed publication verified |
| EurekaBench: Measuring Agentic Ability to Discover New Scientific Insights | 2610.00492 2026-09-30 | v1 preprint/technical report; no peer-reviewed publication verified |
| AgentIdeaBench: Benchmarking Scientific Ideation in the Agent Era | 2609.07611 2026-09-07 | v1 preprint; peer-reviewed publication not verified |
| SCI-AGENT-EXAM: Benchmarking Agents on Scientific Research Tasks | 2610.32441 2026-10-23 | v1 preprint; peer-reviewed publication not verified |
| Evidence-Governed Adoption of Self-Generated Updates in Autonomous AI Agents | 2611.16378 2026-11-12 | v1 preprint; peer-reviewed publication not verified |
| EvoScientist: Towards Multi-Agent Evolving AI Scientists for End-to-End Scientific Discovery | 2603.08127 2026-03-09 | v2 · 2026-10-05 preprint; peer-reviewed publication not verified |
| Benchmarking AI Agents for Addressing Scientific Challenges Across Scales | 2606.12736 2026-06-10 | v1 preprint; peer-reviewed publication not verified |
추가 4건은 PaperBench(ICML 2025, 2504.01848 v3·최초 2025-04-02), ETRI 동향 논문(10.22648/ETRI.2026.J.410507, 2026-10-01), AACL 서베이(10.18653/2026.aacl-long.52, 출판월 2026-11·정확 최초 공개일 미확인), 이번 사용 관측 보고서다. Co-Scientist·Robin·AutoDNA의 프리프린트와 연결 출판은 중복 집계하지 않았다. 최초 2024년 AILA·2023년 A-Lab과 그 정정은 배경으로 유지한다. NIMO 플랫폼의 미확인 출판일은 직전 한계를 승계하며 누적 수에 넣지 않는다.
기존 연결: 직전 연구 워치 · EvoScientist 기존 글 · SciAgentArena 기존 연결 글.
검증 한계. 새 원논문 전문·제출 이력과 공식 보고서를 확인했지만 코드·물리 실험을 독립 재현하지 않았다. 전체 관련 문헌·정식 출판·정정의 완전한 검색을 보장하지 않는다. 일부 검색 실패는 직접 원문 다운로드로 보완했고 KISTI 원문 실패는 미확인으로 남겼다. HTML·SVG·접근성 참조·표·반응형 CSS·인쇄 규칙을 정적 검사하고 도입 SVG를 별도 렌더링했다. Chromium 실행이 차단돼 1440px·390px 브라우저 화면 검수는 완료하지 못했다. 일부 정책 게시 경로의 503은 보관 원문 사용과 구분했다.