K-Moonshot AI Scientist: From Plausible Ideas to Verifiable Discovery

1. Definition

AI 과학자의 경계는 이름보다 연구 과정에서 맡는 결정과 검증으로 정해진다.

이 글에서 AI 과학자는 과학적 목표를 받아 지식을 수집하고, 경쟁하는 설명을 만들고, 그 설명을 구분할 실험이나 계산을 선택·실행하며, 관측에 따라 연구 상태를 갱신하는 시스템이다. 이 정의는 여러 논문을 비교하기 위한 분석 틀이며 공식 정책의 법정 정의는 아니다. 핵심은 가설과 증거 사이의 반복적인 연결이다. 논문을 잘 쓰는 능력과 새로운 지식을 발견하는 능력을 별도로 평가해야 한다.

Co-Scientist는 협업형 가설설계, AI Scientist-v2는 계산 중심 연구 실행, Robin은 사람이 수행한 실험을 다시 분석에 연결하는 사례다. 같은 ‘과학자’라는 표현 아래 다른 자율성 수준이 공존한다. [Co-Scientist] [The AI Scientist-v2] [Robin]

2. Problem Definition

한정된 자원으로 어떤 증거를 얻어야 경쟁 설명을 가장 잘 구분할 수 있는가?

AI 과학자의 문제는 텍스트 생성보다 순차적인 의사결정에 가깝다. 현재 관측에 잘 맞는 가설이 여럿이라면, 관측을 더 많이 모으는 것만으로 원인을 식별하기 어렵다. 설명들이 서로 다른 예측을 내놓는 조건을 찾아야 한다. LLM-AutoSciLab은 고정 데이터 적합을 넘어 가설에 조건화한 능동 실험 선택과 메커니즘 수정을 연결한다. [LLM-AutoSciLab]

예컨대 반도체 박막의 품질 향상이 온도, 산소 유량, 측정 편차 중 무엇 때문인지 모른다고 하자. 최고 성능 조건을 재측정하는 실험과 원인을 구분하는 실험은 다를 수 있다. 전자는 공정 최적화, 후자는 설명의 식별에 가깝다. 이는 아래 논문 결과의 재현이 아니라 연구 문제를 설명하기 위한 예시다.

분석적 개념식 · 실측 지표나 특정 논문의 목적함수가 아니다. 각 항의 척도와 가중치는 과제별 사전 정의가 필요하다.

실행 상태에는 데이터와 모델뿐 아니라 아직 배제하지 못한 가설, 장비 조건, 사용한 코드, 실패 원인, 인간의 결정이 들어가야 한다. 성능이 높은 답을 찾는 문제와 참인 설명을 구분하는 문제를 분리하면 연구주제와 평가 설계가 명료해진다.

3. Core Concepts

과학적 근거, 연구 기억, 메타인지와 실행 검증은 서로 다른 기능이다.

Kosmos의 구조화된 world model은 문헌조사와 데이터분석 사이의 공유 지식 상태다. 물리환경의 다음 상태를 예측하는 동역학 월드모델과 동일하게 취급할 필요는 없다. SciMARS는 여기서 한 단계 다른 질문을 제기한다. 기억을 보존하더라도 팀이 그 기억을 쓰는 규칙이 잘못되어 있으면 오류가 반복될 수 있다는 것이다. [Kosmos] [SciMARS]

Sage-Taiyi는 문제를 탐색하는 층과 그 탐색을 감시·조정하는 층을 구분한다. 목표 트리, 아이디어 그래프, 증거 상태를 관리하고 방법 선택을 갱신한다. 이는 메타인지에서 영감을 받은 기능적 설계이며 의식이나 일반적인 과학 지능의 입증을 의미하지 않는다. [Sage-Taiyi]

4. Introduction

모델·에이전트·실험실을 연결하는 국가 연구 실행체계로 읽는다.

최근 연구를 여섯 층으로 정리할 수 있다. 아래는 논문과 정책을 연결하기 위한 분석 구조이며 공식 과제 분류가 아니다.

정책을 시점별로 분리해 읽기

원문 D01 p.24, D02 p.21, D03 pp.4·19·20의 보관 PDF와 쪽 단위 텍스트 확인; 주요 표는 PDF 렌더링 대조. 공식 접근 경로는 말미 정책 출처에 제시한다. 후속 웹 검색에서 상세 로드맵 개정 원문은 확보하지 못했다. 따라서 ‘개정 없음’으로 확정하지 않는다.

분석적 연결. 9월 공통지원은 데이터·컴퓨팅·모델을 단일 실행환경으로 묶고, 코드·실행 기록을 축적하며, 장비 인터페이스·프로토콜·데이터 규격을 연결하는 방향을 담는다. ETRI의 2028–2032년 제안은 이 요구를 증거 추적, 실행 검증, 기관 간 전이의 기술 문제로 구체화할 수 있다. 2월 역할안은 확정된 예산·독점 수행 권한으로 강화하지 않는다.

5. Motivation and Background

개별 모델의 정답률을 연구 전체의 생산성으로 연결하는 데 병목이 남아 있다.

과학 지식은 문장에만 있지 않다. 분자구조, 영상, 방정식, 표, 센서 시계열을 같은 실험 조건 아래 해석해야 한다. Intern-S1은 일반 능력과 과학 전문성을 함께 다루는 멀티모달 모델을 제시한다. 정책의 과학 특화 모델과 연결되는 근거지만, 전문 문제를 푸는 모델이 자동으로 연구 방향을 정하고 장비를 운영하는 것은 아니다. [Intern-S1]

계산 연구에서는 생성 결과를 실행하고 자동 평가할 수 있어 폐루프를 구성하기 쉽다. AlphaEvolve는 코드 변경, 평가기 피드백, 진화적 선택을 반복한다. AI-Researcher는 문헌조사부터 구현·원고 작성까지 연결한다. 두 접근은 도구 실행의 중요성을 보여주지만, 평가기를 만들 수 있는 조건과 주로 AI·계산 과제에서의 검증 범위를 유지해 읽어야 한다. [AlphaEvolve] [AI-Researcher]

장기 연구는 탐색의 양만큼 자원 배분이 중요하다. DeepScientist는 누적 발견 기억과 단계별 검증을 결합하고 20,000 GPU 시간 이상을 사용했다고 보고한다. 이 비용은 저자 보고값이며 다른 시스템의 실행시간과 직접 비교할 수 없다. 기획에서는 아이디어 수보다 검증된 발견당 실험·계산·연구자 비용을 함께 평가해야 한다. [DeepScientist]

새로 검토한 반도체 박막 연구는 최적 조건을 찾은 뒤 사람이 재사용할 성장 규칙을 추출한다. 발견의 산출물을 ‘좋은 조건 한 점’에서 ‘전이 가능한 설명’으로 확장한다는 점이 중요하다. 다만 상관적 대리모델의 해석을 인과 법칙으로 단정할 수는 없다. [Interpretable self-driving sputter epitaxy]

6. Challenges

자율성, 정확성, 신규성, 비용은 하나의 숫자로 대체할 수 없다.

PaperBench는 ICML 2024 논문 20편의 재현을 8,316개 세부 평가 항목으로 구성했다. ICML 2025 출판본에서 당시 최상위 평가 에이전트인 Claude 3.5 Sonnet (New)의 평균 재현 점수는 21.0%다. 이는 논문 21%를 완전히 재현했다는 뜻도, 2026년 모든 모델의 성능도 아니다. [PaperBench, ICML 2025]

Kosmos는 외부 과학자 평가에서 보고서 진술 79.4%가 정확하다고 보고했다. 출처가 추적되는 것과 주장이 맞는 것은 별개다. 협력 연구자가 평가한 ‘수개월 연구에 해당’이라는 표현도 통제된 생산성 실험과 구분해야 한다. [Kosmos]

7. Research Questions

좋은 연구 질문은 성공 조건과 반증 조건을 동시에 만든다.

다음 질문은 정책의 공식 세부과제가 아니라 문헌을 바탕으로 도출한 연구 제안이다. 단일 모델 성능을 넘어 연구 전체의 성과와 오류를 측정하도록 구성했다.

자율성 지표는 개입 횟수 외에 개입 시간·이유·결정 변경·성과 영향을 기록해야 한다. 세팅과 교정에 사람이 몇 시간을 썼는지 제외하고 실행 중 개입만 세면 자동화 수준이 과장될 수 있다. 평가용 원데이터와 숨은 정답은 연구 기억에도 유입되지 않도록 관리해야 한다.

8. Approaches(Methods)

무엇을 자동화했는지, 어떤 증거로 검증했는지부터 비교한다.

기준선 연구의 기능과 경계

추가 확인 ① SciMARS: 기억을 쓰는 운영규칙도 수정한다

2026-11-09 공개 v1. 공유 증거 그래프에 더해 역할 절차, 협업 인계, 기억 기록·검색 정책을 별도 편집한다. 후보를 격리된 환경에서 시험하고, 새 조합은 다시 실행해 선택한다. 같은 라운드의 완전히 일치하는 실행만 재사용하는 규칙은 중복 결과를 새 증거로 세는 오류를 줄인다. [SciMARS]

저자 실험. Autonomous Science Bench의 6개 고정 캠페인×3회에서 GPT-6-Astra 팀은 기본 8/18, 기억정책까지 수정한 팀은 12/18을 해결했다. GLM-5.3에서는 1/18→2/18이었다. 각 모델군 내 실행·편집·시험·선택의 총 모델 허용량을 맞췄다. 과학 평가는 실험데이터 재생과 디지털 트윈이며 새 wet-lab 실행은 아니다. 반복 18회를 독립 과학 문제 18개로 세어서는 안 된다. ScienceAgentBench는 11/38→14/38, AppWorld의 Music·Finance 부분집합은 5/20→11/20이었다. 후자는 과학 발견 지표가 아니다. 원문 §§3.4–3.6, 4.2–4.3, 5 참조.

분석. 고정 기억과 적응적 기억 활용을 분리하는 실험이 필요해졌다. 다만 소규모·모델 의존 결과이며 독립 재현은 이번 조사에서 확보하지 못했다.

추가 확인 ② 물리 SDL 시험대: 에이전트와 BO를 같은 장비에서 비교한다

2026-11-08 공개 v1. 빨강·노랑·파랑 염료와 물을 합계 250 µL로 배합하고 400·600·700 nm 흡광도를 맞추는 장비 폐루프다. 세 표적에 두 방법을 적용한 6개 캠페인은 각각 48회, 약 4시간으로 누적 24시간이다. 이를 중단 없는 단일 24시간 실험이라고 표현하면 부정확하다. [Physical Testbed for Self-Driving Laboratories]

저자 결과. 에이전트는 표적 1에서 52%, 표적 2에서 32% 적은 반복으로 허용오차에 도달했다. 표적 3은 11회에 도달했고 BO는 48회 내 도달하지 못했다. 제안 계산은 평균 19초 대 16초, 물리 단계는 약 4.5분/회였다. 에이전트 세 캠페인의 API 비용은 20.83달러로 보고했다. 선택·분주·측정 중 개입이 없었다는 결과이며 준비·장비 구축까지 무인이라는 뜻은 아니다. 세 파장의 일치로 전체 스펙트럼이 유일하게 결정되지도 않는다. 원문 §§2–4·Table 2 참조.

분석. 최대 52%는 한 표적의 반복 감소이며 일반적 우월성은 미확정이다. 독립 반복과 다른 표적·장비 평가가 필요하다. 이 시험대의 가치는 비싼 과학 실험 전에 의사결정과 운영 신뢰성을 따로 시험할 수 있다는 데 있다.

추가 확인 ③ 형식 검증 기반 양자 프로그램 발견

2026-11-06 최초 공개, 11-09 v2. 연구자가 Lean으로 정확성·비용 명세를 고정하고 에이전트가 프로그램과 증명을 생성한다. 팀은 위키로 성과·실패를 공유하고 별도 검증기가 증명을 점검한다. 대규모 자율 탐색은 Gemini 4 Carbon을 사용했다고 원문이 명시한다. [Discovering formally verified quantum programs with AI]

v2는 병렬 탐색 최대 2.55배, 양자 산술 290배, 핵융합·광화학·약물대사 관련 시뮬레이션 11·8·2.5배의 개선을 보고한다. 이들은 각각 다른 문제의 기준선 대비 자원비용 개선이며 실험실 처리속도나 실제 양자컴퓨터 실행시간 측정이 아니다. 결함허용 회로에서는 큐비트 수×T 게이트 수의 비용 모형을 사용한다. 검색 결과에 남은 병렬 탐색 1.4배와 최신 v2의 2.55배가 달라 본문은 v2를 기준으로 했다. 변경의 세부 원인은 버전 전체 diff를 검증하지 못해 단정하지 않는다. 원문 §1, §2, Appendix D 참조.

분석. 독립 검증이 가능한 문제에서는 생성기보다 명세와 검증기의 품질이 중요해진다. 증명은 명세 안의 정확성에 대한 근거이며 현실 현상을 모형화한 가정까지 자동으로 증명하지 않는다.

추가 확인 ④ 해석 가능한 반도체 박막 자율실험

2026-02-26 v1로 공개된 연구를 이번에 추가 검토했다. β-Ga₂O₃ 스퍼터 에피택시에서 BO와 광학 평가를 연결하고, 랜덤 포레스트 대리모델에서 성장 규칙을 추출한다. 저자는 Urbach 에너지 최소 182 meV 및 재최적화 없는 호모에피택시 전이를 보고한다. 이는 특정 박막 품질 지표이며 모든 소재의 보편 성능이 아니다. [Interpretable self-driving sputter epitaxy]

2026-08-25 NTT 공식 발표는 Nature Communications 연결 DOI와 달라진 정식 제목·저자 목록을 제시한다. 발표의 설명대로 현재 구성은 로드록에 웨이퍼를 넣고 성장 후 광학 측정기로 옮기는 데 인간이 참여한다. 따라서 ‘모든 물리 작업의 완전 자율화’로 서술하지 않는다. 출판사 전문은 접근하지 못해 최종 출판일과 프리프린트 대비 실험 변경은 확정하지 않았다. [NTT 공식 발표·Publication Information 및 용어 설명]

기준선 보강: Sage-Taiyi의 점수는 무엇을 뜻하는가?

2026-11-09 v1의 Taiyi-Bench는 10개 분야 50편, 265개 과제로 구성된다. GPT-5.6-Sol high를 사용하고 과제별 아이디어 10개를 생성한다. Overall 54.0 대 AI Scientist-v2 47.9는 재발견·개방형 아이디어 평가의 결합 점수다. 비교를 위해 후자의 실험·보고서 생성 단계는 제외했다. 따라서 전주기 시스템 전체를 같은 비용으로 비교한 결과가 아니다. [Sage-Taiyi]

다섯 전문가 협업 사례에는 화학·소재·공학의 계산·실험 피드백이 포함된다. 반응별 보고 수율은 코발트 촉매 카보닐화 미량→84%, 광촉매 알릴 아민화 13%→69%다. 서로 다른 반응 조건의 전후 사례이며 보편적 수율 향상률은 아니다. 메타인지 기여의 일반성·외부 재현은 아직 검토 과제다. 원문 §2, §3.1, §3.3 참조.

9. Key Applications

도메인마다 검증 가능한 산출물과 인간의 역할이 다르다.

ETRI 관점에서 매력적인 접점은 도메인 연구기관의 전문지식과 실험 자원을 연결하는 공통 기술이다. 모델을 제공하는 데 더해, ‘어떤 조건에서 나온 증거인가’, ‘어떤 변경 후 결과가 달라졌는가’, ‘다른 장비에서 같은 주장을 확인할 수 있는가’를 지원하는 실행체계가 필요하다. 이는 2월 역할안을 현재의 독점 역할로 확정하는 주장이 아니라 2028–2032년 사업 기획을 위한 분석이다.

예를 들어 통신·컴퓨팅 알고리즘에서는 자동 평가와 증명을 먼저 결합하고, 반도체·소재 기관과는 실제 장비 전이와 계보 보존을 공동 검증할 수 있다. 공동 플랫폼의 가치는 한 분야 최고점보다 여러 분야에서 같은 증거 관리 원칙이 작동하는지로 확인하는 것이 적절하다.

10. Open Problems

과학적 발견을 기록하는 시스템이 그 발견의 타당성까지 보장하는 것은 아니다.

신규성과 재현을 동시에 평가할 수 있는가?

시간으로 나눈 문헌과 미공개 과제를 사용해도 모델의 선행지식 누수를 완전히 배제하기 어렵다. 재발견 능력, 새로운 예측의 정확성, 독립 기관의 재현을 별도 축으로 보고해야 한다. 벤치마크 심사 점수와 실제 연구 가치 사이의 연결은 아직 열려 있다.

연구 실패를 정확히 분류할 수 있는가?

실험 실패에는 가설 오류, 장비 이상, 시료 편차, 코드 결함이 섞인다. 실패를 모두 가설 반증으로 처리하면 옳은 가설을 버리고, 모두 도구 오류로 처리하면 틀린 가설을 유지한다. 실패 기억에 원인·근거·미확정 상태를 함께 넣고, 원인 판정의 정확성 자체도 평가해야 한다.

자기 개선이 검증기를 공략하는 방향으로 흐르지 않는가?

SciMARS의 실행기 수정과 형식 검증 연구는 서로 다른 통제 방식을 보여준다. 전자는 외부 실행 결과로 운영방식을 선택하고, 후자는 명세를 고정해 증명을 확인한다. 이 글의 제안은 수정 가능한 실행기와 독립적으로 유지되는 판정 기준을 연결하는 것이다. 어떤 검증기도 측정되지 않은 현실 조건까지 보장하지는 않는다.

작은 폐루프가 장기·다기관 임무로 확장되는가?

수십 회의 염료 배합과 여러 달의 복잡한 과학 임무 사이에는 시료 관리, 장비 교정, 데이터 버전 변경, 중단·복구, 연구자 판단이라는 차이가 있다. 이번에 검토한 연구만으로 그 간극이 해소되었다고 결론낼 수 없다. 비용·인간 참여를 포함한 다기관 전향적 평가가 핵심 미해결 문제다.

11. Future Directions

2028–2032년에는 독립 검증 가능한 연구 루프를 단계적으로 연결한다.

아래는 정책 요구와 논문을 연결해 도출한 신규 제안이다. 공식 확정 과제, 예산, 기관 배분을 뜻하지 않는다. 정책의 2035년 완전 자율형 발견 목표는 별도로 유지하고, 사업 기획 기간은 2028–2032년으로 제한한다.

세 가지 집중 연구 아이디어

제안 A · 반증 가치 기반 실험 스케줄러. 각 후보가 ‘성능을 높이는가’와 ‘가설을 구분하는가’를 따로 추정한다. 시뮬레이션에서 참 메커니즘을 숨겨 검증하고, 이후 작은 물리 시험대로 옮긴다. 동일 질의 수·동일 잡음에서 BO와 정보획득 중심 방법을 비교한다. 장비에서 이득이 사라지면 관측 모형의 오지정을 분석한다.

제안 B · 실패 원인에 따라 기억을 갱신하는 연구 시스템. 원데이터·도구 실행은 변경 불가능한 계보로 보존하고, 해석과 가설 상태는 새 증거로 수정한다. 장비 실패를 가설 반증으로 혼동하는 비율을 핵심 지표로 둔다. 기억을 많이 저장하는 조건과 정확하게 판정하는 조건을 구분해 성능 원인을 밝힌다.

제안 C · 기관 간 검증 계약을 갖춘 과학 AI-OS. 한 기관의 후보를 다른 기관이 재실행할 때 필요한 환경·교정·단위·코드·데이터 버전을 묶어 전달한다. 실행 성공, 주장 재현, 비용 절감을 별도 판정한다. 형식 검증을 쓸 수 있는 계산 부분과 경험적 검증이 필요한 물리 부분의 경계를 명시한다.