PART 01
1 Definition
AI 과학자는 연구 질문·가설·실험 또는 계산·해석·다음 연구 선택을 연결하는 시스템으로 다룬다. 자율성은 시스템 이름이나 도구 호출 횟수로 판단하지 않고, 위임한 결정과 실제 인간 참여 범위를 확인한다. 아래 구분은 연구기획을 위한 운영적 정의다.
| 범주 | 주요 범위 | 인간 참여·평가 경계 |
|---|---|---|
| AI for Science | 예측·최적화·수치해석 등 과학 과제의 AI 활용 | 연구 전주기 자율성을 전제하지 않음 |
| 연구지원 에이전트 | 검색·코딩·분석·문서화 등 지정 업무 | 연구자가 목표·해석·다음 단계 결정 |
| AI Co-Scientist | 가설·비판·설계·해석의 인간-AI 협업 | 전문가 선택·승인·책임 구간 기록 |
| AI Scientist | 여러 연구 단계의 자율적 연결 | 제한된 문제·도구·예산 안의 성능부터 검증 |
| Self-Driving Laboratory | 실험 선택–물리 장비–측정의 폐루프 | 장비 구축·시료 준비·교정·안전 감독의 인간 기여 별도 기록 |
측정 기준 충족률, 분석 점수, 과제 성공률은 서로 다른 지표다. 가상 장비를 잘 다루는 에이전트가 실제 장비에서도 같은 성능을 내는지, 그 결과를 과학적으로 정확히 해석하는지는 별도로 검증해야 한다.
PART 02
2 Problem Definition
핵심 문제는 낮은 연구 성능의 원인을 분리하는 것이다. 실험을 잘못 골랐는지, 장비 설정이 틀렸는지, 필요한 데이터를 얻었지만 해석에 실패했는지 알 수 없다면 모델·도구·기억 중 무엇을 개선할지 결정하기 어렵다. 최종 보고서의 품질이나 전체 평균 하나만으로는 이 경계를 구분하기 어렵다.
반대로 답을 이미 알고 있거나 고정된 탐색 규칙으로도 높은 점수를 얻는 환경은 과학적 추론을 충분히 측정하지 못할 수 있다. 숨은 정답이 있어도 평가 규칙이 불명확하거나 특정 모델의 실패를 보고 난도를 조정했다면 점수 해석에 주의가 필요하다.
따라서 국가 플랫폼의 평가는 도구 사용의 성공과 유효 데이터 획득, 정보가치, 해석 정확성, 장기 기억·복구를 각각 측정한 뒤 관계를 분석해야 한다.
PART 03
3 Core Concepts
과학 지식·멀티모달 데이터의 통합 이해
문헌·수식·표·이미지·스펙트럼·시계열·장비 로그가 같은 시료와 조건을 가리키도록 단위·시간·좌표·버전을 연결해야 한다. 언어 모델의 지식 회상과 실제 관측에서 새로운 정보를 얻는 능력은 다르다. 원시 데이터의 생성 조건과 불확실성이 해석까지 전달돼야 한다.
능동 실험설계와 베이지안 최적화
좋은 실험은 단순히 많이 측정하는 실험이 아니라 경쟁 가설을 구별하거나 목표 물성을 효율적으로 개선하는 실험이다. 정보가치·비용·위험을 비교하고, 교정·진단·재측정도 행동 집합에 넣을 수 있다. 실험 선택의 효과를 보려면 같은 해석기를 두고 고정 설계와 능동 설계를 비교하는 방식이 유용하다.
교정된 평가와 지름길 대조
평가 난도는 사람의 직감만이 아니라 문제를 풀 수 있는 기준 정책과 추론 없이 점수를 얻는 단순 정책을 함께 검사해 정할 수 있다. 여기서 oracle은 숨은 정답을 그대로 읽는 전능한 에이전트가 아니라, 공개 관측을 이상적으로 해석하는 기준 정책일 수 있다. 기준 정책의 구현과 가정을 명시해야 한다.
기억·메타인지·실패 복구
장기임무에는 이전 실험의 사실, 반례, 남은 예산과 장비 상태를 유지하는 기억이 필요하다. 형식 오류를 줄이는 것과 올바른 과학적 판단을 이어가는 것은 다르다. 정체 감지·추가 관측·판단 보류·재시작을 실제 행동으로 평가하고, 재시작이 이미 소모된 시료를 복원하지는 못한다는 점도 고려해야 한다.
다중 에이전트와 공통 실행 기록
가설 생성자·실험 설계자·도구 실행자·검토자의 역할을 나눌 수 있지만 에이전트 수가 늘어났다는 이유만으로 성능 개선을 인정하지 않는다. 같은 자원 아래 단일 구조와 비교하고, 주장–측정–코드–데이터의 계보를 공유해야 한다. 같은 오류를 공유하는 여러 검토자는 외부 독립 재현을 대신하지 못한다.
PART 04
4 Introduction
직전 글은 감사·공유 기억·성과평가의 단위를 다뤘다. 이번 근거는 기록에서 오류를 찾는 것에 더해, 어떤 능력이 점수에 기여했고 어떤 능력은 아직 검증되지 않았는지 분해하는 관점을 제공한다.
| 새 검토 연구 | 추가된 관점 | 해석 경계 |
|---|---|---|
| Openhagen Worlds | 실험 추론의 숨은 정답·지름길 대조·장기 캠페인 | 가상 환경·예산과 난도 조정의 영향 |
| instrMCP / q-devBench | 측정과 분석의 점수 분리·참조 데이터 분석 실험 | 가상 QCoDeS 장비·모델 심사 기반 루브릭 |
기존 arXiv 37건과 PaperBench의 제출·개정 표시를 대조해 추가 버전 변경을 발견하지 못했다. 새 두 식별자는 기존 블로그 검색에서 찾지 못해 원장에 추가했다. 검색만으로 저장소 전체에서의 완전한 부재를 증명하지는 않는다. 직전 공개 글의 HTTP 200과 Pages 작업 성공도 확인했다.
PART 05
5 Motivation and Background
[정책 원문] 과기정통부 「K-문샷 추진전략(안)」(2026-02-25), PDF p.24는 연구 전주기 통합 AI Scientist 플랫폼, 과학적 발견 핵심기술, 국가 연구데이터 연계, 과학 특화 멀티모달 독자모델과 버티컬 AI 파인튜닝 툴킷을 제시한다. ETRI·KISTI 플랫폼, ETRI 과학 모델, KISTI 데이터는 원문의 역할(안)이며 확정 배분으로 강화하지 않는다.
| 문서·기관·발표일 | PDF 위치와 확인 내용 | 해석 |
|---|---|---|
| 추진현황 보고 · 과기정통부 · 2026-03-11 | p.21: 2029 협업형 가설설계·실험·검증; 2032 인간 개입 최소화 장기임무·자율실험실 연계; 2035 완전 자율형 발견 | 3월 보고의 마일스톤 |
| 전략 로드맵(안) · 과기정통부 · 2026-09-30 | p.4: AI 과학자 상세 로드맵 별도 발표 예정; pp.19–20: 과학 추론 모델·에이전트·과학 AI-OS·자율실험실 지원 | 3월 일정을 9월 확정 상세 로드맵으로 바꾸지 않음 |
9월 문서 p.20의 실행 기록 축적, 장비·프로토콜·데이터 규격, 실험 결과 판정·검증 및 원데이터 공개 방향은 오늘의 검증 경계와 직접 연결된다. 최신 검색에서는 새 확정 AI 과학자 상세 로드맵 원문을 확보하지 못했다. 이는 정책 변경이 없다는 증명이 아니다.
[공식 후속 원문 재확인] NST의 2026-11-12 독립 검증·재현 인프라 기획 RFP와 2026-11-13 신약개발 AI-ready 학습·벤치마크 데이터 기획 RFP를 다시 내려받았다. 파일 해시는 직전 확보본과 동일했다. 전자는 독립 검증 주체·공통 심사·성공/실패/미완료 전수 기록 및 2028년 착수 목표의 신규사업 기획을 요구하고, 후자는 학습과 독립된 시험 데이터·비공개 평가·기관 간 교차검증을 요구한다. 두 문서 모두 기획 요청이며 본사업 승인·예산·역할 확정의 증거가 아니다.
[분석적 연결] ETRI의 2028–2032년 사업 후보는 개발 시스템과 그 결과를 판단하는 검증 체계를 함께 설계할 수 있다. 실행 프로토콜의 표현, 대조군 판정 기록, 정보 접근 감사가 독립 평가자의 재실행과 연결돼야 한다. 해외 논문의 검증 결과가 국내 정책 목표의 달성을 입증하지는 않는다.
PART 06
6 Challenges
평가 환경의 난도와 모델 순위
특정 모델의 결과를 보고 과제 난도·파서를 조정한 뒤 같은 표본으로 다시 평가하면 해당 모델의 절대 점수와 다른 모델과의 비교에 선택 편향이 생길 수 있다. 생성 규칙이 새롭더라도 untouched 평가 블록을 별도로 둘 필요가 있다.
분석 전용 실험의 혼합 효과
깨끗한 참조 데이터를 제공하면서 장비 세션을 제거하면 데이터 획득 품질·문맥 길이·도구 부담이 함께 변한다. 이 결과는 전체 병목을 진단하는 데 유용하지만, 문맥 길이 하나가 성능 저하의 원인이라고 단정할 수 없다. 한 요인씩 바꾸는 후속 실험이 필요하다.
예산과 종료 조건
토큰 한도·추론 노력·재요청·벽시계 제한·도구 권한이 다르면 같은 모델의 점수도 크게 달라질 수 있다. 완료된 과제만의 정확도와 전체 과제 성공을 구분하고, 형식 오류·시간 초과·잘못된 결론을 전수 기록해야 한다.
모델 심사와 가상 장비의 한계
모델 심사의 두 단계가 같은 중간 분석을 공유하면 심사자 변경이 그 중간 단계의 공통 편향을 발견하지 못할 수 있다. 가상 장비는 초기화와 반복이 쉽지만 실제 드리프트·고장·시료 변화·안전 사고를 모두 재현하지는 못한다.
PART 07
7 Research Questions
| 질문 | 동일 예산의 비교 | 효과를 보류할 조건 |
|---|---|---|
| RQ1. 능동 설계가 정보가치를 높이는가? | 같은 분석기에서 고정·무작위·정보가치 기반 실험 선택 비교 | 실험 수만 늘고 가설 식별·유효 증거가 늘지 않음 |
| RQ2. 측정과 분석 사이에서 무엇이 손실되는가? | 에이전트 데이터/참조 데이터 × 전체/축약 문맥 교차 비교 | 단일 요인 효과가 재현되지 않음 |
| RQ3. 기억이 장기 캠페인의 결론을 보존하는가? | 기억 없음·요약·원시 근거와 조건을 연결한 기억 비교 | 이전 사실 회상은 늘지만 최종 판정은 개선되지 않음 |
| RQ4. 다중 에이전트가 분석 병목을 줄이는가? | 동일 모델·호출/시간 예산의 단일·역할 분리 비교 | 검토 대화만 늘고 해석 오류·비용은 유지 |
| RQ5. 검증기 변경에 결론이 견고한가? | 독립한 전체 심사 파이프라인·전문가·규칙 검사 비교 | 공통 중간 분석을 제거하면 성능 차이가 사라짐 |
| RQ6. 가상 성능이 실제 실험실로 전이되는가? | 가상·디지털 트윈·실장비의 기관/시점 보류 평가 | 장비 변화·실패 복구에서 우위가 사라짐 |
계산·장비·모델 비용과 인간 지원 시간을 기록하고, 반복 실행·오류 유형별 분석·분야 및 기관 보류 시험을 포함한다. 이 질문들은 이번 두 연구가 이미 해결한 결과가 아니다.
PART 08
8 Approaches(Methods)
8.1 Openhagen Worlds — 실험 추론을 측정하는 환경의 교정
[저자 결과·프리프린트 v1] Openhagen Worlds는 27개 절차 생성 환경 계열·178개 난도 수준에서 숨은 정답과 공개 채점 규칙을 둔다. 개발 64개 사례의 oracle 성공 ≥0.75, 단순 정책 ≤0.25, 검사한 지름길 ≤0.35를 난도 편입 기준으로 사용한다. 일부 환경은 퍼즐형 실험 추론이고, 물리·화학 계열은 시뮬레이터를 쓴다. 장기 캠페인은 과거 증거의 재사용을 요구한다.
[예산에 따른 성과] 같은 pilot 84개 frontier 사례에서 DeepSeek V4.1 Flash의 성공은 기본 노력·호출당 16,384토큰 한도에서 32개, 최대 노력·393,216토큰 상한·재요청 없음에서 57개였다. 이는 복수 설정을 함께 바꾼 비교이며 토큰 하나의 인과 효과는 아니다. §3–7·§10.
[조건·한계] frontier 난도는 Flash의 최종 사례 결과를 보며 조정돼 미사용 평가 블록 확인이 필요하다. 알려지지 않은 지름길을 모두 배제하지 못한다. 학습 연구는 단일 실행·시드 조건의 한계가 있고 일부 향상은 행동 형식·종료 안정성에서 나온다. 물리 실험과 미공개 실데이터 시험의 성공을 입증하지 않는다. §9–10.
[분석적 연결] 국내 평가의 새로운 점은 난도 자체를 검증 대상으로 삼는 것이다. 좋은 환경은 정답 검사가 가능한 것에서 끝나지 않고, 고정된 측정 순서·추측·쉬운 단계별 풀이가 어디까지 통하는지를 공개해야 한다. 실험 선택과 해석 중 어느 부분을 측정하는지도 비교군을 통해 명확히 할 수 있다.
8.2 instrMCP / q-devBench — 장비 실행과 과학 분석의 간극
[저자 결과·프리프린트 v1] Cai 외는 실제 응집물질 실험의 37개 과제를 가상 QCoDeS 장비로 재구성하고 MCP로 연결한다. 10개 상용 코딩 에이전트 구성·과제당 5회, 총 1,850개 실행을 0–4 루브릭으로 심사했다. 측정 관련 기준 충족은 70–83%, 분석 관련은 28–46%였다. 이는 기준 항목의 충족 비율이며 과제 성공률이 아니다. 배치 시간 제한은 3,600초 또는 이후 더 길었고 플랫폼·실행 조건도 동일한 비용으로 통제된 모델 순위가 아니다.
[분해 실험·한계] 분석 전용 비교는 9개 구성에 깨끗한 참조 CSV를 주면서 장비 세션을 제거해 격차를 줄였다. 데이터 품질과 실행 문맥이 함께 바뀌므로 한 원인으로 귀속하지 않는다. 207개 재심사도 중간 코드 분석을 공유해 완전히 독립한 심사는 아니다. 가상 환경 평가이며 데이터 접근 가드는 best-effort다. §2–4·부록 C·보충 S3.
[분석적 연결] 장비를 움직이는 능력이 이미 일정 수준이면 더 많은 도구를 붙이는 것만으로 해석 병목이 해결되지 않을 수 있다. 국내 실험 지원 에이전트는 물리량 추정·단위·불확실성·경쟁 설명의 검토를 독립 목표로 다뤄야 한다. 동시에 깨끗한 데이터 제공이 실제 획득 데이터를 대체했다는 점을 반영해, 측정 계획과 획득 오류도 함께 진단해야 한다.
PART 09
9 Key Applications
| 응용 | 가능한 연결 | 추가로 검증할 것 |
|---|---|---|
| 소재·반도체·양자 계측 | 가상 장비·교정·물리량 분석 평가 | 드리프트·시료 변화·실장비 전이 |
| 바이오·화학 능동 탐색 | 가설 구분·조건 선택·분석의 단계별 평가 | 보류 시료·생물학적 단위·도메인 제약 |
| 계산 과학·시뮬레이션 | 숨은 정답·지름길 대조·재현 가능한 실행 | 모델 가정·정답/채점기의 오류·실제 과학적 의미 |
| 장기 Lab-in-the-Loop | 기억·예산·상태·복구 이력의 전달 | 실물과 디지털 상태의 차이·인간 개입 |
| 국가 데이터·플랫폼 | 과제·장비·분석·평가 이력의 공통 규격 | 기관 간 분할 독립성·접근권·외부 재현 |
ETRI는 과학 특화 멀티모달 추론·공통 도구 실행·데이터 계보·평가 플랫폼을 중심으로 분야별 연구기관과 협력하는 구조를 검토할 수 있다. 이는 확정 기관 배분이 아니라 제안이다. 계산적 후보·분석 성과는 임상 효능과 구분하고, 벤치마크 통과를 실험실 전주기 무인 운영으로 확대하지 않는다.
PART 10
10 Open Problems
무엇을 발견으로 인정할 것인가
숨은 정답을 맞히는 과제와 실제로 중요한 새 과학적 질문을 고르는 것은 다르다. 통제된 환경은 능력을 분해하는 도구지만 연구 주제의 가치·새로움·사회적 중요성을 모두 평가하지 못한다. 후보 생성·검증·독립 확인의 단계를 연결해 해석해야 한다.
평가 환경의 일반화
공개 환경이 반복 사용되면 학습·프롬프트·도구가 특정 채점기에 맞춰질 수 있다. 새 생성 시드뿐 아니라 새로운 환경 계열·장비·기관·시점을 보류하고, 알려진 지름길 대조를 계속 갱신해야 한다.
장기 기억과 실제 실패
기억이 없는 기준 정책보다 나아졌다고 안전한 물리 복구까지 입증되는 것은 아니다. 실행이 부분적으로 끝났거나 시료가 바뀐 상태에서 같은 명령을 재시도해도 되는지 별도 판단이 필요하다. 실패·미완료·보류·인간 복구 이력을 전체 분모에 포함해야 한다.
점수의 상승과 병목의 해소를 구분하려면 예산·데이터·문맥·검증기를 함께 대조해야 한다. 이번 새 연구의 저자 평가를 외부 기관이 독립 재현한 확정 근거는 확보하지 못했다.
PART 11
11 Future Directions
2028–2032 전략연구사업 후보: 단계별 능력을 설명하는 과학 에이전트 평가 기반
[신규 제안] 통합 AI 과학자 플랫폼과 함께 실험 선택·장비 실행·분석·기억·복구를 분리 측정하는 공통 평가 기술을 개발한다. 가상 평가의 반복성과 실제 실험실의 현실성을 단계적으로 연결하고, 독립 평가자가 원시 근거를 검사할 수 있게 한다.
| 기간 | 연구 내용 | 검증 산출물 |
|---|---|---|
| 2028 | 분야별 과제·가상 장비·분리 지표·인간 기준선 | oracle·단순·지름길 정책과 평가 난도 감사 |
| 2029 | 멀티모달 가설·실험설계·분석의 공정 비교 | 동일 예산의 단일/다중 에이전트·분해 실험 |
| 2030 | 장기 기억·부분 실행·상태 변화·복구 | 기억 방식·재시작·문맥 압축의 교차 검증 |
| 2031 | 디지털 트윈–실장비·기관 간 평가 전이 | 새 장비/기관 보류·독립 전체 심사·반복 측정 |
| 2032 | 제한 조건의 장기 Lab-in-the-Loop 통합 | 유효 발견·실패·미완료·인간 개입의 전수 기록과 외부 재현 |
연구 아이디어 1 — 측정과 분석의 교차 분해. 에이전트가 얻은 데이터와 참조 데이터, 전체 문맥과 축약 문맥을 교차 제공해 정보 손실의 위치를 찾는다. 단순히 장비 도구를 제거하는 실험보다 원인 분리에 유리한지 검증한다.
연구 아이디어 2 — 실험 선택을 검증하는 기준 정책. 같은 분석기를 사용하면서 무작위·전수·정보가치 기반 설계를 비교한다. 국내 장비 조건에서 능동 설계가 유효 증거당 비용을 줄이는지 반증한다.
연구 아이디어 3 — 상태와 예산을 보존하는 장기 기억. 시료·장비·잔여 자원·반례·실패 원인을 함께 기록한다. 가상 캠페인뿐 아니라 실장비 재시작 후의 올바른 다음 행동과 인간 복구 시간을 측정한다.
제안 기간은 2028–2032년이다. 3월 정책의 2029·2032·2035 목표 및 NST RFP의 2028 착수 목표는 해당 문서에 귀속한다. 최신 상세 로드맵 원문을 확보하면 요구와 제안의 정합성을 재검토해야 한다. 사업명·예산·기관 배분·정량 KPI는 확정안이 아니다.