PART 01
1 Definition
이 글에서 AI 과학자는 연구 질문과 가설, 실험·계산, 분석, 다음 연구 선택을 연결하는 시스템이다. 자율성은 명칭이나 에이전트 수로 판정하지 않고 위임한 결정, 실행 도구, 인간 개입과 검증 범위로 설명한다. 다음 구분은 연구기획을 위한 운영적 정의다.
| 범주 | 주요 범위 | 인간 참여·검증 경계 |
|---|---|---|
| AI for Science | 예측·수치해석·최적화 등 과학 과제에 AI 적용 | 연구 전주기 자율성을 전제하지 않음 |
| 연구지원 에이전트 | 검색·코딩·분석·문서화 등 지정 업무 | 연구자가 질문·해석·다음 단계 결정 |
| AI Co-Scientist | 가설·비판·설계·해석을 인간과 협업 | 방향 조정과 책임의 경계 명시 |
| AI Scientist | 여러 연구 단계의 자율적 연결 | 제한된 문제·자원·권한 안의 성능부터 검증 |
| Self-Driving Laboratory | 실험 선택–물리 장비–측정의 폐루프 | 설비 구축·시료 준비·교정·안전 감독의 인간 기여 별도 기록 |
감사 가능한 기록이 있다는 사실과 결론이 참이라는 사실은 다르다. 기록은 과학적 주장을 다시 검사하고 필요한 경우 되돌릴 수 있게 만드는 기반이다. 계산 연구 에이전트의 성과를 물리 실험실 완전 자율화로 확대하지 않는다.
PART 02
2 Problem Definition
핵심 문제는 자율 실행이 늘어날수록 사람이 어떤 근거로 다음 연구 방향을 결정할 수 있느냐는 것이다. 최종 보고서만 받으면 어느 분석이 결론을 만들었는지, 부정적 결과가 왜 제외됐는지, 데이터 접근이 허용 범위를 넘었는지 파악하기 어렵다. 기록이 많아져도 이를 읽는 비용이 지나치게 크면 실질적 감독이 약해질 수 있다.
다중 에이전트에서는 공유 기억도 양면적이다. 유용한 발견을 재사용할 수 있지만, 근거 없는 결론을 공유하면 모든 탐색 단위가 같은 잘못된 방향으로 움직일 수 있다. 후보를 더 많이 생성하는 것이 다양성·실현 가능성·참신성을 계속 높인다는 보장도 없다.
따라서 과학 AI 플랫폼은 실행 이력의 보존뿐 아니라 주장–분석–코드–데이터의 연결, 공유 지식의 승인 조건, 오류 복구, 인간의 판단 지점을 함께 설계해야 한다. 사업 평가도 논문 수나 실행량만으로 대체할 수 없다.
PART 03
3 Core Concepts
멀티모달 이해에서 근거의 계보로
문헌·수식·표·이미지·시계열·분자 구조·장비 로그가 같은 시료와 조건을 가리키는지 알아야 통합 이해가 가능하다. 단위·시간·장비 설정·데이터 버전과 생성 이력을 연결하면 결과를 현재 문제에 재사용할 수 있는지 판단하기 쉽다. 많이 검색한 것과 과학적으로 정합적인 근거를 구성한 것은 다르다.
반증 가능한 가설과 방향 조정
가설은 기대 결과뿐 아니라 어떤 관측이 나오면 반박·보류·수정할지를 포함해야 한다. 연구자의 역할은 모든 코드를 직접 감독하는 방식부터, 가설 분기 사이에서 방향을 정하는 방식까지 나눌 수 있다. 인간의 개입이 있다는 이유만으로 자율 실행의 가치가 사라지는 것은 아니며, 어느 개입이 성과를 바꿨는지 기록해야 한다.
경험적 기억과 절차적 기억
무엇을 발견했는가와 어떤 코드·도구·프로토콜로 수행했는가는 다른 기억이다. 둘을 원시 근거와 연결해 보존해야 실패한 가설, 재사용 가능한 구성 요소, 적용 조건을 구분할 수 있다. 공유 기억의 ‘검증’도 형식 증명·보류 데이터·시뮬레이터·모델 심사의 어떤 조합인지 명시해야 한다.
메타인지와 실패 복구
자신감 표현보다 정체를 감지해 탐색 전략을 바꾸고, 오류가 생긴 상태로 되돌아가며, 추가 증거를 요청하는 행동이 평가 대상이다. 재시작이 다양성을 회복했는지, 유용한 기억을 잃었는지, 추가 비용만 늘렸는지 함께 비교해야 한다.
능동 실험설계·베이지안 최적화·Lab-in-the-Loop
후보 선택의 정보가치와 실험 비용을 비교하고, 실제 장비에서는 교정·진단·재측정도 선택 가능한 행동에 포함할 수 있다. 계산 벤치마크의 후보 탐색과 물리 장비의 폐루프는 별도로 검증해야 한다. 공유 기억이 잘못된 결과를 전파하면 베이지안 대리모델이나 후속 실험도 편향될 수 있으므로 실행 결과의 유효성 조건을 함께 전달해야 한다.
PART 04
4 Introduction
직전 글은 대조 실패에 따른 결론 보류, 구조화 실행, 검색과 재발견의 차이를 다뤘다. 이번에는 판단의 근거를 되짚고 복구하는 시스템과 검증된 지식 공유, 더 큰 평가 단위로 관점을 넓힌다.
| 새 검토 연구 | 추가된 관점 | 검증 경계 |
|---|---|---|
| DiscoveryAgent | 가설 분기 사이의 인간 조정·체크포인트 감사·오류 복구 | 계산 분석과 소규모 감사 연구; 물리 실험 아님 |
| Inventa | 검증자가 공유 지식에 쓰고, 연구 단위가 탐색 구조를 바꿈 | 계산 벤치마크·모델 평가; 보편적 과학 타당성 보증 아님 |
| 과학계 장기 추세 분석 | 개별 생산성과 거시적 변화의 단위 구분 | 2025년까지의 논문 관측; 2026년 에이전트 효과의 직접 검증 아님 |
신규 논문 3편은 기존 블로그 식별자 검색에서도 찾지 못해 원장에 추가했다. 검색 결과만으로 저장소 전체의 완전한 부재를 증명하지는 않는다. 직전 공개 페이지 HTTP 200과 해당 Pages 작업 성공을 확인한 뒤 대조했다.
PART 05
5 Motivation and Background
[정책 원문] 과기정통부 「K-문샷 추진전략(안)」(2026-02-25), PDF p.24는 연구 전주기 통합 AI Scientist 플랫폼, 과학적 발견 핵심기술, 국가 연구데이터 연계, 과학 특화 멀티모달 독자모델과 버티컬 AI 파인튜닝 툴킷을 제시한다. ETRI·KISTI 플랫폼, ETRI 과학 모델, KISTI 데이터는 원문의 역할(안)이며 확정 배분으로 강화하지 않는다.
| 문서·기관·발표일 | PDF 위치와 확인 내용 | 해석 |
|---|---|---|
| 추진현황 보고 · 과기정통부 · 2026-03-11 | p.21: 2029 협업형 가설설계·실험·검증; 2032 인간 개입 최소화 장기임무·자율실험실 연계; 2035 완전 자율형 발견 | 3월 보고의 마일스톤 |
| 전략 로드맵(안) · 과기정통부 · 2026-09-30 | p.4: AI 과학자 상세 로드맵 별도 발표 예정; pp.19–20: 과학 추론 모델·에이전트·과학 AI-OS·자율실험실 지원 | 3월 일정을 9월 확정 상세 로드맵으로 바꾸지 않음 |
9월 문서 p.20의 실행 기록 축적, 장비·프로토콜·데이터 규격, 실험 결과 판정·검증 및 원데이터 공개 방향은 오늘의 검증 경계와 직접 연결된다. 최신 검색에서는 새 확정 AI 과학자 상세 로드맵 원문을 확보하지 못했다. 이는 정책 변경이 없다는 증명이 아니다.
[공식 후속 원문 재확인] NST의 2026-11-12 독립 검증·재현 인프라 기획 RFP와 2026-11-13 신약개발 AI-ready 학습·벤치마크 데이터 기획 RFP를 다시 내려받았다. 파일 해시는 직전 확보본과 동일했다. 전자는 독립 검증 주체·공통 심사·성공/실패/미완료 전수 기록 및 2028년 착수 목표의 신규사업 기획을 요구하고, 후자는 학습과 독립된 시험 데이터·비공개 평가·기관 간 교차검증을 요구한다. 두 문서 모두 기획 요청이며 본사업 승인·예산·역할 확정의 증거가 아니다.
[분석적 연결] ETRI의 2028–2032년 사업 후보는 개발 시스템과 그 결과를 판단하는 검증 체계를 함께 설계할 수 있다. 실행 프로토콜의 표현, 대조군 판정 기록, 정보 접근 감사가 독립 평가자의 재실행과 연결돼야 한다. 해외 논문의 검증 결과가 국내 정책 목표의 달성을 입증하지는 않는다.
PART 06
6 Challenges
검토자가 같은 오류를 공유할 수 있다
생성자와 검증자가 같은 데이터·모델·문헌을 사용하면 오류가 상호 확인될 수 있다. ‘별도 에이전트’와 ‘독립된 증거’는 다르다. 공유 지식에는 검증 방법·버전·사용 데이터·반례와 확인 범위를 함께 남겨야 한다.
감사 효과의 분리
감사 도구를 받은 집단은 더 구조적인 기록에도 접근할 수 있다. 오류 탐지 향상이 에이전트 자체 때문인지, 기록 구조 때문인지, 둘의 결합 때문인지 분리하는 실험이 필요하다. 인위적으로 넣은 오류를 찾는 능력도 실제 연구에서 자발적으로 발생한 오류의 탐지와 구별해야 한다.
자원·모델·인간의 동등성
더 많은 호출, 더 강한 실행 모델, 전문가의 추가 판단이 결합된 시스템을 단순 모델 순위로 해석하면 안 된다. 호출 횟수 절감도 토큰·모델 단가·벽시계 시간·하드웨어 비용을 모두 줄였다는 뜻이 아니다. 반복 실행과 실제 인간 지원 시간을 기록해야 한다.
과학계의 변화는 늦게 관측된다
논문에는 연구·심사·출판 지연이 있다. 언어·형식의 변화가 발견의 질을 직접 나타내지 않을 수 있고, 전체 평균이 분야별·기관별 변화와 다른 방향을 보일 수 있다. 관측되지 않은 변화와 효과가 없다는 결론을 구분해야 한다.
PART 07
7 Research Questions
| 질문 | 동일 자원의 비교 | 효과를 보류할 조건 |
|---|---|---|
| RQ1. 체크포인트 구조가 감사 비용을 낮추는가? | 최종 보고서·평면 로그·구조화 이력을 같은 감사 모델로 비교 | 오류 회수보다 검토 시간·오경보 비용이 크게 증가 |
| RQ2. 사람의 가설 조정은 무엇을 개선하는가? | 실행 모델·예산을 고정하고 자동·전문가 조정 비교 | 추가 자원 효과를 통제하면 개선이 사라짐 |
| RQ3. 검증된 공유 기억이 오류 전파를 줄이는가? | 공유 없음·자유 공유·검증자 쓰기만 허용 비교 | 공유 오류와 탐색 동질화가 줄지 않음 |
| RQ4. 재시작이 장기 탐색을 회복하는가? | 고정 구조·모델 교체·구조 수정·기억 보존 재시작 비교 | 다양성은 늘지만 유효 성과당 비용은 악화 |
| RQ5. 계산 평가가 물리 실험에서도 유효한가? | 시뮬레이션·실장비에서 같은 진단·설계 정책 비교 | 계산 개선이 실제 유효 실험에 전이되지 않음 |
| RQ6. 기관 생산성 향상은 질적 변화로 이어지는가? | 도입 전 기준선·유사 기관·분야·시점 보류 평가 | 논문·실행량만 늘고 독립 재현·다양성은 개선되지 않음 |
실패·중단·미완료, 데이터 접근 위반, 인간 복구를 분모에 포함하고 반복 실행과 외부 기관 평가를 설계한다. 위 질문은 검증할 제안이며 이번 세 논문이 모두 해결한 결과가 아니다.
PART 08
8 Approaches(Methods)
8.1 DiscoveryAgent — 인간의 방향 조정과 감사 가능한 연구 상태
[저자 결과·프리프린트 v1] DiscoveryAgent는 가설 분기 사이에서 연구자가 방향을 바꾸고 내부 분석은 에이전트가 수행한다. 경험·절차 기억, 체크포인트와 코드 버전을 감사 에이전트에 연결한다. 인위적 오류 실험에서는 주장 50개 중 25개를 바꾼 다섯 표본을 고정 감사 구조로 검사해 GPT-5.6-Sol의 F1 0.965를 보고했다. 별도 인간 연구는 총 8명·집단별 4명·1시간·삽입 오류 36개 조건에서 고유 오류 회수 평균이 감사 집단 3.50개, 코드 집단 0.25개였다.
[조건·한계] 14배는 이 작은 삽입 오류 연구의 비율이다. 감사 집단은 체크포인트·AI에도 접근했고 코드 집단은 AI 사용이 금지돼 단일 구성 요소의 효과가 아니다. 실제 테스트 데이터 접근 위반을 찾아 체크포인트 복원·격리를 강화한 사례도 있으나 완전한 누수 방지의 보증은 아니다. 시스템은 계산 분석용이며 물리 실험은 하지 않는다. §2.3·§3·§4.15.
[추가 검증 범위] 예측 실험은 변광성 분류와 ProteinGym 변이 효과를 다룬다. 후자는 학습 555,501개·시험 140,810개 변이, 같은 assay 안의 겹치지 않는 잔기 위치를 사용해 106개 참조 예측기를 같은 시험 변이에서 비교했다. 전문가 조정 결과가 상위 성능을 보였지만 자동·조정 실행 모델과 라운드 조건도 달라 인간 조정만의 인과 효과로 단정하지 않는다. 천문·경제·기능유전체 사례도 전문가가 방향을 정한 계산 연구다.
[분석적 연결] 직전 글의 ‘보류’가 판단 행위였다면 여기서는 판단에 필요한 이력을 찾아 오류 이전 상태로 되돌리는 구조가 중요하다. 국내 플랫폼도 최종 보고서보다 주장과 분석·원시 근거의 연결을 공통 산출물로 만들 수 있다. 이력 보존, 감사 도구, 전문가 조정 각각의 기여를 분리해 평가해야 한다.
8.2 Inventa — 공유 기억의 쓰기 권한과 탐색 전략을 바꾼다
[저자 결과·프리프린트 v1] Inventa는 연구 단위별 후보 계보와 생성기를 두고, 검증자만 공통 지식에 결과를 쓰게 한다. 정체 시 실행 구조 수정·모델 교체·재시작을 수행한다. 문헌 검색·아이디어·제안서·법칙 발견의 다섯 벤치마크를 평가했다. EurekaBench의 16개 CPU 과제에서 조건부 점수 CS는 73.6%, CORAL은 56.2%였다. CS는 보류 데이터 예측·모델 심사 기반 통찰을 결합하며 모든 과학 제약 검사를 통과해야 한다. Inventa 설정은 과제당 20개 단위·최대 80라운드다.
[조건·한계] 오케스트레이션은 CPU에서 수행하지만 대부분의 모델 추론은 외부 서비스이고 일부 평가자는 GPU를 쓴다. IdeaBench의 736개 시험 논문, 27-아이디어 설정에서 서로 다른 참신 아이디어는 26.0 대 18.6, 호출은 45 대 247로 보고됐다. 이는 모델 심사·중복 병합 기준의 결과이며 독립 과학 발견 수나 전체 비용 절감률이 아니다. §4–5·EurekaBench/IdeaBench 표·부록 A.
[분석적 연결] 중요한 설계점은 더 많은 대화가 아니라 무엇이 공유 지식이 될 수 있는지 결정하는 권한이다. 물리 실험에 적용할 때는 후보 생성자가 결과를 직접 확정하지 않도록 하되, 검증자도 오류를 낼 수 있음을 전제로 반례·원시 기록·유효 조건을 함께 전달해야 한다. 재시작으로 후보 다양성이 늘어도 실제 성과가 개선되는지는 별도 평가다.
8.3 과학계 추세 분석 — 개별 성과를 거시 효과로 확대하지 않는다
[저자 결과·프리프린트 v1] Large Language Models Have Not Yet Transformed Science는 arXiv·PMC에서 2015–2025년 5개 분야 약 250만 편의 전문을 분석한다. 어휘·구조·주제·협업 추세를 비교하고 일부 분석에는 2022년을 경계로 한 분절 회귀·민감도 검사를 사용한다. 어휘 변화 외의 많은 추세는 기존 경향의 연속으로 관측됐다. 생의학 주제 다양성 감소처럼 보이는 현상에 형식 표준화의 영향이 섞인다는 결과도 제시한다.
[조건·한계] 제목을 ‘AI는 과학에 효과가 없다’는 인과 결론으로 읽으면 안 된다. 관측 범위가 2025년까지이므로 최신 2026년 연구 에이전트 효과의 직접 검증은 아니다. 논문 텍스트·서지 지표는 실제 실험의 질·재현성·사회적 가치를 모두 측정하지 못한다. 본문 및 Supplementary Material.
[분석적 연결] 앞선 두 시스템의 과제 성능과 이 연구의 거시 관측은 서로 모순되는 단일 경쟁 결과가 아니다. 측정 단위·기간·처치가 다르다. 정책 평가는 단기 실행 효율, 유효 발견, 기관 역량, 장기 과학 생태계 변화를 구분한 다층 기준선을 가져야 한다.
PART 09
9 Key Applications
| 응용 | 가능한 연결 | 추가 검증 |
|---|---|---|
| 계산 기반 과학 연구 | 문헌·코드·시뮬레이션·분석 이력을 가설별로 추적 | 데이터 누수·자원 예산·코드 버전·외부 재실행 |
| 멀티모달 과학 분석 | 이미지·표·구조·시계열 근거와 주장을 연결 | 시료·단위 정합성·원시 데이터 계보 |
| 소재·바이오 자율실험실 | 실험 설계와 장비·대조·교정 이력을 공유 | 계산에서 실장비로의 전이·시료 소모·안전 감독 |
| 국가 연구 플랫폼 | 검증된 지식·실패·코드·데이터의 조건부 재사용 | 기관 간 접근권·분할 독립성·평가자 이해충돌 |
| 인간-AI 협업 | 가설 분기에서 전문가 조정·근거 감사·복구 | 실제 지원 시간·오경보·과도한 보류·책임 |
생의학 계산 분석이나 유전자 연관 관측을 임상 효능으로 확대하지 않는다. ETRI는 공통 모델·플랫폼·도구 실행·데이터 계보 기술을 중심으로 도메인 기관과 검증하는 협력 구조를 검토할 수 있다. 이는 기관별 확정 역할 배분이 아니라 제안이다.
PART 10
10 Open Problems
검증자와 기억의 신뢰성
모델이 부여한 ‘검증됨’ 표지가 외부 재현을 대신할 수는 없다. 어떤 검사에 통과했고 어디에서는 확인되지 않았는지, 시간이 지나 조건이 달라졌는지를 기억에 함께 남겨야 한다. 부정적 결과도 다른 장비·시료에 과잉 일반화되지 않도록 적용 범위를 보존해야 한다.
장기 복구의 범위
코드와 데이터는 되돌릴 수 있어도 물리 시료의 소모나 장비 오염은 그렇지 않을 수 있다. 체크포인트는 디지털 상태와 물리 상태를 구분하고 재실행 가능성을 표시해야 한다. 메타인지의 평가도 재시작 횟수보다 유효 복구와 추가 비용으로 판단해야 한다.
새로운 아이디어의 실제 가치
모델이 참신하다고 평가한 후보가 실행 가능하고 반증 가능한지는 별도 문제다. 제안 단계, 실행 단계, 독립 확인 단계에서 가치가 유지되는지 연결해 평가해야 한다. 논문 문체나 구조의 변화가 과학적 다양성의 변화를 대신하지도 않는다.
시스템의 성능, 인간 협업 효과, 과학계의 변화는 서로 다른 근거로 판단해야 한다. 이번 새 논문들의 결과는 저자 구축·분석에 근거하며 외부 독립 재현의 확정 증거를 확보하지 못했다.
PART 11
11 Future Directions
2028–2032 전략연구사업 후보: 감사·복구 가능한 과학 연구 실행
[신규 제안] 과학 특화 멀티모달 추론과 가설 생성, 다중 에이전트, 능동 실험설계, 공통 실행, 기억·감사를 연결하되 분야별 유효성 검증을 따로 둔다. 사람의 개입을 줄이는 목표와 개입의 질을 높이는 목표를 각각 측정한다.
| 기간 | 연구 내용 | 판정 가능한 산출물 |
|---|---|---|
| 2028 | 주장–실험–코드–데이터 계보·체크포인트·기관 기준선 | 최종 보고서·평면 로그·구조화 기록의 감사 비교 |
| 2029 | 가설 방향 조정·경쟁 설명·검증자 공유 권한 | 동일 모델/예산의 인간 조정·다중 단위 실험 |
| 2030 | 조건부 기억·반례 보존·정체 감지·안전한 재시작 | 기억 오염·다양성·유효 복구 비용 평가 |
| 2031 | 장비·프로토콜·데이터 규격과 독립 확인 실험 연결 | 다기관·시점 보류·실장비 전이 검증 |
| 2032 | 제한 조건의 장기 Lab-in-the-Loop·외부 감사 | 실패·미완료·인간 지원 전수 기록과 독립 재실행 |
연구 아이디어 1 — 근거 조건을 가진 공유 기억. 각 항목에 검증 방식·데이터 분할·장비 상태·유효 기간·반례를 연결한다. 자유 공유와 비교해 오류 전파와 성급한 동질화가 줄어드는지 확인한다.
연구 아이디어 2 — 가설 분기별 감사 예산 배분. 중요한 주장·불확실한 분석·접근 위반 징후에 감사 자원을 배분한다. 무작위·일괄 감사와 비교해 전문가 시간당 실제 오류 회수와 놓친 오류를 측정한다.
연구 아이디어 3 — 계산–물리 상태를 구분하는 복구. 시뮬레이션·코드의 복원과 실제 장비·시료 상태의 복원을 분리한다. 재시작 후 유효한 다음 행동, 안전한 중단, 확인 실험의 성공을 측정한다.
제안의 연구기간은 2028–2032년이다. 3월 정책의 2029·2032·2035 목표 및 NST RFP의 2028 착수 목표는 각각 해당 문서에 귀속한다. 상세 로드맵 원문을 확보하면 요구와 제안의 정합성을 다시 점검해야 한다. 사업명·예산·기관 배분·정량 KPI는 확정안이 아니다.