Competing Explanations, Executable Research, and Independent Verification

PART 01

1. Definition

AI 과학자의 능력은 연구 범위와 사람의 기여를 함께 기록해야 비교할 수 있다.

이 후속 글은 AI 과학자를 ‘과학적 질문을 세우고, 가능한 설명을 비교하며, 계산·실험 결과로 설명과 다음 행동을 갱신하는 시스템’으로 다룬다. 모델 하나의 능력보다 연구 과정의 연결이 분석 단위다. 아이디어 평가, 결과 재현, 새로운 발견은 서로 다른 성과이며 같은 점수로 대체할 수 없다.

새로 검토한 ETRI 동향 논문은 C1–C3 연구동료, S1–S2 과학자, L1–L2 연구조직을 구분한다. 연구 범위와 인간 역할을 함께 명시하는 유용한 틀이지만 저자들이 제시한 분류이며 국가 공식 성숙도 표준으로 취급하지 않는다. [ETRI 동향 논문, §II·표1]

PART 02

2. Problem Definition

어떤 가설이 틀렸다는 사실만으로 어떤 설명이 맞는지는 알 수 없다.

한 가설을 지지하거나 기각하는 방식에는 비대칭이 있다. 가설을 기각하면 무엇이 아닌지는 배울 수 있지만, 여러 대안 중 무엇을 택해야 하는지는 남는다. Contrastive Discovery는 이를 명시적인 경쟁 설명의 집합으로 바꾼다. 기존의 능동 실험설계와 연결되지만 핵심 변경은 실험 수를 늘리는 것이 아니라 무엇을 평가할지 정하는 단위에 있다. [Contrastive Discovery]

설명을 골랐다고 연구가 끝나지도 않는다. 원문에 없는 설정 때문에 코드를 재현하지 못할 수 있고, 실행을 성공시켜도 유효한 귀무모형과 비교하면 결론이 사라질 수 있다. 이번 문헌들을 연결하면 ‘설명의 선택’, ‘실행의 복원’, ‘증거의 판정’을 각각 검증해야 한다는 문제가 드러난다.

PART 03

3. Core Concepts

경쟁 설명, 실행환경, 출처 기억, 검증된 복구 경험을 구분한다.

이 개념들은 기존 연구 기억과 메타인지를 대체하지 않는다. 무엇을 기억하고, 어떤 증거로 기록을 수정하고, 복구한 절차가 새 과제에서도 유효한지를 더 구체적으로 묻는다. 관측 원본·저자 해석·시스템 판정·기획 제안을 분리하는 기록이 장기임무의 기본 구조가 되어야 한다.

PART 04

4. Introduction

정책 문서, 기관 운영 소개, 연구기획 공고는 증거의 성격이 다르다.

이번 변화는 과학자 시스템을 더 큰 언어모델로 환원하기 어렵게 만든다. 설명의 경쟁을 조직하는 추론층, 논문을 실행으로 옮기는 기반층, 결과·실패를 재사용하는 기억층, 독립 판정을 제공하는 검증층이 서로 다른 연구대상이기 때문이다.

추가 공식 동향. NST는 PD 중심 법·제도 개선방안 기획연구(11-12), 미션 성과 활용·확산 후속연계 기획연구(11-13)도 공고했다. 두 자료 역시 연구 의제를 확인하는 근거이며 제도 변경의 완료 근거는 아니다.

ETRI 10월 동향 논문의 2028·2031 단계와 NST 소개 페이지는 3월 보고의 2029·2032와 다르게 서술한다. 서로 다른 자료의 대상과 위상을 보존해야 한다. 이번 조사에서는 AI 과학자 미션 상세 로드맵의 공식 개정 원문을 확보하지 못했으므로 어느 연도가 다른 연도를 대체했다고 결론내리지 않는다.

PART 05

5. Motivation and Background

논문의 기록을 실행 가능한 연구 자산으로 전환하는 문제가 구체화됐다.

앞선 글은 가설·실험·기억의 연결을 강조했다. 이번 추가 근거는 그 연결에 필요한 산출물을 더 구체화한다. 연구 질문에는 대안 설명이, 논문에는 실행환경이, 기억에는 원본 결과와 출처가, 복구에는 외부 검증 기록이 필요하다. 국가 연구데이터도 파일의 양을 넘어 연구자가 다시 판단하고 실행할 수 있는 단위로 구성할 필요가 있다.

특히 과학 멀티모달 이해는 문장 요약만을 뜻하지 않는다. 그림의 축과 단위, 수식의 가정, 코드의 평가 기준, 장비의 측정 조건이 서로 맞는지 판단해야 한다. 원문의 숫자를 맞추기 위해 숨은 설정을 바꾸는 것과 원래의 과학적 주장을 복원하는 것을 구별하는 능력이 중요하다.

분석적 연결. 독립 검증 인프라는 성능 점수를 매기는 후처리에 그치지 않는다. 연구 데이터와 실행 상태를 수집하는 시점부터 평가 기준을 설계해야 한다. 같은 데이터가 가설 생성·튜닝·최종 검증에 반복 사용되면 새로운 발견과 반복 적합을 구분하기 어렵다. 평가의 독립성은 실행환경과 데이터 계보의 속성으로 다뤄야 한다.

PART 06

6. Challenges

가장 큰 위험은 다른 종류의 성공을 하나의 발견으로 합치는 것이다.

이번에 확인한 When AI Does Science는 Kosmos 개발진과 별도인 연구자들의 방사선 생물학 평가다. 세 가설에 무작위 유전자 기준선을 적용했으며, 결과의 의미는 아래 방법 절에 정리했다. 이것은 작지만 중요한 외부 검증 근거다. 그러나 세 과제로 전체 시스템의 오류율을 추정하거나 특정 가설의 실패를 모든 응용의 반증으로 확대해서는 안 된다.

또한 2026-09-01 Nature의 When AI does science, who is accountable for mistakes?는 사용자·기관·개발자 사이의 책임 문제를 제기한다. 공개된 도입부와 서지를 확인했으며 전문은 접근 제한이 있었다. 새로운 실험이나 확정된 책임 규정의 근거로 사용하지 않는다.

PART 07

7. Research Questions

동일한 자원과 독립된 판정으로 검증할 질문을 정한다.

평가를 설계할 때 모델 추론비, 도구 실행비, 환경 구축비, 전문가 검토시간을 분리해 기록한다. 개발 과정의 경험과 평가 과제는 원논문·데이터 계열·기관·시점 단위로 분리해야 한다. ‘문제를 해결했다’는 판정과 ‘연구 상태를 정확히 보존했다’는 판정도 따로 두는 것이 유용하다.

PART 08

8. Approaches(Methods)

새로 검토한 연구의 방법·조건·성과·한계를 한 단위로 읽는다.

아래 다섯 연구는 직전 원장에 없던 기간 내 논문이다. 11월 13일 처음 공개된 자료라는 뜻은 아니다. 수치는 별도 표시가 없는 한 저자 보고값이며 이번에 직접 재현한 결과가 아니다.

8.1 Contrastive Discovery — 기각된 가설의 빈자리를 대안 설명으로 채운다

2026-11-10 최초 공개 v1. 질문별로 상호배타적·전체포괄적인 대안을 구성하고 증거 전후의 믿음 분포 변화를 평가한다. AutoDiscovery 기반 GPT-4o 탐색기와 별도 믿음 평가기를 사용하며 여섯 표형 데이터셋에서 실험 검증 예산을 200회로 맞춘다. 이 ‘실험’은 데이터 분석 실행이며 실제 장비 실험이 아니다. Contrastive Discovery: Open-Ended Scientific Discovery over Competing Explanations 원문 §§3–5·Appendices F·K 참조.

Top-200의 평균 해결 질문은 161.9 대 97.2로 67% 증가했고 의미 중복 제거 후 증가는 62%였다. 38명의 MS·PhD 평가자가 판정한 해결 질문 51개 중 40개(78.4%)에서 설명이 일치했다. 해석상 결정적인 한계는 대안 누락이다. 올바른 설명을 의도적으로 제거한 163개 질문에서는 53.4%가 오답으로 해결됐고, 미포함 대안을 인정하는 선택지를 넣으면 0.6%로 줄었다. 이는 해당 통제 실험의 결과이며 일반 오류율은 아니다.

해결 질문 수의 증가는 사실 정확도의 동일한 증가가 아니다. ‘resolved’는 믿음 집중 기준이며 외부 타당성과 별개다. arXiv 저자 코멘트에는 NeurIPS 2026 채택이 명시되어 있으나 학회 공식 채택 기록은 이 실행에서 독립 확인하지 못했다.

8.2 Scientist World — 논문을 실행·평가 가능한 연구환경으로 바꾼다

2026-11-05 v1. 원 방법 재현, 연구 과제 설계, 패키징, 별도 에이전트 검증의 네 역할로 환경을 구축한다. 1,000개 환경과 6,400시간의 연구 궤적을 공개했다고 보고한다. 그러나 모델 비교는 계산비용이 낮은 고정 10개 환경에서 수행했다. 개선 모드는 원 방법을 제공하고, 혁신 모드는 원 소스 없이 방법을 설계한다. Scientist World: Grow a Research World for AI-Scientists 원문 §§2–4·Appendix F.1 참조.

재현된 원 방법보다 나은 시도는 개선 모드 84%, 혁신 모드 74%였다. 74%는 1,000개 전체 환경에서 인간 과학자를 이긴 비율이 아니다. 계산 규모를 줄인 환경과 재구현한 기준선에 대한 결과다. 평가는 visible·held-out 점수의 평균이며 held-out만의 수치로 바꿔 서술해서도 안 된다. 소형 모델의 아이디어 훈련 +158%라는 저자 요약도 고정 실행기와 해당 평가 설정에 한정한다. 물리 실험실 자율 운영이나 모든 학문 분야의 발견 능력은 입증하지 않는다.

8.3 El Agente Fármaco — 상세 과학 상태를 대화 밖에 보존한다

2026-11-02 v1. Fármaco Atlas는 분자·구조·결과와 생성 출처를 보존하고 필요한 근거만 질의한다. 분자마다 LLM을 다시 호출하는 대신 집합 단위 계산을 수행하고, 주 에이전트가 포켓 분석·데이터 수입 전문 역할을 조정한다. El Agente Fármaco: A Scalable AI Scientist for Drug Discovery 원문 §§2–4·Appendix D 참조.

22개 계산 신약 과제에서 데이터베이스 인터페이스, 단순 도구 호출, Codex를 비교했다. 실행 모델은 모두 gpt-6-sol, 과제·설정당 3회로 총 198회이며 gpt-6.1-sol 심사 594회로 평가했다. 데이터베이스 구성은 관측된 평균 심사점수가 가장 높고 중앙값 토큰·최대 문맥 사용이 더 작았다. 이는 모델 심사 결과이며 인간 전문가 검증의 대체물이 아니다. 도킹·약물유사성·구매가능 후보의 계산 결과를 실제 효능·안전성으로 확대하지 않는다. 웹 검색 등 접근 가능한 도구 차이도 해석해야 한다.

분석상 시사점은 과학적 상태를 채팅 길이에 비례해 전달하지 않고, 출처가 있는 결과를 선택적으로 재조회하는 설계다. 다만 데이터베이스 구축·조회·외부 계산을 합친 총비용까지 검증해야 일반적인 비용 절감으로 말할 수 있다.

8.4 OmniQ와 Residual Agents — 논문의 불완전성과 에이전트 실패를 구별한다

2026-11-02 v1. 전문가가 감사한 계산 양자 연구환경을 구성하고, 고친 작업절차를 검증된 경험으로 축적하는 Residual Agents(RA)를 제안한다. 원 과학 기록의 설정 문제를 먼저 다룬 뒤 평가한 데이터는 59편이다. 해결되지 않은 원문 불일치 사례는 제외됐다. Reimagining computational quantum research with AI scientists 본문·SI B·C·E 참조.

동일 기본모델·계산예산 조건에서 DeepSeek V4.1 Flash 재현 성공률은 약 68%에서 85%로 개선됐고 추론비는 과제당 5.6달러였다. 같은 평가의 Claude Code/Opus 5는 약 85%·16달러로 보고됐다. 비용은 추론비이며 전문가 감사·환경 구축비를 포함한 전체 연구비가 아니다. 개발 중 경험은 도메인 전문가가 검토한 뒤 수록했다. 따라서 ‘전문가 없이 논문만 읽어 스스로 회복했다’고 서술하면 부정확하다.

이 연구가 보고한 원문·코드 불일치는 저자들의 외부 감사 결과이며 원 논문의 공식 정정과 동일하지 않다. 정리된 과제의 재현 성과와 원 과학 기록 전체의 자동 복원 능력도 분리해야 한다.

8.5 When AI Does Science — 적절한 귀무모형을 적용한 외부 감사

2025-11-17 v1로 공개된 기존 기간 내 연구를 새로 검토했다. 방사선 생물학의 세 문제에 Kosmos를 적용하고 무작위 유전자 점수와 비교했다. GSE30240의 DDR–p53 가설은 지지되지 않았고, GSE59732에서는 OGT보다 CDO1의 연관이 뚜렷했다. GSE116918의 12유전자 서명은 c-index 0.61·p=0.017이었지만 효과가 고유하지 않았다. When AI Does Science: Evaluating the Autonomous AI Scientist KOSMOS in Radiation Biology 공개 초록과 서지 확인.

저자는 한 결과가 강하게 지지되고, 하나는 불확실하며, 하나는 거짓이라고 평가한다. 본 글은 이를 특정 조건에서 가설의 근거가 약해지는 외부 평가로 다룬다. 전 시스템의 정확도나 임상 예측능력을 추정하지 않는다. 프리프린트이며 PDF 전문·추가 실험·후속 정정은 이번 실행에서 확인하지 못했다. 전날 글이 ‘독립 재현을 확보하지 못했다’고 썼던 부분에 새롭게 연결되는 근거다.

PART 09

9. Key Applications

연구 자산의 재사용과 검증을 공통 기술로 기획할 수 있다.

ETRI의 접점은 모든 분야의 발견을 직접 책임지는 단일 시스템보다 여러 도메인 기관이 쓸 공통 실행·검증 기술로 구체화할 수 있다. 기관별 전문성은 유지하면서 질문과 증거의 표현, 도구 인터페이스, 실패 기록, 독립 판정 계약을 맞추는 방향이다. 이는 정책의 확정 역할 배정이 아니라 이번 논문과 공통지원 요구를 연결한 제안이다.

자료를 많이 보유한 기관이 더 유리한 평가를 받지 않도록 원데이터와 파생 데이터의 사용 권한·시점·계보를 기록해야 한다. 연구 기억에 숨은 평가 정답이 들어가면 새로운 연구자나 장비에서의 성과를 설명하기 어렵다.

PART 10

10. Open Problems

설명 집합이 불완전하고 원논문도 불완전할 때 어떻게 멈추고 다시 조사할 것인가?

‘목록 밖의 설명’을 시스템이 인정할 수 있는가?

경쟁 설명을 명시하면 비교가 쉬워지지만, 목록 밖의 실제 원인을 배제한 채 확률을 나누면 틀린 확신을 만들 수 있다. 사전 확률과 관측 오차를 바꾸고, 알려진 대안을 제거하고, 새로운 장비 조건을 넣는 시험이 필요하다. 질문을 해결하지 못했다고 판정하는 것도 과학적 성과의 일부로 다뤄야 한다.

재현 성공을 위해 바꾼 설정이 원래 주장을 바꾸지는 않는가?

예산을 맞추기 위한 데이터·모델 축소는 실용적이지만, 그 변형이 원 주장에 미치는 영향을 기록해야 한다. 원 설정 재현, 축소 환경의 개선, 다른 기관의 반복 검증을 구분하면 ‘재현했다’는 표현이 명료해진다. 제외한 문제와 실패한 환경도 공개해야 성공률의 분모를 이해할 수 있다.

전문가가 만든 경험이 평가 과제를 미리 알려 주지는 않는가?

실패 수정 경험이 특정 데이터나 원논문을 사실상 암기하면 새 문제에서 이득이 사라질 수 있다. 경험의 출처 계열을 분리하고 외부 과제에서 성능을 평가해야 한다. 원본 관측, 수정 이유, 적용 조건, 기각 조건을 보존하면 유용한 전이와 누수를 구별하기 쉽다.

발견과 책임을 연결하는 증거는 무엇인가?

검증 실패가 발생했을 때 누가 어떤 목표와 조건을 정했고, 시스템이 어느 근거로 결정을 바꿨는지 복원할 수 있어야 한다. 운영 책임을 정하는 논의와 과학적 타당성을 판정하는 실험은 연결되지만 같은 작업은 아니다. 이번 정책기획 공고가 실제 어떤 평가 체계를 도입할지는 RFP와 후속 확정 문서를 추가 확인해야 한다.

PART 11

11. Future Directions

2028–2032년에는 설명·실행·검증을 함께 전이하는 연구체계를 제안한다.

아래는 새롭게 도출한 연구 제안이며 공식 사업 범위·예산·기관별 수행 역할이 아니다. 정책의 2035년 완전 자율형 발견 목표는 별도로 유지한다.

제안 A — 반증 후의 다음 실험. 한 가설의 기각을 종료 조건으로 삼지 않고, 대안 설명이 갈라지는 관측을 추천한다. 알려진 모형에서 시작하되 장비 잡음·누락 원인·예산 제약을 단계적으로 넣어 보류와 탐색의 균형을 검증한다.

제안 B — 연구환경의 변경 의미 검증. 원논문을 실행환경으로 전환할 때 바뀐 데이터·모델·지표가 결론을 유지하는지 검사한다. 수치 재현이 불가능한 경우 과학적 효과 방향을 보존하는 대체 평가를 사전 정의하고, 사후에 성공 기준을 완화하는 경우와 구분한다.

제안 C — 발견당 독립 검증 비용. 여러 기관이 같은 후보를 각각 재실행하고, 결과가 갈릴 때 데이터·코드·장비·통계 중 어느 차이 때문인지 추적한다. 단순 재현율 외에 유효한 발견 하나를 확정하는 데 든 총비용과 연구자 시간을 대표 지표로 제안한다.