Scientific correctness
semantic correctness뿐 아니라 numerical·physical correctness를 동시에 만족해야 한다. unit, sign, boundary condition, convergence 오류는 일반 QA로 잡기 어렵다.
Genesis-Science-1: Toward an Executable Scientific Workflow Foundation Model
Genesis-Science-1의 잠재적 차별점은 “과학 지식을 많이 아는 초거대 LLM”이라는 데 있지 않다. scientific language model과 workbench, governed execution, provenance를 결합해 답변을 재현 가능한 과학 행동으로 바꾸려는 데 있다.
2026년 9월 2일 현재 GS1의 weights, 최종 architecture, training-data mixture, license, 공식 benchmark, full technical report는 아직 공개되지 않았다. Arcee AI는 2026년 7월 DOE와의 공동개발을 발표했고, DOE는 8월 Genesis Open Models Initiative를 출범시키며 GS1을 첫 open-weight scientific foundation model로 명시했다. 따라서 이 글은 “GS1이 이미 무엇을 달성했는가”를 주장하지 않는다. 공식 공개된 설계 목표를 기준으로 2025–2026년 Scientific Foundation Model, AI Scientist, HPC modernization, autonomous discovery, scientific-agent evaluation 연구가 그 방향을 어디까지 뒷받침하는지 분석한다.
질문에 답하는 모델이 아니라 계획하고, 코딩하고, 실행하고, 실패를 복구하고, 근거를 남기는 모델·환경의 결합을 지향한다.
DOE와 Genesis Open Models Initiative의 공개 설명을 종합하면 GS1은 DOE National Laboratories와 Arcee AI가 공동 개발하는 open-weight scientific foundation model이다. Arcee는 이를 차세대 Trinity 계열에 기반한 trillion-parameter-class language model + governed execution system으로 설명한다. 그러나 ‘trillion-parameter-class’는 현재 Arcee 발표에 근거한 개발 목표이며 최종 parameter count가 확정·검증된 것은 아니다.
GS1의 초기 workbench는 Python, Fortran, C/C++, MPI, OpenMP, CUDA, HIP, notebooks, simulators, schedulers, scientific packages 등 실제 연구 도구를 포함하는 방향으로 설계된다. 핵심 작업은 다음 순환으로 요약할 수 있다.
이 구조에서 모델의 출력은 문장이 아니라 다음 과학 행동과 그 결과의 연결이다. 따라서 GS1을 “미국 정부가 만드는 과학 전용 ChatGPT”라고만 부르면 가장 중요한 설계 의도를 놓치게 된다.
범용 LLM은 과학개념 설명, 논문 요약, 코드 초안에는 상당히 강해졌다. 그러나 실제 연구자는 문헌과 데이터를 찾고, 가설을 세우고, scientific code를 수정하고, simulation을 실행하며, 실패 이유를 진단하고, 수치적 결과가 물리적으로 타당한지 확인한 뒤 결론을 수정해야 한다.
ICML 2025 PaperBench는 이 간극을 정면으로 측정했다. AI agent가 논문을 읽고 코드와 실험을 처음부터 재현하도록 했을 때 peer-reviewed paper가 보고한 최고 baseline도 평균 replication score가 약 21%였다. 중요한 교훈은 과학지식을 언어로 설명하는 능력과 paper-scale 연구를 끝까지 실행하고 재현하는 능력 사이에 큰 격차가 있다는 점이다.
GS1의 문제정의는 이 격차를 줄이는 방향으로 읽을 수 있다. 즉 모델에게 scientific answer를 생성시키는 대신, 장시간 작업을 상태 있게 수행하고, 도구를 호출하고, 실패를 복구하며, 누가 다시 실행해도 추적 가능한 evidence trail을 남기게 하는 문제다.
Open weight, workbench, long-horizon agent, governed execution, provenance가 하나의 시스템 개념으로 결합된다.
| Concept | Meaning | Why it matters |
|---|---|---|
| Scientific Foundation Model | 특정 task 하나가 아니라 새로운 domain/problem으로 적응·일반화하는 reusable scientific representation | GS1이 truly foundational한지 평가하는 기준 |
| Open Weight | 연구기관이 모델을 직접 보유·배치·freeze·fine-tune·audit할 수 있는 방식 | 외부 API 의존성 감소와 model sovereignty |
| Scientific Workbench | code, data, tools, docs, logs, partial results, failure states를 포함하는 실행환경 | 정답형 QA가 아닌 실제 연구상태를 다룸 |
| Long-Horizon Agent | 수십~수백 step의 계획·도구사용·수정·검증을 상태 있게 수행 | scientific execution의 핵심 |
| Governed Execution | sandbox, staged tool access, checkpoint, retry, review를 통해 autonomy를 통제 | 안전·보안·재현성 |
| Executable Science | 코드를 실제 compile/run/benchmark하고 결과를 검증 | 설명 능력과 실행 능력을 분리 |
| Scientific Provenance | prompt, tool, code, data, version, result, decision을 연결해 보존 | 결론의 재현과 audit |
| Verifiable Behavior | tool selection, result correctness, evidence quality를 verifier로 측정 | post-training과 agent evaluation의 기반 |
| Human-in-the-Loop Science | 고위험·고비용·publication 결정에는 과학자의 검토 유지 | 완전자율이 아닌 shared control |
GS1은 독립 제품이 아니라 2025년 11월 Executive Order 14363으로 출범한 Genesis Mission의 더 큰 구조 안에서 이해해야 한다. Genesis Mission은 연방 scientific datasets, DOE supercomputing, experimental facilities, scientific foundation models와 AI agents를 연결해 연구 생산성을 높이는 것을 목표로 한다.
이 관점에서 GS1은 다양한 domain-specific foundation model을 대체하는 만능모델이라기보다, 그것들을 사용하고 연결하는 general-purpose scientific reasoning and execution layer가 될 가능성이 더 크다.
Paper-scale reproduction의 낮은 성공률, 노후 HPC software, 빠르게 성장한 domain foundation model, agentic discovery가 같은 방향으로 합쳐지고 있다.
PaperBench는 20편의 ICML 2024 Spotlight/Oral 논문을 대상으로 이해·코딩·실험 실행을 모두 요구했다. 최고 baseline의 평균 점수는 약 21%였다. 이것은 단순 QA 점수로는 장기 연구능력을 대변할 수 없다는 강한 근거다.
DOE 연구자산에는 Fortran, MPI, OpenMP, C/C++, CUDA와 수십 년간 축적된 physics code가 존재한다. 2026년 Structuring agentic AI for HPC code modernization은 약 60,000라인 Fortran/MPI physics engine을 C++/OpenMP/MPI로 옮기는 과정에서, LLM 단독보다 제한된 작업범위, 지속적 buildability, human-created examples를 가진 agentic process가 중요하다고 보고한다. 2025년 IEEE eScience의 Fortran-to-C/C++ portability 연구도 compilation과 validation을 포함하는 실행 기반 접근의 필요성을 보여준다.
MatterGen은 원하는 물성을 조건으로 inorganic material을 생성하고 실제 합성 검증까지 수행했다. Aurora는 백만 시간 이상의 Earth-system data를 pretrain한 뒤 weather, air quality, waves, tropical cyclone 등 여러 task로 적응했다. 핵심 변화는 task-specific predictor에서 reusable scientific representation으로 이동하는 것이다.
AI Scientist-v2는 hypothesis generation, coding, experiment execution, analysis, writing을 progressive agentic tree search로 조직했다. 2026년 Nature의 Robin은 문헌검색, therapeutic hypothesis generation, wet-lab data analysis를 반복시키는 multi-agent 구조를 보였다. GS1의 workbench와 governed execution은 이러한 흐름을 HPC·과학소프트웨어·실험도구까지 확장하려는 시도로 해석할 수 있다.
오류는 누적되고, tool call은 실제 비용을 만들며, numerical hallucination은 그럴듯한 과학결론으로 위장할 수 있다.
semantic correctness뿐 아니라 numerical·physical correctness를 동시에 만족해야 한다. unit, sign, boundary condition, convergence 오류는 일반 QA로 잡기 어렵다.
각 단계 성공확률이 \(p\)이고 \(n\)단계라면 전체 성공률은 대략 \(p^n\)으로 감소한다. 0.98의 단계 정확도도 100단계에서는 약 0.133이다.
가장 위험한 오류는 완전히 엉뚱한 문장이 아니라 과학적으로 그럴듯한 잘못된 값·조건·가설이다.
올바른 tool을 고르는 것뿐 아니라 parameter, unit, file format, execution order, dependency를 맞춰야 한다.
새 물질, 극한조건, reactor regime, 드문 생물학적 조건에서 성능을 보장하기 어렵다. SciFM survey도 extrapolation과 physical consistency를 핵심 난제로 지적한다.
scientific agent는 모르는 상황을 알고 abstain하거나 추가 계산을 요청해야 한다. NNP foundation model 연구에서도 broad chemical space의 UQ가 핵심으로 부각된다.
같은 data, model, tools, environment로 동일 결과를 다시 만들 수 있어야 한다. harness가 model weights만큼 중요해지는 이유다.
직접 배포와 audit는 가능해지지만 cyber risk, sensitive data, unsafe execution을 통제해야 한다.
모든 tool decision마다 trillion-class model을 호출하는 것은 비효율적이다. large reasoner, specialist model, simulator를 cost-aware하게 조합해야 한다.
| RQ | Research Question |
|---|---|
| RQ1 | Scientific language model의 “foundation” 능력을 어떻게 정의할 것인가? |
| RQ2 | 모델 scale과 execution harness의 기여를 어떻게 분리할 것인가? |
| RQ3 | scientific text/code 학습이 실제 simulation·experiment 능력으로 얼마나 transfer되는가? |
| RQ4 | 서로 다른 DOE scientific domain 사이에서 어떤 knowledge가 transfer되는가? |
| RQ5 | 100–1000 step workflow에서 오류 누적을 어떻게 제어할 것인가? |
| RQ6 | agent가 실행한 computation의 correctness를 자동 검증할 수 있는가? |
| RQ7 | failed simulation과 negative result를 학습·memory에 어떻게 반영할 것인가? |
| RQ8 | epistemic uncertainty가 높을 때 언제 abstain해야 하는가? |
| RQ9 | scientific provenance를 reasoning state의 일급 객체로 어떻게 표현할 것인가? |
| RQ10 | domain fine-tuning이 다른 scientific capabilities를 파괴하지 않게 하는 방법은? |
| RQ11 | open-weight model의 reproducibility·security·governance를 어떻게 함께 달성할 것인가? |
| RQ12 | AI scientist가 실제 연구 생산성을 높였음을 어떤 metric으로 검증할 것인가? |
GS1 technical report가 아직 공개되지 않았으므로 이 절은 공식 목표와 인접 연구를 연결한 방법론적 해석이다.
DOE Open Models Initiative가 요청하는 자산에는 curated scientific datasets, scientific text, code, documentation, structured technical collections, domain benchmarks가 포함된다. 따라서 science-oriented base training은 \(D_{text}\cup D_{code}\cup D_{technical}\cup D_{scientific}\) 형태의 multi-source corpus를 필요로 한다.
범용 base model을 scientific representation으로 옮긴 뒤 physics, materials, biology, energy 등으로 domain-specialize하는 계층적 adaptation이 필요하다. 다만 지나친 specialization은 다른 capability를 파괴할 수 있어 continual/multi-domain adaptation이 연구문제가 된다.
GS1의 가장 중요한 잠재적 차별화다. instruction–answer pair가 아니라 상태와 행동의 trajectory를 학습한다.
예를 들어 Fortran source 분석 → C++ 수정 → compile error → 진단 → patch → numerical mismatch → indexing correction → rerun → benchmark가 하나의 scientific trajectory가 된다.
과학계산은 일부 task에서 compiler, unit test, solver residual, conservation law, known reference result 같은 objective verifier를 만들 수 있다.
Arcee가 2026년 별도 공개한 Trinity Mini scientific post-training 사례는 tool selection, arguments, retrieved facts, completion, efficiency 등을 reward로 두고 GRPO+LoRA를 사용했다. 이는 GS1 성능결과가 아니라 개발사가 scientific behavior를 어떻게 학습시키는지 보여주는 인접 기술사례로 보는 것이 정확하다.
모델이 모든 수치계산을 token prediction으로 흉내 내는 대신 compiler, simulator, scheduler, database, notebook, instrument를 호출한다.
예를 들어 GS1이 어떤 Earth-system experiment를 수행할지 계획하고 Aurora가 surrogate forecast를 수행하며, 필요한 경우 HPC solver가 high-fidelity 계산을 담당하는 구조다.
장기 workflow의 state는 단순 chat history가 아니라 hypothesis, evidence, counter-evidence, uncertainty, failure를 포함해야 한다.
SciAgentArena가 보여주듯 현재 agent는 구조가 명확한 분석에서는 가능성을 보이지만 novel insight와 self-directed exploration에서는 약하다. 따라서 static QA보다 expert-designed interactive workflow benchmark가 필요하다.
오히려 전문 모델, solver, HPC job, experiment를 하나의 evidence-generating workflow로 연결하는 상위 orchestration에 있다.
가장 직접적인 초기 application이다. Legacy Fortran/MPI repository를 이해하고 modernization plan을 세운 뒤 C++/OpenMP/CUDA/HIP로 수정하고 compile, unit test, numerical-equivalence test, performance benchmark까지 수행하는 end-to-end workflow다.
수많은 parameter 조합을 brute-force로 계산하는 대신 이전 simulation 결과와 uncertainty를 분석해 다음 HPC job을 선택하고 실패를 복구하는 simulation campaign agent가 될 수 있다.
Robin이 보인 것처럼 hypothesis → experiment → raw data → analysis → updated hypothesis를 반복하는 연구에 적용할 수 있다. GS1의 역할은 wet-lab model 자체보다 분석·계획·도구 orchestration과 provenance 관리가 될 가능성이 높다.
MatterGen 같은 generative material model, DFT/ML potential, synthesis planning을 연결하면 desired property → candidate generation → simulation → ranking → synthesis → measurement → evidence revision의 loop를 구성할 수 있다.
Aurora 같은 Earth FM과 결합해 model/data 선택, prediction, comparison, interpretation을 조직할 수 있다. GS1이 domain FM의 대체재가 아니라 coordinator가 되는 대표적 예다.
multimodal biology FM이 genomics, transcriptomics, epigenomics, proteomics, metabolomics, spatial profiling을 통합하면 GS1 계열 agent는 literature/data retrieval, perturbation planning, analysis, evidence synthesis를 맡을 수 있다.
PowerChain이 보여준 것처럼 GridLAB-D 같은 structured tool, workflow DAG, verifier, feedback correction을 이용해 grid analysis와 planning을 자동화할 수 있다. 핵심은 자연어 답이 아니라 검증 가능한 tool execution이다.
대규모 simulation과 detector data를 대상으로 anomaly analysis, parameter search, code generation, experiment interpretation을 연결할 수 있다. 다만 각 domain의 high-fidelity solver와 expert validation이 반드시 필요하다.
open-weight, long-horizon autonomy, epistemic memory, model federation, falsification이 다음 연구축을 만든다.
다음 token보다 다음 과학 행동을 예측한다. \(P(a_{t+1}|s_t,H_t,E_t,T)\)가 중심 모델링 대상이 된다.
Knowledge + Reasoning + Execution + Verification을 결합한다. 이는 공식 GS1 명칭이 아니라 GS1 방향을 설명하기 위한 연구적 개념화다.
Claim, provenance, conditions, counter-evidence, uncertainty, revision을 함께 관리한다.
무엇을 했는지가 아니라 어떤 evidence 때문에 어떤 믿음이 바뀌었는지를 장기 기억한다.
GS1-class orchestrator가 Aurora, MatterGen, bio FM, HPC solver를 상황에 맞게 선택·연결한다.
가설 \(H\)와 함께 supporting evidence \(E^+\), counter-evidence \(E^-\), test \(T\), falsification criterion \(F\)를 생성한다.
가장 높은 predicted performance가 아니라 information gain 대비 cost·risk가 가장 좋은 다음 실험을 고른다.
QA → Copilot → Tool-using Assistant → Supervised Scientific Agent → Closed-loop Autonomous Scientist의 maturity level을 명확히 정의한다.
| Research | Year / Venue | Relation to GS1 |
|---|---|---|
| MatterGen | 2025 · Nature | domain scientific generative foundation model |
| Aurora | 2025 · Nature | multi-task Earth-system foundation model |
| Multimodal FMs in Molecular Cell Biology | 2025 · Nature | multimodal scientific representation |
| PaperBench | 2025 · ICML | paper-scale research replication benchmark |
| AI Scientist-v2 | 2025 · arXiv | end-to-end agentic research workflow |
| UQ for NNP Foundation Models | 2025 · npj Computational Materials | trustworthy scientific FM |
| LLM-Driven Fortran-to-C/C++ Portability | 2025 · IEEE eScience | scientific code modernization |
| Robin | 2026 · Nature | hypothesis–experiment–analysis loop |
| On Scientific Foundation Models | 2026 · Neural Networks | rigorous SciFM definitions and generalization |
| Structuring Agentic AI for HPC Code Modernization | 2026 · arXiv | structured agentic software transformation |
| SciAgentArena | 2026 · arXiv | real-world scientific agent benchmark |
| PowerChain | online 2026 | verifiable tool-based scientific workflow |
따라서 현재 GS1을 가장 생산적으로 이해하는 식은 다음과 같다.
그리고 장기적으로 가장 흥미로운 발전방향은 Scientific Workflow Foundation Model이다. 이 모델은 말의 다음 token이 아니라 research state에서 가장 합리적인 다음 과학 행동을 선택한다. 2025–2026 연구가 공통적으로 보여주는 것도 같다. 모델이 과학지식을 많이 아는 것보다 올바른 tool을 사용하고, 실행하고, 실패를 복구하고, 불확실성을 인지하고, 근거를 추적하고, 결과를 재현하게 만드는 일이 훨씬 어렵다.
그렇기 때문에 다음 경쟁의 핵심은 “누가 가장 큰 scientific LLM을 만드는가”보다 누가 가장 검증 가능하고 재현 가능하며 반증 가능하고 스스로 수정할 수 있는 AI Scientist를 만드는가가 될 가능성이 높다.