벤치마크를 넘어, 가설이 실험을 견디는가
OASIS and the Operational Einstein Test: Evidence-Grounded Hypotheses, Multi-Omics, and Wet-Lab Falsification
이번 업데이트의 핵심은 새로운 점수 하나가 아니다. AI가 우선순위화한 생물학적 가설이 실제 유전자 기능 조작과 phenotype 관찰을 견딘 peer-reviewed 사례가 Operational Einstein Test의 경계선을 한 단계 앞으로 밀었다는 점이다.
OASIS는 문헌의 기전 근거, multi-omics·유전학 데이터, 전문 agent 협업, 과거 연구경험 재사용을 연결한다. 그러나 이것이 곧 Einstein-level discovery를 뜻하지는 않는다. temporal isolation, sealed future prediction, 독립적 문제 발견은 여전히 남아 있다.
이번에는 왜 OASIS 하나만 남았는가
Einstein Test 자체와 주요 관련 benchmark의 중대한 공식 버전 변화는 확인되지 않았고, 단순 리더보드 변동과 이미 보고한 프리프린트는 제외됐다.
OASIS, a self-evolving AI scientist that integrates omics data and literature knowledge for plant stress research는 2026년 9월 18일 Molecular Plant에 온라인 게재된 연구다. 연구 플랫폼 기준 주관기관은 Chinese Academy of Agricultural Sciences / Agricultural Genomics Institute at Shenzhen(CAAS/AGIS, Shang Lab)이다.
이 때문에 평가 질문도 바뀐다. 언어모델이 알려진 답을 얼마나 잘 재구성하는가보다, 여러 증거를 결합해 만든 가설이 실제 실험적 개입 이후에도 살아남는가가 더 중요해진다.
문헌 검색기가 아니라, 증거를 조정하는 연구 시스템
OASIS의 구조는 retrieval 하나가 아니라 planning에서 synthesis까지 이어지는 전문 agent들과 경험 재사용 메커니즘을 결합한다.
OASIS는 planning, hybrid retrieval, evidence distillation, data interrogation, review, synthesis의 6개 전문 agent를 조정한다. 핵심은 문헌만 인용하는 것이 아니라 literature evidence와 omics·genetics evidence를 함께 다루며 검증 가능한 candidate hypothesis를 만드는 것이다.
또한 Self-Evolving Experience Learning(SEEL)을 도입해 과거 연구 trajectory에서 성공과 실패 경험을 추출해 재사용한다. 여기서 “self-evolving”은 현재 자료가 보여주는 범위에서는 연구 경험을 축적·재사용하는 procedural adaptation으로 읽는 것이 안전하다. foundation model 자체가 재귀적으로 자신의 가중치를 개선했다는 증거는 이 자료에 제시되지 않는다.
식물종
주요 스트레스 범주
전문가 구축 문항
/100
비교 LLM 대비 점수 차
PlantStressQA 성능은 retrieval·reasoning 파이프라인의 유용성을 보여주지만, Operational Einstein Test의 관점에서는 이 수치만으로 충분하지 않다. 진짜 중요한 시험은 그 다음 단계에 있다.
후보 가설이 실제 유전자 기능 조작을 견디다
벼 염 스트레스 사례는 benchmark에서 biological intervention으로 평가의 중심을 이동시킨다.
OASIS는 벼의 염 스트레스 문제에서 Arabidopsis의 조절근거, 종간 orthology, 유전적 locus 정보를 결합해 5개 후보 유전자를 우선순위화했다. 이 가운데 OsPP2a 기능상실이 실제 염 스트레스 반응 phenotype과 Na⁺/K⁺ homeostasis 변화를 일으킨다는 점이 실험적으로 확인됐다.
이 흐름은 “정답을 알고 있었는가”가 아니라 가설이 외부 세계의 개입 결과와 일치하는가를 묻는다. 따라서 AI scientist 평가에서 retrieval accuracy나 benchmark score보다 더 강한 형태의 외부 검증에 가깝다.
여기서도 과장은 피해야 한다. 이 사례는 특정 식물 스트레스 연구에서 AI가 우선순위화한 가설 하나의 실험적 검증을 보여준다. 모든 가설이 prospective wet-lab validation을 통과했다거나 일반 과학영역에서 동일한 성능을 낸다는 의미는 아니다.
강한 Einstein Test와는 아직 무엇이 다른가
wet-lab validation은 결정적 진전이지만, temporal isolation과 독립적 문제 발견은 별개의 기준이다.
| 평가축 | OASIS에서 확인된 것 | 아직 입증되지 않은 것 |
|---|---|---|
| 가설 생성 | 문헌·omics·genetics를 결합한 evidence-grounded abductive hypothesis | 인간 지식에 존재하지 않는 원리의 독립적 발명 |
| 검증 | OsPP2a 기능상실에 대한 wet-lab phenotype 및 homeostasis 변화 확인 | sealed future prediction을 통한 전향적 독립 검증 |
| 정보 격리 | 최신 문헌을 지속적으로 활용하는 지식기반 | historical/weight-level temporal isolation |
| 문제 발견 | 주어진 연구영역에서 후보를 구성·우선순위화 | 독립적인 문제 formulation 및 research agenda 창출 |
OASIS를 “Einstein Test 통과”라고 부르는 것은 현재 증거를 넘어선다. 지식기반은 최신 문헌을 계속 흡수하도록 설계되어 있고, sealed prediction이나 temporal isolation 실험이 아니다. 따라서 training contamination, historical knowledge leakage, retrieval exposure를 강하게 통제한 시험으로 볼 수 없다.
반대로 지나치게 낮게 평가할 이유도 없다. OASIS가 보여준 것은 evidence-grounded hypothesis generation과 physical intervention 사이를 실제로 연결한 peer-reviewed scientific workflow다. 이는 simulation-only validation보다 강한 외부 증거다.
다음 Operational Einstein Test는 무엇을 바꿔야 하는가
OASIS의 강점을 보존하면서 정보 누출과 사후적 평가를 제거하는 방향이 필요하다.
이번 사례가 주는 가장 직접적인 설계 교훈은 정답 유사성보다 가설의 외부 생존성을 평가해야 한다는 것이다. 즉 향후 강한 시험은 AI가 만든 설명이 사람의 정답과 비슷한가가 아니라, 새로운 증거와 개입에 의해 실제로 지지되거나 반증되는가를 중심에 둬야 한다.
물리적 검증 단계
문헌·omics·genetics를 연결한 가설이 실제 유전자 기능 조작을 통해 검증되는 연구 흐름을 제공한다.
시간적·인과적 격리
미래지식 차단, unpublished problem, sealed prediction, 외부 연구팀의 독립 validation이 필요하다.
따라서 OASIS는 Einstein-level scientific discovery의 종착점이라기보다, Operational Einstein Test를 benchmark-centric 평가에서 intervention-centric 평가로 옮기는 중요한 중간 이정표라고 보는 편이 정확하다.