Free-text hypothesis
새 결과를 보고 설명을 뒤늦게 바꾸기 쉽고, 무엇이 바뀌었는지 자동검사하기 어렵다.
Executive Reading
2026년 9월 3일 기준 직접적으로 “Einstein Test”라는 이름을 쓰는 신규 논문이나 기존 benchmark의 중대한 버전 변경은 확인되지 않았다. 그러나 실제 Operational Einstein Test를 구현하는 데 매우 직접적인 3개의 신규 신호가 등장했다.
Counterfactual Law Discovery
SCILAWS-BENCH
REAL과 PARALLEL world를 분리해 known-law memorization과 genuine scientific-law discovery를 구별한다.
Belief Revision
EvoSCM
자유문 가설 대신 explicit SCM population을 유지해 prediction failure 이후 causal structure를 수정하거나 폐기한다.
Process Reproducibility
Agentic Empirical Asset Pricing
한 번 발견된 결과가 아니라 같은 discovery procedure를 미래 구간에서 rolling re-execution해 과정 자체의 재현성을 측정한다.
Contamination ResistanceTemporal isolation만으로 부족한 경우 parallel scientific worlds가 counterfactual holdout을 제공한다.
Epistemic Revision가설 제안 이후 실패를 감지하고 구조적으로 theory를 수정·거부할 수 있어야 한다.
Process Reproducibility한 번의 성공보다 미래 데이터·새 시대에서 discovery process가 다시 작동하는지가 중요하다.
Operational Einstein Test 2.0의 핵심은 “한 번 Einstein처럼 답했는가?”가 아니라 알 수 없었던 세계에서 법칙을 발견하고, 틀린 믿음을 고치며, 다른 시대에서도 같은 발견과정이 다시 작동하는가?를 묻는 것이다.
Part I · What Changed
Einstein Test의 세 난점에 각각 구체적인 실험장치가 생겼다
§1 · Three bottlenecks, three responses
| Core difficulty | New signal | Mechanism | Einstein Test role |
|---|---|---|---|
| Memorization vs genuine discovery | SCILAWS-BENCH | REAL ↔ PARALLEL scientific worlds | Theory Formation + Hidden Prediction + Novel-Law Recovery |
| Falsification and belief revision | EvoSCM | explicit SCM population + intervention-driven causal revision | Revision \(R\)의 실행 가능한 구현 후보 |
| Lucky one-shot success vs repeatable discovery | Agentic Empirical Asset Pricing | rolling out-of-sample re-execution of discovery process | prospective / rolling discovery-system backtesting |
이 세 연구는 서로 다른 분야에 있지만 평가철학은 하나로 수렴한다. 정답을 숨기는 것만으로는 부족하고, 정답 자체가 존재하지 않았던 세계를 만들고, 과정 중 이론을 수정하게 하며, 미래 구간에서 그 과정을 다시 실행해야 한다.
Part II · SCILAWS-BENCH
알려진 법칙을 맞히는 것과 처음 보는 세계의 법칙을 발견하는 것을 분리한다
§2 · Benchmark scale
118real scientific problems
381papers
291candidate laws
≈8Mmeasurements · 6 fields
Can LLMs Discover Scientific Laws in Real and Parallel Worlds? — SCILAWS-BENCH는 118개 실제 과학문제, 381개 논문, 291개 후보 법칙, 약 800만 개 실측값, 6개 과학분야로 구성된 scientific-law discovery benchmark다. 데이터와 evaluation harness도 공개돼 있다.
§3 · REAL vs PARALLEL
SCILAWS-REAL
실제 관측값을 사용해 법칙을 만들고 hidden prediction과 scientific validity를 평가한다. 실제 과학법칙 재발견과 일반화 능력을 시험한다.
Contamination Control
SCILAWS-PARALLEL
출판된 식을 변형해 새로운 parallel world의 hidden law를 만든다. 모델은 active query를 통해 이 법칙을 발견해야 하므로 정답 식 자체가 학습데이터에 존재하기 어렵다.
이 이중구조는 Einstein Test의 고질적인 질문—“상대성이론을 기억한 것인가, 실제로 이론을 만들었는가?”—를 한 단계 더 엄격하게 다룬다. Historical temporal isolation이 미래 지식을 봉인한다면, parallel world는 기존 세계의 공식 기억 자체를 무력화하는 counterfactual contamination control이 된다.
§4 · Important negative finding
Prediction is not law discovery
첨부 메모에 따르면 SCILAWS-BENCH는 높은 예측정확도와 올바른 과학법칙의 발견이 반드시 일치하지 않으며, 기존 공식에 대한 memorization이 결과에 영향을 줄 수 있음을 확인했다. 따라서 Operational Einstein Test는 prediction accuracy와 theory recovery를 별도 metric으로 평가해야 한다.
Part III · EvoSCM
좋은 이론을 한 번 제안하는 능력에서, 틀린 이론을 버리고 수정하는 능력으로
§5 · Explicit scientific belief
EvoSCM: Scientific Belief Revision Through Causal Model Evolution and Experimentation은 scientific agent가 자유문 텍스트로만 가설을 유지할 때 생기는 검증·수정의 모호성을 해결하기 위해 Structural Causal Model population을 explicit scientific belief state로 사용한다.
EvoSCM loop\[\text{Abduction}\rightarrow\text{Discriminative Intervention}\rightarrow\text{Falsifiable Prediction}\rightarrow\text{Experiment}\rightarrow\text{Discrepancy}\rightarrow\text{Causal Revision}\rightarrow\text{Deductive Validation}\]
DiscoverPhysics의 비표준 물리법칙 환경에서 기존 방법보다 더 정확한 설명과 예측, 더 효율적인 experiment selection을 보고한다. Operational Einstein Test 관점에서 이 기법의 의미는 previously proposed capability vector \(P,H,F,W,X,R\) 가운데 마지막 Revision \(R\)을 실제 상태전이로 구현할 수 있다는 점이다.
§6 · Why SCM matters
Explicit SCM
causal structure, intervention semantics, prediction commitment를 명시해 falsifiability와 consistency를 더 직접적으로 검사할 수 있다.
Einstein 수준의 과학적 발견은 “좋은 설명 하나”보다 기존 이론의 예측 실패를 인식하고 가설을 버리거나 구조적으로 수정하는 능력이 중요하다. EvoSCM은 이 부분을 benchmarkable mechanism으로 바꾼다.
Part IV · Discovery Process Backtesting
좋은 결과를 backtest하는 것에서 “그 결과를 만든 발견과정”을 backtest하는 것으로
§7 · Agentic Empirical Asset Pricing
Agentic Empirical Asset Pricing: Methodological Foundations은 autonomous agent가 가설을 만들고 factor를 formalize·validate하는 금융 연구 framework를 제안한다. Einstein Test와의 직접적 연결점은 분야가 아니라 evaluation method다.
단순히 과거에 발견된 factor의 성능을 미래 데이터로 backtest하지 않고, 동일 discovery procedure 자체를 rolling future window에서 다시 실행해 새로운 시대·새 데이터에서도 발견능력이 재현되는지를 평가한다.
§8 · One-shot vs repeatable discovery
Window T0
과거 정보만으로 agent가 problem selection, hypothesis generation, formalization, validation을 수행.
Window T1
새로운 out-of-sample 기간에 같은 procedure를 처음부터 다시 실행. 기존 답을 단순 평가하지 않음.
Window T2…Tn
rolling re-execution을 반복해 discovery process 자체의 stability와 generalization을 측정.
첨부 메모가 강조한 negative finding도 중요하다. 단 하나의 metric으로 시스템 순위를 안정적으로 정하기 어렵다. 이는 Einstein Test 역시 단일 “AGI score”보다 law recovery, prediction, falsification, revision, process reproducibility를 분리한 다축 평가가 더 타당할 수 있음을 시사한다.
Part V · Operational Einstein Test 2.0
Historical world 하나가 아니라 temporal, counterfactual, prospective world를 함께 사용한다
§9 · Proposed pipeline
01 · IsolationTemporal Isolation
02 · ProblemProblem Selection
03 · AbductionAbductive Hypothesis
04 · TheoryExplicit Causal / Theoretical Model
05 · ExperimentDiscriminating Experiment
06 · PredictionHidden Prediction
07 · RevisionBelief Revision
08 · Re-runProspective Re-execution
이 구조는 “1911년 지식만으로 1915년 일반상대성이론을 재발견하는가?”라는 단일 역사시험보다 contamination resistance와 generalization validation을 크게 강화한다. 특히 SCILAWS-PARALLEL 같은 world를 병행하면 정답이 training corpus에 들어갈 가능성 자체를 구조적으로 줄일 수 있다.
§10 · Three-layer validity design
Temporal World
특정 cutoff 이후 지식을 봉인해 historical rediscovery를 측정.
Parallel World
학습데이터에 존재하지 않는 counterfactual law를 active inquiry로 발견하게 함.
Prospective World
미래 데이터·새 시대에서 discovery procedure를 다시 실행해 과정의 재현성을 측정.
Integrated validity\[\text{Einstein Validity}\approx \text{Temporal Isolation}\times\text{Counterfactual Novelty}\times\text{Belief Revision}\times\text{Process Reproducibility}\]
위 수식은 첨부 메모의 세 연구신호를 하나의 평가철학으로 묶은 개념적 종합이며, 원 논문이 제시한 공식 metric은 아니다.
Part VI · Research Agenda
다음 Einstein Test 연구는 “정답 숨기기”가 아니라 세계 생성·belief state·재실행 프로토콜을 함께 설계해야 한다
§11 · High-value research questions
RQ1 · Discovery
Can models recover a law they could never have memorized?
REAL과 PARALLEL에서 prediction accuracy와 true law recovery의 격차를 분리한다.
RQ2 · Revision
Can a theory survive contact with counter-evidence?
explicit causal/theoretical state가 실패한 prediction 이후 실제로 수정·거부되는지 평가한다.
RQ3 · Process
Does discovery generalize across eras?
rolling/prospective re-execution으로 일회성 행운과 재현 가능한 discovery system을 구별한다.
§12 · What should be scored separately?
Theory Recovery
예측만 맞는 surrogate가 아니라 correct scientific law를 회복했는가.
Hidden Prediction
새로운 관측조건에서 law가 실제로 일반화하는가.
Revision Quality
prediction failure가 적절한 model update/rejection으로 이어지는가.
Process Stability
새 데이터구간에서 같은 discovery procedure가 다시 성공하는가.
§13 · Evidence boundary
How to read this update
첨부 파일은 2026년 9월 3일 기준 직접적인 “Einstein Test” 신규 논문이나 benchmark 대규모 업데이트는 확인하지 못했다고 명시한다. SCILAWS-BENCH, EvoSCM, Agentic Empirical Asset Pricing은 각각 Einstein Test라는 이름의 benchmark가 아니라 Operational Einstein Test를 구현하는 데 직접적인 설계 신호를 제공하는 신규 연구로 정리된 것이다.
또한 `Temporal Isolation → … → Prospective Re-execution` 전체 pipeline과 temporal/parallel/prospective world의 통합은 첨부 메모가 제안한 연구설계 방향이다.
§14 · Final synthesis
Einstein Test는 이제 “상대성이론을 재현하는가?”에서 “처음 보는 세계의 법칙을 발견하고, 예측 실패 앞에서 이론을 고치며, 미래의 다른 세계에서도 그 발견과정을 다시 재현하는가?”로 확장될 수 있다.
그때 비로소 Einstein Test는 역사 퀴즈가 아니라 contamination-resistant, falsifiable, reproducible scientific-discovery benchmark가 된다.
Primary Sources
이번 업데이트의 신규 연구
01
Can LLMs Discover Scientific Laws in Real and Parallel Worlds? — SCILAWS-BENCH
arXiv · Dataset / Evaluation Harness02
EvoSCM: Scientific Belief Revision Through Causal Model Evolution and Experimentation
arXiv03
Agentic Empirical Asset Pricing: Methodological Foundations
arXivSource boundary
본 게시물은 사용자가 첨부한 Einstein Test-Trends-0903.md의 전체 내용을 근거로 웹 읽기 흐름에 맞게 재구성했다. 첨부 파일의 연구별 사실·수치·평가와 제안된 Operational Einstein Test 구조를 보존했으며, 별도의 외부 사실 검증이나 새로운 연구결과를 조용히 추가하지 않았다.