Operational Einstein Test: From Problem Formulation to Representation Construction

Central Shift

이번 업데이트에서는 “Einstein Test”라는 이름을 직접 사용한 새 논문이나 benchmark의 중대한 버전 변경은 확인되지 않았다. 대신 실제 Operational Einstein Test를 설계할 때 비어 있던 세 영역—Problem Formulation, Representation Construction, Evaluation Validity—을 구체화하는 연구 신호가 등장했다.

특히 StatFormBench는 “무슨 문제를 풀어야 하는가”를 독립 평가대상으로 만들고, Representational Empowerment는 “무엇을 새롭게 표현할 가치가 있는가”를 계산문제로 바꾼다. ToolGate는 benchmark item이 실제로 실행 가능하고 비누설이며 도구를 통해 해결 가능한지를 gate로 검증한다. 여기에 HyGRAIL의 evidence-grounded hypothesis discovery와 Evaluation Realism의 evaluation-awareness 문제가 더해진다.

5new research signals

1,013StatFormBench samples

128 / 500ToolGate survivors

54.36%HyGRAIL LLM-call reduction

Einstein 수준의 과학지능을 평가하려면 “주어진 문제를 얼마나 잘 푸는가”만 봐서는 부족하다. 문제를 어떻게 정의했는가, 어떤 새로운 표현을 발명했는가, 어떤 evidence로 가설을 만들었는가, 그리고 그 평가 자체가 누설과 평가인지로부터 얼마나 자유로운가를 함께 측정해야 한다.

Part I · New Signals

9월 2일 공개된 다섯 연구가 Einstein Test의 빈칸을 서로 다른 각도에서 채운다

이번 확인은 arXiv의 2026년 9월 3일 신규 목록을 중심으로 진행됐으며, 아래 다섯 연구가 직접적 설계 신호로 선별되었다.

Date	Study	Core contribution	Einstein Test relevance
2026-09-02	StatFormBench Tsinghua University	Statistical Problem Formulation을 문제유형 식별과 변수·역할 식별로 분해. 1,013 samples, 20 coarse / 85 fine-grained categories.	Problem Selection 이전에 Problem Formulation을 독립 capability로 둬야 한다는 근거.
2026-09-02	Representational Empowerment UC Berkeley · Tübingen · TU Darmstadt	새 변수·predicate·operator가 미래 모델링·계획능력을 얼마나 확장하는지 정보이론적 기준으로 평가. Curator–Actor architecture.	Representation Shift를 novelty가 아니라 future explanatory/predictive/interventional power로 평가할 가능성.
2026-09-02	HyGRAIL UIUC	KG missing typed link를 hypothesis로 보고 heterogeneous GNN으로 triage한 뒤 uncertain cases만 LLM reviewer에 전달. compact two-sided evidence 사용.	Hypothesis Generation/Verification을 evidence-grounded하게 만드는 구조. 단 closed-world held-out edge 평가라는 한계가 있다.
2026-09-02	ToolGate UC Riverside	Executable correctness → no-tool leakage/triviality → tool-agent feasibility의 3-stage acceptance pipeline. FEniCSx 500 candidates 중 128 unique survivors.	Historical scientific benchmark를 contamination-resistant하고 reproducible하게 구축하는 방법론.
2026-09-02	Improving Evaluation Realism Meridian · UK AISI · Anthropic 등	Evaluation awareness가 validity를 약화시키는 문제를 다루며 critique refinement와 DISH deployment scaffold를 결합.	Einstein Test 자체가 알려질수록 latent future knowledge가 활성화되는 위험에 대응하는 hidden framing과 deployment-like harness 필요.

Part II · Formulate & Represent

“무엇이 문제인가?”와 “무엇을 표현해야 하는가?”를 독립적으로 평가한다

Einstein-level discovery의 앞단은 정답공간 탐색보다 문제와 표현공간의 재구성에 가깝다.

§1 · StatFormBench — problem formulation becomes benchmarkable

Benchmarking Language Models for Statistical Problem Formulation

문제가 이미 정해져 있다는 benchmark의 숨은 가정을 제거한다

StatFormBench는 기존 benchmark가 대체로 “무엇을 풀어야 하는가”가 이미 정의된 상태에서 시작한다는 한계를 지적한다. 대신 Statistical Problem Formulation 자체를 두 task로 분해한다. 첫째는 problem type identification, 둘째는 relevant variables와 그 역할의 식별이다.

데이터는 5개 통계 교재와 실제 data-science 사례에서 구성되며 1,013 samples, 20 coarse categories, 85 fine-grained categories를 포함한다. 14개 LLM을 평가했을 때 최고 zero-shot도 fine-grained classification 72.0%, variable-set overlap 63.2에 머문다.

Operational Einstein Test에 적용하면 기존의 Problem Selection을 더 세분화할 근거가 생긴다.

Formulate현상과 관측에서 “무엇이 문제인가?”를 언어화한다.

Select concepts관련 변수·관계·역할을 식별한다.

Prioritize여러 문제 중 설명력과 중요도가 높은 문제를 고른다.

Hypothesize선택한 문제에 대해 causal/structural hypothesis를 만든다.

Test예측과 반증을 통해 belief를 수정한다.

§2 · Representational Empowerment — invent the language of discovery

What Is Worth Representing?

새 representation이 미래의 모델링 능력을 얼마나 확장하는가

이 연구는 world-model construction의 핵심을 parameter 추정이나 causal structure estimation만으로 보지 않는다. 더 근본적인 질문은 “무엇을 representation으로 만들어야 하는가?”이다. 새로운 변수, predicate, operator가 미래의 모델링·계획 능력을 얼마나 늘리는지를 Representational Empowerment라는 정보이론적 기준으로 평가한다.

Curator–Actor architecture는 어떤 표현을 새로 만들고 유지할지를 결정하며, open-vocabulary experiment에서는 LLM이 새로운 predicate와 operator를 직접 발명한다.

Editorial interpretation for Einstein TestRepresentation Shift Score ≠ 단순 novelty

Representation Shift Score ≈ 새 표현이 미래의 설명·예측·intervention 가능성을 얼마나 확장하는가

StatFormBench와 Representational Empowerment를 함께 보면, Einstein-level scientific intelligence는 “문제 해결” 이전에 problem space와 representation space를 스스로 구성하는 능력으로 operationalize될 수 있다.

Part III · Evidence & Hypotheses

가설은 많이 만드는 것보다, 양쪽에서 검증 가능한 evidence를 붙이는 것이 중요하다

§3 · HyGRAIL — cost-aware, evidence-grounded hypothesis discovery

HyGRAIL은 incomplete scientific knowledge graph의 missing typed link를 후보 scientific hypothesis로 간주한다. 모든 후보를 LLM에 던지지 않고 heterogeneous GNN이 대규모 후보를 먼저 triage한 뒤 불확실한 사례만 LLM reviewer가 본다.

LLM reviewer는 node-level association뿐 아니라 multi-hop relational path를 명시적 evidence로 검토한다. MatKG에서 F1 0.429로 strongest baseline 대비 +0.242를 보고하고, 평균 LLM 호출량은 54.36% 감소한다. 특히 단순히 evidence가 많을수록 좋은 것이 아니라 compact, two-sided evidence가 더 효과적이라는 결과가 중요하다.

Scientific-discovery boundary

HyGRAIL의 현재 평가는 held-out edge를 찾는 closed-world link prediction이다. 따라서 그 결과 자체가 Einstein-level scientific discovery를 입증하지는 않는다. 첨부 자료가 제안하듯 더 강한 test는 KG at time t → missing hypothesis → future literature/experiment at t+n 형태의 temporal isolation이다.

Operational Einstein Test에서 hypothesis score는 무엇을 평가해야 하는가?

단순 edge plausibility보다 support와 counter-support를 동시에 추적하고, source time과 provenance를 고정한 뒤 미래 evidence로 확인할 수 있어야 한다.

Evidence budget을 어떻게 제한할 것인가?

HyGRAIL의 구조는 cheap graph triage와 expensive LLM review를 분리하므로, discovery benchmark에서 cost-aware evidence acquisition을 명시적으로 평가하는 출발점이 된다.

Part IV · Benchmark Validity

좋은 Einstein Test는 어려운 문제집이 아니라, 누설되지 않고 실행 가능한 과학환경이어야 한다

§4 · ToolGate — executable acceptance before scoring intelligence

ToolGate는 LLM이 생성한 scientific benchmark item을 그대로 받아들이지 않는다. 세 개의 gate를 차례로 통과시킨다.

Gate 1 · Executability

실제 전문 software를 사용한 executable solution이 정답을 재현하는가.

Gate 2 · Leakage / Triviality

tool 없이도 모델이 외우거나 shortcut으로 풀 수 있는 문제인가.

Gate 3 · Agent Feasibility

tool-using agent가 제한시간 안에 실제로 해결 가능한가.

FEniCSx를 이용해 500개 후보를 생성한 뒤 최종적으로 128 unique protocol survivors만 남긴다. Operational Einstein Test에 옮기면 다음 acceptance pipeline이 자연스럽다.

Proposed historical benchmark acceptance pipelineHistorical Executability Gate → Leakage / No-Tool Gate → Historically-Feasible Tool Gate → Expert Review

§5 · Evaluation Realism — the model may know it is being tested

고성능 모델이 “지금 평가받고 있다”는 사실을 인식하면 benchmark validity가 약해질 수 있다. 해당 연구는 critique refinement로 simulator action을 더 현실적으로 만들고, DISH로 실제 deployment와 유사한 agent harness를 제공해 realism gap을 줄이는 방향을 제시한다.

Einstein Test에선 이 문제가 특히 심각할 수 있다. benchmark가 널리 알려질수록 모델이 “pre-1911 Einstein-style test”를 받고 있다는 framing을 알아채고, 학습 중 이미 보았던 상대성이론 관련 latent knowledge를 활성화할 위험이 커진다. 따라서 단순 prompt blinding을 넘어 다음 validity layer가 필요하다.

Evaluation-awareness detection

모델이 test identity나 역사적 target theory를 추론하고 있는지 probe한다.

Hidden task framing

유명 historical episode를 직접 명시하지 않고 동형의 scientific situation을 구성한다.

Deployment-like harness

실제 scientist-agent처럼 자료, 계산도구, 기록, 반복실험을 사용할 수 있게 한다.

Dynamic item generation

고정 공개문항보다 executability와 leakage를 검증한 task를 동적으로 생성한다.

Part V · Expanded Test Architecture

Einstein Test의 평가단위를 “발견 결과”에서 “발견 전 과정”으로 확장한다

이전 pipeline에 problem formulation, representation construction, evaluation concealment를 앞단에 추가한다.

§6 · Previous structure

Earlier operational viewTemporal Isolation → Problem Selection → Abduction → Theory → Prediction → Falsification → Revision

§7 · Expanded structure after this update

Expanded Operational Einstein TestEvaluation Concealment → Problem Formulation → Problem Prioritization → Representation Construction → Evidence-Grounded Abduction → Executable Theory → Discriminating Experiment → Hidden Prediction → Falsification → Belief Revision

이 구조의 핵심은 순서에 있다. 먼저 test identity와 future knowledge를 차단한 뒤, agent가 관측에서 문제를 스스로 정의한다. 이후 새로운 개념·변수·관계를 만들 수 있어야 하며, evidence에 근거한 abductive hypothesis를 생성한다. 이론은 executable하고 실험과 prediction으로 구분 가능해야 한다. 마지막으로 실패한 prediction을 실제 belief revision으로 연결해야 한다.

§8 · Why the first four stages matter

Evaluation Concealment

정답을 알고 있는 model이 test identity를 인식해 latent knowledge를 꺼내는 것을 최대한 차단한다.

Problem Formulation

주어진 질문을 푸는 대신 어떤 scientific question이 핵심인지 스스로 정의한다.

Problem Prioritization

여러 anomaly와 후보문제 중 설명력·검증가능성이 높은 문제를 선택한다.

Representation Construction

기존 언어로 표현하기 어려운 현상을 설명하기 위해 새로운 variable·predicate·operator를 만든다.

StatFormBench와 Representational Empowerment가 중요한 이유는 이 두 능력을 추상적 “창의성”에서 분리해 각각 독립적인 계산 문제와 평가대상으로 만들기 시작했다는 데 있다.

Part VI · Research Agenda

고정 historical question set을 넘어 contamination-resistant scientific-discovery environment로

§9 · Design requirements

Problem Formulation Score

agent가 anomaly를 어떤 문제로 정의했는지, 관련 variable과 역할을 얼마나 적절하게 선택했는지 독립적으로 측정한다.

Representational Empowerment Score

새로운 개념이나 operator가 단지 novel한지보다 이후 설명·예측·intervention 공간을 얼마나 확장했는지 평가한다.

Temporal Evidence Grounding

time t 이전 evidence만 허용한 뒤 생성한 hypothesis를 t+n의 literature·experiment로 평가한다.

Executable Acceptance Pipeline

historical executability, no-tool leakage, historically feasible tool use, expert review를 통과한 item만 test pool에 넣는다.

Evaluation Concealment

evaluation-awareness probe와 hidden framing을 사용해 유명한 역사적 시험을 알아채는 shortcut을 줄인다.

Belief Revision Audit

실험이 hypothesis를 반증했을 때 agent가 단순히 새 답을 출력하는지, 실제 belief graph와 후속 experiment plan을 수정하는지 추적한다.

§10 · What did not change

Evidence boundary

이번 확인 기준으로 Benrimoh 계열 Einstein Test 자체의 새 버전이나 공식 benchmark 공개는 확인되지 않았다. 따라서 본 게시물의 다섯 연구는 “Einstein Test 공식 업데이트”가 아니라, contamination-resistant·falsifiable·reproducible AGI scientific-discovery benchmark를 실제 구현할 때 새롭게 반영할 가치가 큰 연구 신호로 해석해야 한다.

가장 큰 변화는 Einstein Test의 질문이 “AI가 상대성이론을 다시 발견할 수 있는가?”에서 “AI가 무엇이 문제인지 정의하고, 새로운 과학적 표현을 만들고, 검증 가능한 가설을 세우며, 평가받고 있다는 사실조차 숨긴 환경에서 스스로 반증과 수정까지 수행할 수 있는가?”로 이동한다는 점이다.

Primary Sources

Research links

arXiv — Artificial Intelligence recent submissions

Update source list

arXiv recent

Benchmarking Language Models for Statistical Problem Formulation — StatFormBench

Chen Wang et al. · Tsinghua University · arXiv:2609.01982

Paper · Benchmark dataset

What Is Worth Representing? Representational Empowerment for Continual Model Construction

Fei Dai et al. · UC Berkeley · University of Tübingen · TU Darmstadt · arXiv:2609.02322

Paper

HyGRAIL: Cost-Aware and Evidence-Grounded Scientific Hypothesis Discovery over Knowledge Graphs

Yihang Sun et al. · UIUC · arXiv:2609.02056

Paper

ToolGate: An Executable Acceptance Pipeline for Tool-Dependent Scientific Benchmark Construction

Ke Zhang et al. · UC Riverside · arXiv:2609.02067

Paper

Improving Evaluation Realism with Inference-Time Compute and Deployment Scaffolds

Axel Ahlqvist et al. · Meridian · Cambridge Boston Alignment Initiative · UK AISI · Meridian Labs · Anthropic · arXiv:2609.02302

Paper

Source boundary

본 게시물은 첨부된 `Einstein Test-Trends-0904.md`의 모든 내용과 수치를 웹 읽기 흐름으로 재구성했다. 외부 검색으로 사실을 추가하거나 source가 확인하지 않은 새 Einstein Test benchmark를 추정하지 않았다. Expanded Operational Einstein Test와 Research Agenda는 첨부 자료가 제시한 연구적 synthesis를 명확히 구분해 표현했다.