정답을 아는 AI가 아니라
무엇을 의심해야 하는지 찾고
새 원리를 발명하는 AI를 시험한다

Benrimoh et al.의 2025년 정의는 Creative and Disruptive Insight(CDI)가 역사적으로 등장하기 이전의 데이터만 AI에게 제공하고, AI가 그 발견 또는 형식적으로 동등한 발견을 독립적으로 만들어내는지를 시험한다. 상대성이론이 대표 예다. 원 논문은 이를 인간 역사상 최고 수준의 지적 성취를 재현하는 능력이자 특히 superintelligence의 강한 증거로 제시한다.

2026년 CACM 논문은 발견 이후 지식을 제거하고, 역사적 발견과 formally equivalent하거나 이를 능가하는 solution을 생성하는지 평가하며, 필요하면 당시 가능했던 실험데이터를 인간 전문가가 research assistant처럼 제공하는 interactive protocol도 제안한다.

역사적 cutoff를 \(t_0\), 그 시점까지의 과학지식을 \(K_{\le t_0}\), 관측·실험증거를 \(E_{\le t_0}\), 이후 실제 breakthrough를 \(B_{>t_0}\)라 두면 AI는 다음을 생성해야 한다.

이 여섯 요소가 AGI용 Einstein Test의 핵심 capability vector가 될 수 있다. 다만 한 번의 상대성이론 재발견을 AGI의 충분조건으로 선언해서는 안 된다. Benrimoh의 원제안은 SI를 겨냥했고 Hassabis가 이를 강력한 AGI 기준으로 확장했으므로, Einstein Test는 AGI의 매우 강한 증거 또는 필요 능력군으로 해석하는 편이 더 엄밀하다.

현재 AGI 평가의 근본 한계는 “주어진 문제를 잘 푸는 능력”과 “새로운 문제와 이론을 만들어내는 능력”을 충분히 분리하지 못한다는 데 있다. Humanity's Last Exam은 매우 어려운 전문가 문제를 주지만 정답은 이미 인간에게 알려져 있고, ARC-AGI-2도 새로운 추상문제에 대한 generalization을 평가하지만 여전히 주어진 문제를 해결하는 구조다.

Tom Zahavy의 ICML 2026 Position Paper “LLMs Can't Jump”는 induction/deduction과 Einstein식 abductive jump를 구분하고, 새로운 기본원리를 만드는 과정이 별도 mechanism을 요구할 수 있다고 주장한다. 그러나 이는 “LLM이 영원히 불가능하다”는 확정적 실증결론이 아니라 position argument다.

반대로 2026년 8월 “Abduction Without a Body?”는 지속적 physical embodiment가 모든 과학적 abduction에 필수는 아니며, representation transformation → latent invariant 발견 → cross-domain mapping → adversarial verification으로도 새로운 가추가 가능할 수 있다고 주장하고 DAB-30 평가 프로그램을 제안한다.

Brian Keating의 2026년 Artificial Einstein Test 연구노트는 \(J=(P,H,F,W,X)\)라는 Jump Profile을 제안한다. Problem selection, Hypothesis/representation change, Formalization, Withheld prediction, Discrimination을 각각 따로 평가하고, 단순 평균으로 약한 능력을 숨기지 않는다는 아이디어가 핵심이다.

공개 GPT-1900은 첫 prototype이지만 저자 스스로 strong Einstein Test의 pass가 아니라고 명시한다. 또한 문서는 2026년 8월 현재 draft / not yet submitted 상태이므로 peer-reviewed 논문과 구별해야 한다.

2025년 초에는 “얼마나 어려운 기존문제를 푸는가”가 주 평가축이었다. Humanity's Last Exam과 ARC-AGI-2가 대표적이다. 이후 AI Scientist, AI co-scientist, PaperBench가 등장하며 평가대상이 문제풀이 → 연구수행 → 가설생성으로 이동했다. PaperBench는 연구논문 재현 자체가 여전히 어렵다는 것을 보여주지만 논문을 AI에게 제공하므로 discovery test는 아니다.

2025년 Cell의 “AI mirrors experimental science to uncover a mechanism of gene transfer crucial to bacterial evolution”는 Einstein Test에 가까운 proof-of-concept다. 연구자들이 수년간 연구했지만 공개하지 않은 박테리아 유전자 전달 메커니즘의 질문을 AI co-scientist에게 주었고, AI의 최상위 가설이 인간 연구자들이 실험적으로 발견한 mechanism과 일치했다.

하지만 완전한 Einstein Test는 아니다. 연구질문 자체가 제공되었고 modern foundation model의 사전지식을 역사적으로 완전히 차단한 실험도 아니기 때문이다.

2026년 Shalyt et al.의 “Can AI Follow In Einstein's Footsteps?”는 AI for Science가 강력한 predictor가 되어가는 반면 principle-based theory construction에는 충분히 집중하지 못하고 있다고 지적한다. 핵심 결손으로 “올바른 질문을 제기하고 새로운 원리를 발명하는 능력”을 든다.

Einstein Test는 이 사다리의 마지막 두 단계를 직접 겨냥한다.

Kirgis et al.은 고품질의 미공개 NeurIPS 2026 연구질문 두 개를 frontier AI agents에게 맡기고 실제 저자가 평가하는 shadow evaluation을 수행했다. 에이전트는 연구 engineering 작업은 수행했지만 핵심 연구문제에서 의미 있는 진전을 만들지 못했다. 주요 실패는 연구수준 판단 부족, 연구설계 실패에 대한 창의적 대응 부족, dead end backtracking 실패, 자원관리, instruction drift였다.

다른 2026년 연구는 네 research-agent framework와 여섯 LLM에서 37,802개 연구아이디어를 분석했다. AI 아이디어는 인간 후속연구보다 seed literature에 훨씬 가깝고, 차별성이 있어도 주로 기존방법의 재조합이었다. 현재 AI는 local elaboration에는 강하지만 research-space를 근본적으로 확장하는 데 상대적으로 약한 경향을 보인다.

역사적 contamination을 다루는 직접적 기술기반 중 하나가 2026년 TypewriterLM이다. Luo et al.은 1913년 이전 영어텍스트만 사용한 7.24B language model과 54B-token TypewriterCorpus를 구축하며 temporal leakage와 역사적으로 일관된 post-training을 별도의 연구문제로 다룬다.

TypewriterLM 자체가 Einstein Test용은 아니지만 “time-locked foundation model을 실제 구축할 수 있다”는 중요한 기반을 제공한다. 엄격한 pre-1911 일반상대성이론 test에는 cutoff를 다시 맞춰야 한다.

Singularity Gate는 후자와 가까운 별도 benchmark다. model training cutoff 이후 처음 공개된 paradigm-changing scientific finding을 이용하고, 답방향을 암시하지 않은 채 해당 finding을 선행적으로 합성하는지 평가한다. 공개 leaderboard에서는 현재까지 완전히 정답을 재현한 모델이 없다고 보고한다. 다만 이는 Einstein Test 자체가 아니라 prospective paradigm-discovery benchmark에 가까운 별개 프로젝트다.

이 세 조건은 Zahavy의 grounded world-model 가설과 Farmer/Balani 등의 반론을 직접 비교한다. Balani & Panda는 2026년 8월 “LLMs Don't Pay for the Jump”에서 missing ingredient가 embodiment 자체보다 오류있는 지식상태에 실질적 비용을 부과해 revision을 강제하는 mechanism일 수 있다고 주장한다.

“1911년 지식을 이용해 일반상대성이론을 만들어라”는 나쁜 test다. 이미 목표를 알려주기 때문이다. 강한 test에서는 당시 존재했던 여러 현상을 함께 제공하고 일부만 breakthrough와 관련되게 해야 한다.

어떤 현상이 본질적으로 중요한지를 AI가 먼저 선택하도록 하는 Problem-Selection 단계가 기존 benchmark와 가장 크게 차별화될 수 있다.

정적 문서만 주지 않고 historically feasible tool API를 제공하면 autonomous scientist benchmark가 된다.

CACM의 Einstein Test도 당시 가능했던 실험데이터를 인간 전문가가 research assistant 방식으로 제공하는 방향을 제안한다.

최종 equation match만 평가해서는 안 된다. Keating의 \(J=(P,H,F,W,X)\)를 확장해 Revision \(R\)을 포함한 다음 vector를 사용할 수 있다.

여기서 단순 평균은 부적절하다.

formal deduction이 높아 abductive capability의 0점을 가릴 수 있기 때문이다. 오히려 bottleneck criterion이 적합하다.

예를 들어 theory calculation은 훌륭하지만 새로운 hypothesis를 인간 prompt가 제공했다면 pass가 아니다.

모델이 이론 \(T\)를 제안한 뒤 아직 제공하지 않은 \(p_1,\ldots,p_k\)를 스스로 예측하게 하고 historical holdout으로 검증한다.

이는 단순히 올바른 말을 한 것이 아니라 generative explanatory power를 검사한다.

inference seed, temperature, token budget, experiment budget, search budget을 사전고정한다. 100,000개 생성물 중 하나가 우연히 상대성이론에 가까웠다는 것은 Einstein-level discovery와 다르다.

가장 큰 미해결 문제는 “무엇을 발견이라 부를 것인가”다. 정답 equation을 찾는 것만으로 충분한지, 완전히 다른 수학표현이지만 동일한 예측을 하는 이론을 어떻게 비교할지, 인간과 다른 discovery path를 failure로 처리하면 안 되는지 해결해야 한다.

Zahavy는 physical grounding과 world model을 강조하고, Farmer는 representation transformation 중심의 abduction을 제안하며, Balani & Panda는 embodiment보다 epistemic error와 실제 비용의 coupling이 핵심일 수 있다고 주장한다.

Shalyt et al.이 강조하듯 정말 중요한 능력은 수천 개 hypothesis를 만드는 것이 아니라 다음 질문을 판단하는 능력일 수 있다.

AI research-agent 연구에서 인간보다 아이디어 공간이 좁고 기존연구에 가까운 경향이 관찰된 점도 이를 지지한다.

과거 Einstein을 재현한다고 해서 미래 Einstein-level 발견을 한다는 보장은 없다. 궁극적으로 검증해야 할 관계는 다음이다.

이 관계는 아직 충분히 연구되지 않았다.

Toward an Operational Einstein Test for AGI

현재 문헌공백을 종합할 때 가장 강한 연구주제는 “Toward an Operational Einstein Test for AGI: Temporally Isolated, Falsifiable Evaluation of Autonomous Scientific Discovery”다.

핵심 novelty는 “상대성이론을 재현했는가”가 아니라 다음 전체 trace를 future-knowledge contamination 없이 측정하는 reproducible benchmark를 만드는 것이다.

문제를 AI에게 알려주지 않는 Problem-Selection, Withheld Prediction, negative evidence 후 Belief Revision을 추가하면 2025년 개념적 Einstein Test와 2026년 초기 operationalization보다 한 단계 더 강한 benchmark가 된다.

AInstein, AInsteinBench, EinsteinArena, Artificial Einstein Test는 서로 다른 연구다. 예를 들어 AInsteinBench는 scientific-computing repository에서 AI agent의 coding/problem solving을 평가하는 benchmark이며 Benrimoh/Hassabis 계열 Einstein Test 자체가 아니다.