정답을 맞혔는지가 아니라
어떻게 발견했고, 어디서 틀렸고,
왜 이론을 바꿨는지를 평가한다

COGTRL의 핵심은 과학자의 실제 연구과정에서 나타나는 제약 검토, 실패한 대안, 수정, 다음 연구단계 선택을 scientific step과 함께 trajectory-level reinforcement learning으로 학습한다는 점이다. 작은 모델이 훨씬 큰 모델에 접근할 수 있다는 결과보다 더 중요한 의미는 “어떤 reasoning path가 좋은 과학적 방법인가”를 보상할 수 있게 되었다는 데 있다.

CEDAR-GRPO는 final correctness만 보상하지 않고 evidence coverage와 evidence→explanation directionality를 reward로 사용한다. 대안 탐색, 경쟁가설 제거, backtracking, uncertainty marking이 함께 개선된다.

이 네 요소는 Einstein-level abductive jump를 철학적 개념에서 독립적인 평가축으로 옮길 근거가 된다.

ASI-Bench는 같은 task에서 problem/method/experiment guidance를 단계적으로 제거한다. 이 구조는 “정답을 아는 AI”와 “스스로 연구하는 AI”를 분리하는 autonomy-gradient evaluator다.

이번 추적에서 Operational Einstein Test에 가장 직접적으로 도움이 되는 신규 연구다. 과거 시점 t에서 corpus를 동결하고 AI가 질문을 생성한 다음, 미래 corpus를 시간적으로 격리하여 질문이 답변·부분답변·독립제기·반증되었는지 측정한다.

핵심은 아직 존재하지 않는 future evidence 자체가 contamination-resistant evaluator가 된다는 점이다.

Singularity Gate는 각 모델 training cutoff 이후 처음 공개된 paradigm-changing discovery를 대상으로 한다. v1.1에서는 GPT-5.6 Sol cutoff인 2026-02-16 이전 public trace가 있는 item을 제거했다. 첨부 메모 시점에서는 어떤 평가모델도 하나의 발견을 완전히 재현하지 못했다.

다만 problem selection이나 장기간의 hypothesis revision은 측정하지 않는다. 따라서 AGI의 충분조건보다는 contamination-resistant prospective discovery gate에 가깝다.

Model Discovery Agent는 LLM을 mechanistic model proposer로, Bayesian SMC/SBI를 verifier로, Value of Information을 experiment selector로 결합한다. 현재 hypothesis class에 진실이 없는 M-open 상황에서 prediction failure를 감지해 새 model structure를 만들고 이를 구분하는 실험을 설계한다.

이는 Einstein Test의 핵심 루프를 실제 알고리즘으로 구현한 사례에 가깝다.

이 연구는 embodiment가 Einstein식 abduction의 필수조건이라는 주장에 대해, 더 근본적인 요소가 epistemic error에 실제 비용을 부과해 belief revision을 강제하는 coupling일 수 있다고 반론한다.

따라서 Einstein Test는 반증된 theory를 유지할 때 loss를 주고, 실제 revision이 일어나야 다음 단계로 넘어가도록 설계할 수 있다.

SEE는 화학·생물·재료과학의 실제 peer-reviewed 실험과 multimodal evidence를 사용한다. 19개 MLLM 중 최고 정확도는 48.7%, tool-using visual agent도 52.7%다. 더 많은 정보가 반드시 더 신뢰할 수 있는 과학적 추론으로 이어지지 않는다는 결과가 중요하다.

따라서 future Einstein Test는 theory novelty만이 아니라 “주어진 실험증거를 넘어 과도한 주장을 하지 않는가”를 별도 metric으로 포함해야 한다.

이 세 제약을 동시에 적용하면 memorization, guided solving, lucky final answer를 각각 분리할 수 있다.

첨부 메모의 최종 제안은 이 여섯 단계 각각에 temporal contamination audit + autonomy withdrawal + process trace evaluation을 함께 적용하는 것이다.

“1911년 이전 데이터로 1915년 General Relativity를 재발견하라”는 유명한 단일 사례 대신, 여러 historical cutoff에서 먼저 질문 자체의 발견능력을 평가할 수 있다. 이후 abduction, mechanistic theory, discriminating experiment, future prediction, belief revision을 단계적으로 시간격리하면 훨씬 강한 falsifiable AGI scientific-discovery framework가 된다.