정답형 과학시험은 포화되고
발견의 문턱은 남는다

직접 업데이트 없음, 평가 방향에는 의미 있는 변화

Source fact이번 확인에서는 Einstein Test, Singularity Gate, SCILAWS-BENCH, TruthInsightBench 자체의 공식 중대 업데이트가 확인되지 않았다.

다만 9월 14일 arXiv 신규 목록에서 이전 실행 이후 확인할 가치가 큰 두 프리프린트가 발견됐다. 공통 질문은 하나다.

6개 물리 benchmark를 전문가가 다시 감사했다

Source factHow Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks는 Ali Ansari et al.의 2026년 9월 11일 arXiv v1 프리프린트다. 연구진은 Yale University, Jump Trading Group, University of Cambridge, University of Southern California에 소속돼 있으며, HLE-Physics, CMT-Benchmark, CritPt, PHYBench, PRISM-Physics, UGPhysics 등 6개 물리 benchmark를 분야 전문가가 재감사했다.

그 결과 기존에 모델 오류로 처리된 사례 상당수가 잘못된 정답, 모호한 문제, grader 오류였다고 보고한다.

Source fact저자들은 검증된 closed-ended physics task가 사실상 포화에 접근하고 있다고 결론내린다.

“낮은 물리 QA 점수 = AGI의 과학적 추론 한계”라는 해석은 약해진다

Analysis이 결과가 맞다면 고난도 물리 QA 점수가 낮다는 사실만으로 AGI의 과학적 추론 한계를 판단하기는 더 어려워진다. benchmark 자체가 잘못된 정답이나 모호한 문항을 포함하면 모델 성능과 평가오류가 섞이기 때문이다.

따라서 Einstein Test는 expert-validated + temporally isolated + open-ended discovery evaluation로 이동할 필요가 커진다. 특히 공개 자료 기반 문제는 학습오염 가능성도 고려해야 한다.

10개월짜리 연구를 10주로 줄였지만 인간의 창의적 해법을 넘지는 못했다

Source factAutonomous Research for Open-Ended Problems: A Case Study on Telecom Ticket Retrieval은 Junghyun Min, Huseyin Uzunalioglu, Mohamed Trabelsi의 2026년 9월 11일 arXiv v1 프리프린트다. 연구진은 Georgetown University와 Nokia Bell Labs 소속이다.

기존 autonomous-research 연구가 좁은 search space에 치우쳤다는 문제의식에서 출발해, representation·architecture·training-data generation의 자유도가 큰 실제 산업 ML 문제에서 single/multi-agent 연구 시스템을 시험했다.

그러나 최고 시스템은 사람이 만든 ensemble, data augmentation, re-ranking 같은 창의적 해법을 넘지 못했다. 저자들은 현 시스템이 깊은 hyperparameter search에는 강하지만 인간 수준의 직관·창의성, 독립적인 연구방향 설정에는 약하고 운영상 인간 개입도 필요하다고 보고한다.

search efficiency와 scientific novelty를 분리해서 측정해야 한다

Analysis결과점수나 연구속도만으로 Einstein-level discovery를 판정하기 어렵다는 negative evidence에 가깝다. 기존 search space 안에서 빠르게 최적화하는 능력과 새로운 representation·research direction·hypothesis class 자체를 발명하는 능력은 서로 다른 평가축이어야 한다.

Scope이 연구는 자연과학 discovery나 temporal isolation을 직접 평가한 것은 아니다. 따라서 Einstein Test의 직접 benchmark라기보다 open-ended autonomous research의 현재 한계를 보여주는 보조 증거로 보는 것이 정확하다.

정답형 benchmark 다음에 필요한 여섯 단계

1. 새로운 문제의 발견 — 주어진 질문에 답하는 데서 끝나지 않고 중요한 미해결 문제를 스스로 포착한다.
2. 표현 변경 — 기존 feature, variable, ontology로 해결되지 않을 때 새로운 representation을 도입한다.
3. 가설 생성 — 단순 variation이 아니라 구분 가능한 hypothesis class를 만든다.
4. 판별실험 — 경쟁 가설을 가장 잘 구분할 수 있는 experiment를 설계한다.
5. 예측 — 사후설명이 아니라 사전 예측을 제출한다.
6. 반증·수정 — 실패한 가설을 고집하지 않고 근거에 따라 버리거나 수정한다.

이 평가를 신뢰하려면 task 자체도 expert-validated, temporally isolated, open-ended여야 한다. 그래야 알려진 정답을 기억하거나 benchmark leakage에 기대는 능력보다 실제 discovery process에 가까운 능력을 측정할 수 있다.

더 어려운 정답문제보다 더 낯선 발견상황이 필요하다

두 연구를 함께 보면 closed-ended 과학 문제는 benchmark 결함을 고치면 예상보다 훨씬 빨리 포화되는 반면, open-ended research에서는 여전히 무엇을 새롭게 생각할 것인가가 병목으로 남아 있다.

따라서 AGI의 과학적 발견 능력을 판별하려는 Einstein Test가 단순히 더 어려운 기존 문제를 추가하는 방향으로 가면 ceiling effect와 contamination 문제를 동시에 겪을 수 있다. 더 설득력 있는 방향은 비공개·시간격리된 현상을 주고, AI가 문제를 스스로 정의하고 새로운 표현과 이론을 만들고 판별실험을 설계하며 결과에 따라 가설을 수정하도록 평가하는 것이다.