후보를 더 많이 만드는 것보다, 주장과 다음 실험을 더 잘 선택하는 일이 중요해지고 있다

하나는 평가의 변화이고, 다른 하나는 실행의 변화이다

첫 번째 신호는 TruthInsightBench다. 기존 scientific-agent benchmark가 hidden source paper를 얼마나 잘 복원하고 필요한 artifact를 만들어 내는지를 주로 측정했다면, TruthInsightBench는 정답이 정해지지 않은 데이터에서 agent가 어떤 claim을 선택하는지, 그리고 그 claim이 과학적으로 방어 가능한지를 본다.

두 번째 신호는 NSA-Bench / NSA-Net / NSA-Agent다. 이 계열은 “좋은 분자인가?”만 묻지 않는다. 같은 분자 조합이라도 어떤 실험조건에서 관계가 성립하는가를 모델링하고, 실패한 wet-lab 조건을 출발점으로 다음 formulation 조건을 좁혀간다.

더 많이 생성하는 것보다 더 잘 반증하고 더 잘 선택한다

첨부 자료는 이 흐름을 이번 업데이트의 가장 중요한 신호로 본다. 모델 수나 agent 수를 늘리는 것 자체보다, 스스로 만든 주장에 controls, robustness, falsifiability를 붙이고 실제 실험조건을 능동적으로 선택하는 능력이 중요해진다는 해석이다.

원 논문의 결론·기대값·분석경로를 숨긴다

Yang et al.의 TruthInsightBench: An Evidence-Grounded Benchmark for Automated Evaluation of Open-Ended Scientific Discovery Agents는 10개 과학 분야의 40개 동료심사 논문에서 40개의 blind task를 구성한다. Agent는 중립적인 연구목표와 frozen raw data만 받으며, source paper의 결론, 기대값, 분석경로는 알 수 없다.

핵심은 agent가 “무엇을 주장할 가치가 있는가”를 스스로 결정해야 한다는 점이다. reference answer와 얼마나 비슷한가를 보는 대신, 그 claim이 증거와 반례를 얼마나 잘 견디는지가 평가대상이다.

null result와 scope boundary도 좋은 과학이 될 수 있다

BixBench3·PaperBench류가 “주어진 연구를 끝까지 재현할 수 있는가”를 강하게 측정했다면, TruthInsightBench는 정답이 없는 데이터에서 claim을 선택하고 반례·null result·scope boundary까지 검증하는 능력을 본다. 즉 평가축이 task completion → scientific claim quality로 이동한다.

known target recovery와 affinity ranking은 필요한 평가지만 충분하지 않다

기존 drug-discovery evaluation은 known target recovery, docking score, affinity prediction, 정답 후보 재발견처럼 명확한 target을 두는 경우가 많다. 이런 benchmark는 model skill을 비교하기에 유용하지만, 실제 Co-Scientist가 해야 할 일인 새로운 claim의 타당성 관리를 충분히 측정하지 못한다.

target–disease claim은 하나의 점수가 아니라 검증 패키지여야 한다

예를 들어 새로운 target–disease 관계를 제안한다면 agent는 후보명만 제출해서는 부족하다. negative control, assay dependency, scaffold split, external cohort, contradictory evidence, 후속 반증 실험까지 함께 제시해야 한다.

따라서 Hit Discovery/Target Discovery benchmark의 질문은 “정답 molecule을 찾았는가?”보다 “후보 선택을 뒷받침하는 evidence가 다른 조건에서도 살아남는가?”가 되어야 한다.

가장 자연스러운 다음 단계는 prospective assay까지 포함하는 것이다

TruthInsightBench 자체는 drug discovery 전용이 아니며 40개 task 규모이고 실제 wet-lab outcome을 평가하지 않는다. 고정 LLM judge의 calibration과 bias 역시 별도로 검증해야 한다. 첨부 자료는 다음 연구기회로 Prospective Drug-Discovery TruthInsightBench를 제안한다.

이때 최종 점수는 단순 accuracy보다 falsifiability + reproducibility + experimental utility로 구성하는 방향이 제안된다.

동일한 분자쌍도 pH·농도·시간·비율에 따라 결과가 달라진다

Hao et al.의 Towards AI-Driven Nanomedicine Discovery: A Benchmark and Multimodal Learning Framework for Nano Self-Assembly Prediction은 특정 조건에서 분자 쌍이 nano self-assembly를 형성하는지를 예측하는 NSA-Bench를 제안한다. 데이터는 molecule identity뿐 아니라 component ratio, concentration, pH, temperature, incubation time, provenance를 포함한다.

이 식이 핵심이다. 문제정의가 “좋은 분자인가?”에서 “어떤 조건에서 이 관계가 성립하는가?”로 바뀐다. Drug discovery에서 assay condition과 context를 일급 객체로 취급해야 한다는 흐름과 맞닿아 있다.

graph, sequence, descriptors, experimental conditions를 함께 사용한다

NSA-Net은 molecular graph topology, SMILES 기반 sequence semantics, physicochemical descriptors와 실험조건을 함께 융합하는 condition-aware multimodal model이다.

chemical identity와 protocol이 분리되지 않는 문제들이 있다

분자 AI의 고전적 framing인 molecule → property나 protein–ligand → affinity는 실험조건을 외생변수처럼 취급하기 쉽다. NSA-Net은 outcome이 조건에 따라 달라지는 formulation 문제에서 protocol context를 prediction target의 일부로 끌어들인다.

Baicalin–Geniposide 실패 조건을 검색의 출발점으로 사용한다

NSA-Agent는 Baicalin–Geniposide 조합에서 실패한 wet-lab 조건을 시작점으로 삼는다. LLM이 매 round 64개의 ratio–time 조건을 제안하고 NSA-Net이 점수를 매긴 뒤, 이전 결과를 이용해 검색영역을 좁히는 propose → score → contract 루프를 5회 수행한다.

이 구조는 molecule generator보다 experimental-condition agent에 가깝다. “무엇을 만들까?”가 아니라 “어떤 조건을 다음에 시험할까?”를 최적화한다.

아직 실시간 autonomous wet-lab closed loop는 아니다

최종 converged condition은 wet-lab follow-up 대상으로 반환된다. 실제 측정 결과가 즉시 model을 업데이트하고 다음 조건을 다시 선택하는 완전한 closed loop까지 이어지지는 않는다. 따라서 이 시스템을 완전한 실시간 autonomous wet-lab DMTA로 부르는 것은 이르다.

formulation optimization과 preclinical development로 확장할 수 있다

첨부 자료는 failed experiment → condition-aware model → next condition proposal 패턴이 solubility, nanoparticle formulation, drug–drug self-assembly, release profile, stability 등의 실험 최적화로 확장될 수 있다고 본다. AI Co-Scientist의 범위가 molecule generation을 넘어 formulation space와 experimental protocol 탐색으로 넓어지는 신호이다.

Falsifiability-Driven Closed-Loop Drug-Discovery Co-Scientist

첨부 자료가 가장 주목할 통합 연구기회로 제안하는 방향이다. 후보 또는 가설을 만들 때 동시에 반증 가능한 prediction과 negative control을 생성하고, Agentic RAG/HRKG가 assay condition·provenance·counter-evidence를 관리하며, Value-of-Information으로 다음 실험을 선택하고, 실제 성공·실패 결과를 belief state와 모델에 다시 반영한다.

가장 높은 predicted score보다 가장 많이 배우는 실험을 고른다

현재 NSA-Agent는 LLM이 조건을 제안하고 고정 predictor가 ranking하는 구조이며 uncertainty와 information gain을 직접 최적화하지 않는다. 다음 단계는 Bayesian/Value-of-Information experiment selection + online model update + robotic wet-lab을 결합하는 것이다.

구조·조건표뿐 아니라 이미지·PK/PD·독성·방출동역학까지

첨부 자료는 다음 확장으로 TEM/cryo-EM/DLS 이미지, PK/PD, toxicity, release kinetics를 함께 결합할 것을 제안한다. 이것은 단순한 modality 추가가 아니다. formulation의 상태와 outcome을 여러 관측계에서 동시에 읽어 multimodal formulation Co-Scientist로 확장하는 방향이다.

2026년 9월 9일 현재 end-to-end prospective wet-lab 검증은 확인되지 않았다

첨부 자료가 마지막으로 강조하는 경계는 분명하다. 후보/가설 생성 → falsifier/negative control → evidence graph → VoI experiment selection → 실제 wet-lab → belief/model update 전체를 drug-discovery wet lab에서 end-to-end prospective하게 검증한 새로운 연구는 이번 최신 검색에서 확인되지 않았다.

이번 업데이트를 여덟 문장으로 압축하면