Path Instability
같은 질문이 다른 KG traversal로 실행될 수 있다.
Central Shift
이번 Research Watch의 공통 메시지는 “모델 성능”에서 “의사결정·근거·운영·검증”으로 평가 중심이 이동하고 있다는 것이다. 새 모델 하나가 아니라 실제 제약 R&D에서 어떻게 agent를 운영하는지, molecular agent를 어디까지 자율시스템으로 볼 것인지, 그리고 AI가 실제 신약개발 결정을 개선하는지를 어떻게 측정할지가 핵심으로 떠오른다.
이번 업데이트의 세 축은 AstraZeneca Research Assistant, Molecular LLM Agents, Nature Reviews Drug Discovery Perspective다. 각각 운영 인프라, scientific autonomy, decision utility라는 서로 다른 층을 다루지만, 함께 읽으면 하나의 아키텍처가 보인다.
다음 Co-Scientist의 경쟁력은 agent 개수가 아니라, 어떤 evidence를 믿고 어떤 tool을 언제 호출하며 어떤 실험이 uncertainty를 가장 많이 줄이고 실제 연구결정을 얼마나 개선하는지를 함께 다루는 능력에서 나온다.
Part I · AstraZeneca Research Assistant
Agentic RAG가 실제 제약사 R&D의 data plane으로 들어갔다
새 agent algorithm보다 실제 대규모 R&D 환경에서 검색·KG·임상·안전·사내 실험데이터를 어떻게 orchestration하는지가 중요하다.
§1 · Research Assistant
15,000명의 내부 사용자가 쓰는 agentic R&D system
Grabowski et al., “Research Assistant: AstraZeneca’s Agentic System for R&D”는 scientific literature, Biological Insights Knowledge Graph, chemistry, clinical trials, safety, expression, internal experimental/in-vivo data 등을 전문 Tool Agent로 나누고, 질문에 따라 agent를 선택해 병렬 실행한 뒤 더 큰 LLM이 근거 기반으로 종합하는 구조를 공개한다.
15,000Internal Users
67M+Documents
3.8B+Sentences
~$0.16Average Query Cost
시스템은 1년 안에 15,000명의 내부 사용자로 확장됐다. Literature Agent는 67M개 이상의 문서에서 추출한 3.8B개 이상의 sentence를 검색하고, KG·compound·clinical trial·safety·Human Protein Atlas·in-vivo 등을 포함한 12종 전문 agent가 제공된다. 일반 응답시간은 약 10–30초로 보고된다.
§2 · Deep Research Mode
복합 질문을 DAG research plan으로 바꾼다
Deep Research Mode는 질문을 DAG 형태의 research plan으로 분해한다. judge agent가 계획을 검토하고, dependency 순서에 맞춰 sub-question을 실행한 뒤 결과를 다시 종합한다. 이는 단순 parallel tool calling이 아니라 dependency-aware scientific planning에 가깝다.
§3 · Everyday Research Infrastructure
Google Co-Scientist나 Robin과 다른 목표
Google Co-Scientist나 Robin이 자율 연구·가설 생성·실험 루프에 더 집중한다면, AstraZeneca Research Assistant는 “매일 실제 연구자가 사용할 수 있는 신뢰성 높은 biomedical data plane”에 초점을 맞춘다.
저자들은 benchmark 성능과 실제 사용자 가치가 직교할 수 있다고 지적한다. source는 BioASQ 점수 향상이 실제 사용자 요구의 향상으로 그대로 이어지지 않았다고 정리한다. 즉 offline benchmark를 넘는 operational utility가 별도의 평가축이다.
Part II · GraphRAG Lessons
거대한 KG schema를 LLM에게 그대로 맡기면 안정성이 무너진다
§4 · What Failed
LLM-generated Cypher의 세 가지 운영문제
저자들은 GraphRAG 구현에서 중요한 실패를 공개한다. LLM이 거대한 KG schema를 보고 직접 Cypher를 생성하면 동일한 질문에서도 query path가 달라지고, edge별 evidence confidence를 일관되게 반영하기 어렵고, 지나치게 복잡한 query를 만들어 timeout을 유발할 수 있다.
Evidence Inconsistency
edge confidence와 source rule이 query마다 흔들릴 수 있다.
Query Explosion
복잡한 Cypher가 timeout과 운영비용을 만든다.
§5 · Hybrid Graph Querying
projected schema → prototype query → deterministic rule → execution
Projected Schema → Prototype Query → Deterministic Source / Confidence Rules → Execution
즉 자연어 자유도는 query planning의 앞단에 남기되, evidence source와 confidence 해석 같은 critical semantics는 deterministic layer로 고정한다. GraphRAG의 productionization은 “더 자유로운 LLM”이 아니라 “어디까지 deterministic하게 제한할 것인가”의 문제가 된다.
§6 · Discover Agent
예측관계 뒤에 supporting과 contradicting evidence를 다시 검색한다
Discover Agent는 GCN, RotatE, ComplEx, path method, PageRank 등의 KG prediction을 ensemble한 뒤 예측된 gene–disease 관계에 대해 supporting evidence와 contradicting evidence를 다시 검색한다. 이는 retrieval 결과를 단순 종합하는 RAG보다 한 단계 더 나아간 evidence verification pattern이다.
source가 제시하는 후속 연구공백은 명확하다. 각 claim마다 source, assay condition, provenance, confidence, contradiction, model version을 기록하고 여러 agent가 공유하는 epistemic evidence graph가 필요하다. Hyper-Relational KG와 Agentic RAG가 만나는 지점이다.
Part III · Molecular LLM Agents
분자용 agent는 일반적인 “LLM + tool calling”만으로 정의하기 어렵다
§7 · Molecular Perception Stack
SMILES에서 wet-lab measurement까지 하나의 scientific loop
Li et al., “Molecular LLM Agents: From Architectural Design to Scientific Autonomy”는 최근 molecular agent를 하나의 독립적인 연구분야로 구조화하는 position/survey 성격의 연구다. 일반 agent가 text·web·code를 중심으로 다룬다면 molecular agent는 다음 표현과 evidence를 동시에 이해해야 한다.
SMILES / Sequence → Molecular Graph → 3D Conformation → Spectra → Simulation → Wet-Lab Measurement
저자들은 molecular agent를 다음 네 구성요소로 나눈다.
Molecular Agent = Molecular Perception + LLM Agent + Scientific Tools + Computational / Experimental Feedback
§8 · Scientific Autonomy Ladder
tool을 호출했다고 자율 신약개발 agent가 되는 것은 아니다
| Level | Definition | Drug-discovery Example |
|---|---|---|
| L1 | assistive / fixed workflow | 사용자가 지정한 docking/ADMET pipeline 실행 |
| L2 | adaptive computational agent | 결과를 보고 tool·candidate·parameter 변경 |
| L3 | feedback-aware physical-experiment agent | assay 결과를 받아 다음 molecule/experiment 선택 |
| L4 | scientific-agenda agent | target–mechanism–candidate–experiment 연구전략 자체를 재설계 |
L3 이상에서는 실험결과를 관찰하고 다음 행동을 수정해야 한다. L4에서는 문제 자체와 research agenda를 선택해야 한다. 이 분류는 “몇 개 tool을 쓸 수 있는가”보다 scientific state가 feedback으로 실제 변경되는가를 더 중요하게 만든다.
§9 · Foundation Model Is Not the Agent
multimodal foundation model은 molecular perception/world-model 계층이다
source는 최근 Robin, MHS, execution-grounded Co-Scientist 흐름과 연결해 multimodal foundation model 자체를 agent로 보지 않고 molecular perception 또는 world-model layer로 보는 관점을 강조한다. 그 위에 planning, tool-use, experimental feedback, belief revision이 올라간다.
L3/L4에서 필요한 연구공백은 장기 planning만이 아니다. “현재 어떤 hypothesis를 얼마나 믿는가, 왜 믿는가, 어느 실험이 그것을 반증할 수 있는가”를 persistent scientific state로 관리하는 epistemic state management가 필요하다.
Part IV · Decision-Centric Evaluation
AI 신약개발의 KPI를 model accuracy에서 decision quality로 옮긴다
§10 · Nature Reviews Drug Discovery Perspective
clinically relevant impact의 증거는 아직 제한적이다
Bender et al., “Artificial intelligence in drug discovery — what it is, where we stand and the path forward”은 최근 AI drug discovery의 평가기준을 재정의하는 관점을 제시한다. source는 다양한 AI model과 benchmark가 발전했음에도 환자에게 더 안전하고 효과적인 약을 더 빨리 전달했다는 clinically relevant impact의 증거는 아직 제한적이라고 요약한다.
주요 원인으로 임상번역을 충분히 고려하지 않은 model development, conditional life-science data의 복잡성, 불충분한 problem definition과 underspecification, 그리고 science pull보다 technology push에 가까운 개발방식이 지적된다.
§11 · KPI Shift
AUROC와 RMSE를 넘어 실제 결정을 개선하는가
| Traditional Model-Centric KPI | Decision-Centric KPI |
|---|---|
| AUROC | Decision Quality |
| RMSE | Prospective Hit Rate |
| Docking Score | Experiments Saved |
| Offline Benchmark Accuracy | Information Gain |
| Task Success / Tool Accuracy | Clinical Translation |
핵심 질문은 benchmark score가 아니라 실제 의사결정을 개선했는가이다. 이 관점은 AIntibody 같은 prospective benchmark와도 일관된다.
\[\text{Decision Utility} \propto \frac{\text{검증 가능한 새로운 지식}}{\text{실험 비용}+\text{시간}+\text{위험}}\]
§12 · Prospective Decision Benchmark
같은 예산을 가진 인간팀과 AI-assisted 팀을 비교한다
현재 많은 agent benchmark는 QA accuracy, task success, tool-call accuracy에 머문다. source가 제안하는 다음 benchmark는 동일한 시간·실험예산을 가진 인간 연구팀과 AI-assisted 연구팀이 몇 개의 valid hit/target을 발견했는지, 몇 번의 불필요한 실험을 줄였는지를 비교하는 prospective decision benchmark다.
Part V · Decision-Centric Epistemic Co-Scientist
Evidence → Planning → Tool → Decision → Experiment → Verification → Revision
세 연구를 함께 읽으면 다음 Co-Scientist의 핵심 구조가 선명해진다.
§13 · From Better Prediction to Better Decisions
경쟁축의 이동
기존의 중심은 다음과 같았다.
Better Model → Better Prediction
현재의 흐름은 더 긴 폐루프다.
1 · Evidence문헌, KG, assay, internal data, simulation 결과를 조건과 provenance와 함께 수집
2 · Agent Planningresearch question을 DAG로 분해하고 dependency와 uncertainty를 관리
3 · Scientific Toolfoundation model, docking, simulation, database, clinical/safety agent를 호출
4 · Decisioncandidate, target, experiment, stopping/abstention을 선택
5 · Experiment계산 또는 wet-lab으로 hypothesis를 시험
6 · Verificationsupporting·contradicting evidence와 condition mismatch를 검증
7 · Revisionbelief state와 다음 research plan을 수정
§14 · Proposed Research Direction
Decision-Centric Epistemic AI Co-Scientist
source가 도출하는 가장 강한 통합방향은 다음과 같다.
분자·단백질·3D 구조·omics·phenotype을 처리하는 scientific foundation models를 전문 agent가 사용하되, Hyper-Relational Knowledge Graph에 evidence·assay condition·provenance·uncertainty·counter-evidence를 저장하고, Agentic RAG가 이를 검색하며, Value-of-Information 기반으로 다음 계산 또는 실험을 선택하고, 최종 평가는 model accuracy가 아니라 실제 신약개발 의사결정 향상으로 수행하는 시스템.
§15 · Where Novelty Actually Moves
멀티에이전트 수는 더 이상 핵심 신규성이 아니다
1 · Evidence Trust
어떤 evidence를 신뢰하고 어떤 condition과 provenance를 함께 보존할 것인가.
2 · Tool Orchestration
어떤 scientific model/tool을 언제 호출하고 deterministic rule을 어디에 둘 것인가.
3 · Information Gain
어떤 실험이 uncertainty를 가장 많이 줄이는지 Value-of-Information으로 선택할 것인가.
4 · Decision Utility
AI가 실제 연구결정을 얼마나 개선했는지 prospective하게 측정할 것인가.
§16 · Final Takeaway
AI Co-Scientist의 핵심 산출물은 답변이 아니라 검증가능한 결정이다
AstraZeneca Research Assistant는 operational data plane을, Molecular LLM Agents는 autonomy의 기준을, Nature Reviews Drug Discovery Perspective는 평가함수를 바꾼다. 이 세 흐름의 교집합에서 Co-Scientist는 단순한 답변 생성기를 넘어 evidence state를 공유하고 uncertainty를 줄이는 실험을 선택하며 검증결과에 따라 belief와 research plan을 수정하는 decision system으로 재정의된다.
좋은 Co-Scientist는 더 많은 tool을 호출하는 시스템이 아니다. 적은 비용과 시간으로 더 검증 가능한 지식을 만들고, 그 지식이 실제 연구자의 다음 결정을 더 좋게 만드는 시스템이다.
Primary Sources from the Attached Research Watch
공식 논문 및 Perspective
02
Molecular LLM Agents: From Architectural Design to Scientific Autonomy
03
Artificial intelligence in drug discovery — what it is, where we stand and the path forward
본 게시물은 첨부된 2026-08-31 Research Watch의 범위, 수치, 해석을 보존해 재구성했다. “최근 신규 논문이 확인되지 않았다” 같은 표현은 해당 source의 검색범위에 한정되며, 본문은 별도의 외부 사실을 추가하지 않았다.