모델 점수보다 중요한 것은 약을 만드는 의사결정이다

가장 큰 경제적 효과는 Phase II 실패를 줄이는 데서 나온다

저자들이 업데이트한 R&D cost model에서 각 단계의 속도, 비용, 실패율을 20%씩 개선했을 때 가장 큰 절감효과를 보인 항목은 Phase II의 실패율 감소였다. Phase II는 안전성 중심의 Phase I을 지나 실제 환자군에서 efficacy와 dosing을 시험하는 첫 본격 단계다. 유전적 배경, 질병 심각도, 동반질환의 다양성도 커지고 실패비용도 커진다.

반면 많은 AI 연구는 hit discovery와 같은 preclinical stage에 집중한다. 합리적인 이유가 있다. 라벨 데이터가 더 많고, screening과 molecular property prediction은 실험과 벤치마크를 구성하기 쉽다. 하지만 논문은 이를 “빛이 있는 곳에서 열쇠를 찾는” 문제에 비유한다. 열쇠가 있는 곳이 아니라, 찾기 편한 곳을 뒤지고 있을 수 있다는 뜻이다.

임상 번역은 하나의 예측값이 아니라 결정의 연쇄다

Table 1은 computational modelling이 지원할 수 있는 임상 관련 endpoint를 세 축으로 정리한다. right drug에는 physicochemical properties, target selection, on/off-target activity, metabolism이 들어간다. dosed in the right way에는 in vitro-to-in vivo extrapolation과 in vivo PK가 들어간다. matched to the right patient에는 endotyping과 biomarker-based stratification이 들어간다.

특히 유전적 근거가 있는 drug target은 그렇지 않은 target보다 임상 성공 가능성이 약 2.6배 높다는 연구가 언급된다. 또 biomarker로 적절한 환자군을 선택한 프로젝트는 분석대상 데이터에서 성공적인 launch당 capitalized cost가 biomarker를 사용하지 않은 프로젝트의 약 절반 수준으로 추정됐다. 모델의 가치가 “더 정확한 prediction”이 아니라 “더 나은 cohort selection”으로 드러나는 사례다.

결합이 잘된다는 사실은 약이 된다는 뜻이 아니다

Box 1은 AI 신약개발 담론에서 자주 흐려지는 경계를 정면으로 다룬다. ligand는 biochemical system에서 target에 결합하고 IC50, Ki, Kd 같은 endpoint를 만족할 수 있다. 그러나 drug는 target engagement뿐 아니라 기능적 효능, selectivity, physicochemical properties, in vitro/in vivo ADME/PK, 적절한 human dose, safety와 efficacy를 함께 통과해야 한다.

ChEMBL과 PubChem에는 백만 개를 넘는 bioactive ligands가 있지만 시장에 나온 drugs는 대략 수천 개 규모다. potent ligand가 lipophilicity 때문에 solubility·bioavailability·metabolism에서 실패하거나, off-target toxicity 때문에 약이 되지 못하는 경우는 전혀 이상하지 않다. 따라서 generative model이 “새 ligand를 만들었다”는 결과를 “새 drug를 발견했다”는 말로 옮기는 순간 translational complexity가 지워진다.

같은 compound도 system context가 바뀌면 다른 label을 갖는다

논문이 biological data에서 강조하는 두 단어는 conditionality와 epistemic opacity다. 전자는 biological effect가 실험조건, genetic variability, environmental influence 같은 수많은 변수에 의존한다는 뜻이다. 후자는 input과 output을 잇는 underlying process를 충분한 이론으로 이해하지 못한다는 뜻이다.

예를 들어 BCR-ABL-driven leukemia에서 imatinib response는 driver aberration이 다르면 달라진다. 같은 dose라도 CYP enzyme expression이 다르면 metabolism이나 prodrug activation이 달라질 수 있다. 흡연은 CYP isoform을 유도할 수 있고, nutrition은 gut microbiome을 바꿔 drug response에 영향을 줄 수 있다. “이 약은 효과가 있다”라는 라벨은 사실상 긴 조건문의 축약형이다.

문제는 그 조건들이 데이터에 모두 기록되지 않는다는 데 있다. cell line, dose, timepoint, target engagement, assay format, clinical end point, patient heterogeneity가 빠진 채 label만 남으면 모델은 그 결손을 통계적 패턴으로 메워야 한다. 그러나 복잡한 생물학에서는 그 빈칸이 inference 가능한 missing value가 아니라 관찰되지 않은 원인일 수 있다.

측정하기 쉬운 proxy가 실제 outcome을 잘 예측한다는 보장은 없다

Figure 2의 두 사례는 데이터가 많아도 predictive validity가 낮으면 AI가 결정을 개선하지 못한다는 점을 보여준다. liver organoid의 cytotoxicity readout을 human plasma exposure(Cmax)로 보정해도 clinical DILI liability와의 상관은 낮다. high-throughput으로 쉽게 측정할 수 있는 thermal shift 역시 더 직접적인 enzymatic IC50와의 관계가 약하다.

여기서 결론은 “organoid나 thermal shift가 무의미하다”가 아니다. 특정 proxy가 실제로 의사결정하려는 endpoint를 얼마나 예측하는지 모델 개발 전과 후에 반드시 검증해야 한다는 것이다. 입력 데이터와 clinical outcome 사이에 거의 정보가 없다면 더 복잡한 neural network는 정보를 창조하지 못한다.

Table 2가 보여주는 것은 “노이즈”보다 더 어려운 문제다

질병 이름은 biology의 완전한 좌표가 아니다

ICD나 ontology label은 임상과 행정에 필요하지만, underlying biology를 완전히 표현하지 않는다. depression, anxiety, anorexia는 다른 disease category지만 symptom과 genetic basis가 일부 겹칠 수 있다. 어떤 특징은 일부 환자에게만, 일부 시간대에만, 서로 다른 정도로 나타난다. 따라서 disease label을 그대로 supervised target으로 사용하는 순간 병태생리의 연속성과 heterogeneity가 사라질 수 있다.

논문의 요구는 disease understanding을 symptom-level taxonomy에만 고정하지 말고 biology에 더 단단히 anchoring하자는 것이다.

테스트셋 성능은 아직 만나지 않은 chemical galaxy를 보증하지 않는다

small-molecule chemical space는 이론적으로 약 10⁶⁰ 규모로 추정된다. 실제 dataset은 그중 미세한 영역만 비추며, synthesis bias, project/analogue bias, publication bias까지 가진다. 더 까다로운 점은 공간이 local하다는 것이다. 같은 functional group을 붙여도 scaffold가 바뀌면 property effect가 전혀 달라질 수 있다.

time-split validation은 무작위 split보다 현실적인 시도를 하지만, 다음 프로젝트가 기존 series와 완전히 다른 영역에서 시작될 수 있다는 문제는 남는다. 논문이 chemical space를 galaxy에 비유하는 이유다. training, validation, external test set이 모두 같은 은하 안에 있을 수 있고, 실제 다음 프로젝트는 다른 은하에서 시작될 수 있다.

각 property model의 applicability domain이 서로 겹치지 않을 수 있다

drug design은 affinity 하나를 극대화하는 optimization이 아니다. solubility, permeability, BBB penetration, clearance, efficacy, selectivity, toxicity 등 여러 property를 동시에 만족해야 한다. 그런데 Therapeutics Data Commons에서 널리 쓰이는 네 ADME dataset을 비교하면 모든 dataset에 공통으로 포함된 compound는 0.1%, scaffold는 0.6%에 불과하다.

즉 각 endpoint model이 알고 있는 chemical space 자체가 다르다. 여러 모델의 score를 단순히 합쳐 multi-objective optimization을 하면, 실제로는 각 모델의 extrapolation risk가 서로 다른 영역에서 겹친다. synchronized applicability domain이 없는 multi-objective design은 정밀한 최적화처럼 보이면서도 불확실성을 증폭시킬 수 있다.

설명 가능한 모델은 데이터 편향까지 그럴듯하게 설명할 수 있다

논문은 bitterness dataset에서 fingerprint feature attribution이 sugar rings를 중요한 특징으로 뽑은 사례를 든다. 일부 sugar가 bitter receptor를 자극할 수는 있지만, 더 그럴듯한 설명은 natural products가 glycosylated인 경우가 많고 natural products 중 bitter compounds도 많아 dataset bias가 생겼다는 것이다.

XAI가 보여준 feature가 causal mechanism이라는 보장은 없다. project data에는 무엇을 합성했는지, 무엇을 측정했는지, 무엇을 보고했는지에 관한 selection bias가 이미 들어 있다. 따라서 explainability가 “모델의 판단 이유”를 보여줄 수는 있어도, 그 이유가 자연의 causal rule이라는 보증서는 아니다.

모델의 box 밖을 평가해야 한다

Figure 4의 핵심은 model box 양옆에 있다. 왼쪽에는 disease, endotype, target, organ, anticipated human dose 같은 project context가 있다. 오른쪽에는 follow-up assay와 disease-context decision이 있다. 기술논문은 흔히 가운데 box에서 test-set metric만 개선하지만, 실제로 모델이 쓰일 때는 양쪽 interface가 성패를 좌우한다.

예를 들어 특정 concentration에서 toxicity를 학습한 모델은 실제 human exposure가 그 범위를 벗어나면 relevance가 급격히 떨어질 수 있다. prediction이 나와도 어떤 follow-up experiment가 빠르고 비용 효율적이며 임상적으로 relevant한지 정해져 있지 않다면 decision support가 완성되지 않는다.

selection, deselection, quantification은 서로 다른 문제다

generic AUC는 이 셋을 하나의 숫자로 뭉갠다. Figure 5는 AUC가 비슷한 두 hypothetical model도 early selection과 late deselection에서 정반대의 우열을 보일 수 있음을 보여준다. 상위 10%를 실험하는 selection scenario에서는 model 2의 actual desired-class proportion이 40%, model 1은 20%다. 반대로 80%를 toxicity risk로 deselect한 뒤 남은 20%를 시험하는 scenario에서는 undesirable compound 비율이 model 1에서 3.3%, model 2에서 10%다.

“어떤 모델이 더 좋은가?”라는 질문은 use case 없이 완성되지 않는다.

SOTA chasing은 숫자를 목적함수로 바꾸는 순간 현실과 멀어질 수 있다

conditional and ambiguous labels를 가진 drug-discovery dataset에서도 benchmark 경쟁은 활발하다. 하지만 benchmark가 target이 되면 Goodhart's law가 작동할 수 있다. 같은 original dataset에서 만든 split은 information leakage를 유발하고, marginal metric gain이 future project performance로 이어지지 않을 수 있다.

CASP, SAMPL, CACHE 같은 blind prospective assessment는 더 현실적인 평가방향을 제공한다. 그러나 이런 benchmark도 prospective labelled ground truth를 만드는 큰 community effort가 필요하며, biological conditionality가 큰 endpoint에는 그대로 적용하기 어렵다.

prospective validation은 사실상 OOD validation이다

chemical space의 규모와 국소성을 고려하면 실제 신규 프로젝트는 거의 언제나 training distribution 밖에 일부 걸쳐 있다. 따라서 모델의 practical performance는 정적 test set보다 새 chemical series와 새로운 biological context에서의 prospective behaviour로 확인해야 한다.

저자들은 모델이 underlying experimental error보다 더 잘 맞는 것처럼 보이도록 squeezing하면 test set에는 좋아 보이고 future project에는 더 나빠질 수 있다고 경고한다. “데이터보다 더 정확해지려는” 시도가 noise fitting으로 변하는 순간이다.

ground truth가 있을 때 AI는 강하다. 그러나 structure prediction과 drug discovery는 같은 문제가 아니다

AlphaFold의 성공은 PDB에 축적된 수십 년의 experimental structure data와 evolutionary information이라는 강한 ground truth 위에 있다. AlphaFold Protein Structure Database는 190개 국가에서 2백만 명이 넘는 사용자가 이용했다고 보고된다. 이 성취는 분명하다.

그러나 process-level drug discovery로 한 단계 옮기면 상황이 달라진다. AlphaFold2 structure를 virtual screening에 사용한 결과는 일부 연구에서 traditional homology model과 비슷하거나 혼합돼 있다. AlphaFold3는 molecular interaction modelling을 명시적으로 강화했지만, 일부 co-folding model이 physical binding process를 실제로 학습했는지에는 논쟁이 남는다.

논문은 Isomorphic Labs의 IsoDDE가 pocket, folding, binding-energy prediction에서 우수한 성능을 주장하지만 공개된 기술 세부가 제한돼 independent verification이 어렵다고 지적한다. 기술 데모의 성취와 외부 검증 가능한 process impact를 구분하자는 일관된 기준이 여기에도 적용된다.

novel chemotype와 clinical drug 사이에는 lead optimization이라는 긴 다리가 있다

generative model은 experimentally validated hit-finding에서 더 높은 hit rate와 novel chemotype discovery를 보여준 사례가 있다. 그러나 그 주된 기여는 chemical-space search를 개선하는 쪽이며, human bioavailability와 같은 in vivo property를 충분히 예측하지 못하면 여전히 ligand design에 머물 수 있다.

일부 AI-designed drug가 Phase IIa까지 진입한 사례도 보고됐지만, AI-generated hit에서 final clinical candidate까지 이어지는 lead-optimization step이 충분히 공개되지 않는 경우가 있어 성공을 AI 단독 기여로 attribution하기 어렵다고 저자들은 강조한다.

생물학 sequence, chemical structure, physical system은 같은 데이터가 아니다

Box 3은 생명과학 내부에서도 data type을 구분해야 한다고 주장한다. protein sequence는 20개 amino acid alphabet, substitution pattern, evolutionary selection이라는 구조를 갖고 있어 1D sequence와 3D structure 사이에 상대적으로 강한 regularity가 있다. chemical structure의 SMILES는 1D notation일 뿐 물리적 atom sequence가 아니며, molecular space는 훨씬 더 크고 local하다.

physical data는 또 다르다. orbital interaction이나 band gap처럼 first-principles theory가 있는 영역에서는 data gap을 계산으로 보완할 수 있다. 한 domain에서 성공한 neural architecture가 다른 domain에서도 같은 이유로 성공할 것이라 기대하면 데이터 생성과 평가를 잘못 설계할 수 있다.

모델 가치는 clinical success와 applicability의 곱으로 생각할 수 있다

저자들은 model value를 단순화해 다음과 같이 표현한다.

early proxy score가 높아지는 것보다 실제 clinical success probability를 높이는 정도가 중요하고, 동시에 그 모델이 얼마나 많은 project decision point에 적용될 수 있는지도 중요하다는 뜻이다. safety나 PK model은 여러 프로젝트에 걸쳐 적용될 수 있는 반면 target-specific model은 좁은 disease context에 묶일 수 있다. chemical space와 modality coverage 역시 applicability domain의 일부다.

먼저 proxy가 임상을 예측하는지 탐색하고, 그다음 대규모 production data를 만든다

Figure 6의 핵심은 “많이 측정한 뒤 AI를 붙이는 것”이 아니라 “임상적으로 무엇을 맞히고 싶은지에서 거꾸로 필요한 측정을 설계하는 것”이다.

고차원 측정은 human-relevant system 안에서 사용할 때 의미가 커진다

논문은 Cell Painting, single-cell RNA-seq, spatial omics, biological perturbation maps를 더 나은 proxy로 발전시킬 가능성을 본다. 그러나 핵심은 dimension 수가 아니다. human primary cells, many donors, hiPSC-derived disease models, co-culture, organoids, organ-on-a-chip처럼 disease context와 variability를 더 잘 반영하는 system에서 측정해야 한다.

ALS에서는 patient-derived hiPSC motor neurons가 disease-relevant phenotype과 candidate testing에 사용돼 ropinirole 같은 clinical candidate로 이어진 사례가 있다. high-content imaging과 deep learning은 familial ALS mutation의 morphology signature를 포착하는 데도 사용됐다. intestinal fibrosis에서는 Cell Painting 기반 model이 relevant system에서 hit와 mode of action을 동시에 탐색했다.

장기적으로 virtual cell이 perturbation에서 phenotype으로 가는 relation을 모델링할 수 있지만, 그 전에 실험적으로 어떤 readout이 in vivo outcome을 예측하는지 확인하는 기반이 필요하다.

관찰 데이터의 상관을 넘어, perturbation과 phenotype을 연결하는 데이터가 필요하다

genome engineering을 적절한 human cell과 tissue-like system에서 대규모로 수행하고 multi-omic readout을 측정하면 genetic perturbation, biological context, phenotype을 직접 연결하는 causal genetics framework를 만들 수 있다. knockout, coding-region editing, GWAS non-coding variant engineering을 disease-relevant phenotype과 잇는 방식이다.

이 접근은 single target을 독립적으로 보는 reductionism의 한계를 보완한다. polypharmacology를 network-level response로 평가하고, cancer cell과 tumour microenvironment 같은 cell-cell crosstalk까지 포함하면 systems biology model이 실제 therapeutic response에 더 가까워질 수 있다.

실패한 임상결과도 전임상 모델의 학습데이터가 되어야 한다

preclinical과 clinical function 사이의 data barrier는 큰 조직적 병목이다. 저자들은 Phase I의 tolerability, toxicity, PK와 Phase IIb의 proof-of-concept outcome을 전임상 target validation과 efficacy model로 다시 보내는 feedback loop를 제안한다. 특히 negative or suboptimal clinical outcome을 포함해야 confirmation bias를 줄일 수 있다.

자동화는 quantity보다 quality를 개선해야 한다

design-make-test-analyse(DMTA) cycle에 AI를 넣는 방향은 이미 여러 기업과 프로젝트에서 진행 중이다. 그러나 automation 자체가 목표가 되면 더 빠르게 많은 후보를 만들 뿐일 수 있다. selection criterion이 later human situation을 예측해야 자동화가 quality improvement로 이어진다.

논문은 Iktos, XtalPi, Insilico Medicine, Genentech, Tempus 등 여러 조직이 AI-integrated DMTA를 추진하고 있다고 언급한다. 여기서 중요한 공통 질문은 “cycle이 빨라졌는가?”가 아니라 “human-relevant assay와 clinical feedback을 통해 더 좋은 후보를 남기는가?”이다.

한 회사가 chemical space와 endpoint space를 모두 채우기 어렵다

저자들은 두 가지 practical path를 제시한다. 첫째는 pharma뿐 아니라 agrochemistry, consumer-goods industry까지 포함한 large consortium을 만들고 assay design과 data generation condition을 처음부터 harmonize하는 방식이다. 과거 consortium은 서로 다른 목적으로 생성된 데이터를 retrospectively pooling하면서 assay format, species, threshold 차이를 충분히 통제하지 못한 경우가 있었다.

둘째는 purpose-built data를 생성하는 단일 조직이나 집중 consortium이다. OpenADMET은 ARPA-H의 약 US$30 million 지원으로 clinical liability와 연결된 off-target data 등을 생산하려 한다. LIGAND-AI는 ligand-target interaction, Virtual Cell Pharmacology Initiative는 compound DRUG-seq readout처럼 다른 유형의 large-scale consistent public data를 목표로 한다.

비용 압박은 변화를 촉진하지만 과장된 약속은 판단을 왜곡할 수 있다

pharma R&D는 승인된 약 하나를 얻는 비용이 장기간 상승해온 이른바 Eroom's Law의 압박을 받는다. 따라서 AI로 process를 바꾸려는 동기는 강하다. 동시에 AI-first company는 투자와 기대를 끌기 위해 큰 약속을 할 유인이 있고, 약속이 커질수록 조직은 그 narrative를 유지하려는 압력을 받는다.

academic publishing도 자유롭지 않다. toy dataset에서 SOTA를 갱신한 모델은 빠르게 주목받지만 real-world process impact가 없는 경우가 있다. prospective validation과 decision-process translation 없이 metric 경쟁만 반복하면 field 전체가 progress illusion을 경험할 수 있다.

하나의 target을 조절한 효과는 전체 human system에서 사라질 수 있다

생물학 연구는 복잡한 system을 gene과 protein으로 나눠 intervention point를 찾는 reductionist strategy를 오랫동안 사용해왔다. 그러나 pathway redundancy, feedback loop, cell-cell interaction 같은 emergent effect 때문에 in vitro target modulation이 human clinical benefit으로 번역되지 않는 경우가 있다.

multiomics와 systems biology는 이 문제를 완화하려 하지만, high-dimensional measurement 자체가 해결책은 아니다. informative sample 수보다 variable 수가 훨씬 많을 수 있기 때문이다. 저자들은 prior biological knowledge와 Bayesian/causal modelling, Mendelian randomization 같은 접근을 함께 써야 할 가능성이 높다고 본다.

결국 숫자는 환자에게 가까운 곳에서 세어야 한다

논문의 결론은 benchmarking을 버리자는 이야기가 아니다. metric을 실제 decision과 이어야 한다는 요구다. 신약개발에서 궁극적으로 중요한 숫자는 clinical approval rate, efficacy와 safety, 그리고 새로운 modality와 mode-of-action의 novelty다.

AI가 screening hit rate를 높이거나 structure를 잘 맞히는 것은 중요한 intermediate achievement다. 하지만 그 결과가 더 나은 drug candidate selection, 적절한 dosing, right-patient matching, clinical success로 이어지는지까지 확인해야 “AI in drug discovery”라는 말이 완성된다.