암 신약 개발과 면역치료에서의 AI
이질성이라는 벽

암은 여러 요인이 얽힌 복잡한 세포 기전이며, 임상적으로 본질적 이질성을 특징으로 한다. 환자 사이에서도, 한 환자의 병변 사이에서도 유전체·후성유전체·전사체·장내미생물이 다르다. 대부분의 사람에게 듣는 항암제를 만드는 일이 어려운 이유다.

그래서 면역치료에서는 여러 바이오마커를 찾아내야 한다. 종양의 이질성, 병기의 변동성, 발암 경로, 암의 면역억제 생물학 같은 복잡한 요인을 이해하기 위해서다. 일차 저항과 획득 저항 모두가 면역치료의 장기적 성패를 좌우한다.

이 분야가 안고 있는 구조적 난점

• 전통적 전임상 모델이 면역생물학을 충실히 재현하지 못한다. 유망한 치료의 임상 전환이 막히는 지점이다.
• 면역 관련 이상반응 같은 안전성 문제가 있다.
• CAR-T와 CAR-NK 같은 첨단 치료는 제조가 어렵고 비싸다.
• 여러 규제 장벽과 높은 치료비 때문에 대다수 환자가 접근하지 못한다.

정밀종양학은 분자 프로파일링과 바이오마커 분석을 통해 종양의 분자적 특성에 근거한 개별 치료를 제공한다. 구체적으로는 표적 가능한 변이(HER2, EGFR 등)와 면역관문 바이오마커(PD-L1 등)를 유전체·단백체·임상 데이터의 통합으로 식별하는 일이다. AI는 여기에 방사선영상학적 특징, 병리 슬라이드, 실세계 근거를 자유롭게 결합한 다중양식 데이터의 분석 능력을 더한다.

AI는 기계가 인간의 지적 과정을 모사하는 것이다. 기계학습(ML)은 명시적 프로그래밍 없이 경험에서 배워 성능을 개선하는 하위 분야이고, 딥러닝(DL)은 여러 층의 인공신경망으로 대량의 비정형 정보에서 계층적·추상적 특징을 자동으로 찾아내는 ML의 부분집합이다.

각 기법이 실제로 무엇을 하는가

지도학습은 입력(예: 유전자 발현 프로파일)과 출력(예: 암 아형 분류)이 모두 있는 표지 데이터로 학습한다. SVM과 랜덤포레스트가 유전자 발현 시그니처로 유방암 환자를 층화하거나 재발 확률을 예측하는 데 쓰였다. 비지도학습은 표지 없는 데이터에서 숨은 패턴을 찾는다. k-평균과 계층적 군집화가 전사체·단백체 탐색 분석에 흔히 쓰이며, 특정 면역치료의 반응자와 비반응자를 구분하는 데 임상적으로 유의미한 결과를 냈다.

강화학습은 보상 함수를 기준으로 시행착오를 거쳐 최적 행동을 배운다. 드노보 화합물 생성부터 항암화학요법·방사선치료의 동적 일정 수립까지 걸쳐 있다. 자연어처리는 BioBERT, PubTator, SciSpacy 같은 도구로 생의학 자유 텍스트를 구조화된 정보로 바꾼다. 약물감시, 정밀의료, 임상의사결정지원(CDSS)에 쓰인다. 생성 모형(GAN, VAE)은 용해도·투과성·결합친화도가 개선된 새 분자를 설계해 고속 대량 스크리닝에 드는 시간과 비용을 크게 줄인다.

CNN은 병리조직학, CT, MRI, 디지털 병리 같은 공간 데이터를 다룬다. 여러 연구에서 폐결절, 유방암, 흑색종 식별에서 전문 영상의학과 의사와 대등하거나 더 나은 성능을 보였다. 종양 부피나 종양 조직 내 면역세포 침윤 정도를 평가하는 영상 분할에 특히 강하다. GNN, 그중에서도 그래프 합성곱망(GCN)은 3차원 화학 구조와 그 기능적 동역학을 더 정밀하게 모형화한다. 최근에는 암에서 시너지 약물 조합이나 합성치사(synthetic lethality)를 예측하는 데 쓰인다.

본질적 이질성은 암을 여러 생물학적 층위에서 규정하는 내재적 다양성이다. 한 종양 안에 유전적·표현형적·공간적·시간적으로 서로 다른 특성을 지닌 하위집단이 만들어진다. 이것이 치료 저항, 질병 진행, 최종적인 치료 실패로 이어진다. 암 치료와 신약 개발의 가장 큰 난제가 여기에 있다.

이 장의 3절은 그 이질성을 네 축으로 분해하고, 축마다 다른 AI 접근을 붙인다. 아래 탐색기는 그 네 축을 하나의 조직 단면 위에서 비교한 것이다.

4.1–4.2 표적 발굴과 바이오마커

일부 하이브리드 모형은 딥러닝과 전통적 통계 기법을 결합해 예측 정확도와 해석가능성을 함께 높인다. 설명가능 AI(XAI) 도구가 모형 예측의 근거를 해석하도록 돕고, AutoXAI4Omics 같은 플랫폼은 깊은 프로그래밍 지식이 없어도 정교한 분석을 할 수 있게 한다. 다만 이질적 데이터 유형의 통합과, AI가 만든 통찰을 임상에서 이해하고 실행 가능하게 만드는 문제는 남아 있다.

대규모 유전자 발현 데이터의 통합 분석은 진단·예후·치료 선택에 쓸 새 바이오마커를 찾아낸다. ML은 속도를 높일 뿐 아니라 인간의 편향과 다중공선성 문제도 줄인다. Caret 패키지가 빠른 분석을 가능하게 하고, 랜덤포레스트와 k-최근접이웃이 질병 상태 구분에서 높은 정확도를 냈다. 다만 과적합 위험과 더 크고 다양한 데이터셋의 필요는 여전한 장애물이다. 특징 공학에는 BioDiscML 같은 패키지가 쓰인다.

4.3 사례 — BRCA 변이

vERnet-B(variant effect recognition network for BRCA1)는 BRCA1의 미스센스 단일염기변이를 탐지하는 심층 합성곱 신경망이다. AlphaFold2가 예측한 변이체의 3차 단백질 구조에서 병원성과 연관된 특징을 학습했다. 질병 유발 BRCA1 변이체 식별 정확도는 85퍼센트였다.

4.4–4.5 가상 스크리닝, 도킹, 드노보 설계

심층신경망(DNN)과 GNN은 정량적 구조–활성 관계(QSAR) 모형의 정확도를 크게 높였다. DNN은 회귀와 분류 실험에서 꾸준히 최상위 성능을 냈고, GNN은 전통적 기술자와 결합했을 때 기존 방법을 앞섰다. 신뢰할 만한 QSAR 모형은 심장 위험 식별에 필수적이다. 딥러닝 기반 모형이 hERG 차단 예측에 적용되었고, 약물 철수의 주된 이유인 약물유발 간손상도 이제 예측할 수 있게 되었다.

도킹에서는 AI가 방대한 화합물 라이브러리를 평가해 예측 결합친화도로 순위를 매긴다. 드노보 설계에서는 생성 알고리즘과 다목적 최적화로 새 화학 구조를 처음부터 만든다. 신경망과 몬테카를로 트리 탐색을 쓴 일부 드노보 전략은 SARS-CoV-2에 대해 FDA 승인 약물 일부를 능가하기도 했다.

도구 사례로 PyRMD2Dock이 있다. 도킹 소프트웨어 AutoDock-GPU와 리간드 기반 가상 스크리닝 도구 PyRMD를 결합해, 거대 화학 데이터베이스를 빠르게 훑고 표적 단백질에 대한 예측 결합친화도가 가장 높은 화합물을 찾아낸다. 무료로 공개되어 있다.

4.6 ADMET 예측

ADMET-AI는 흡수·분포·대사·배설·독성을 예측하는 플랫폼이다. 파이썬 모듈과 웹 서버로 제공되며 TDC ADMET 리더보드에서 1위를 차지했다. 속도가 특징이다. 다른 플랫폼보다 45퍼센트 빠르고, 100만 개 분자의 예측을 3.1시간에 끝낸다. 41개의 ADMET 특성을 예측하며, 약물유발 심독성 예측에서 평균 정밀도–재현율 곡선 아래 면적 0.75로 기존 모형을 앞섰다.

4.7 실패율을 낮춘다

새 약의 성공은 결국 낮은 실패율에 달려 있다. Huang 등(2022)은 ML 모형이 임상시험 실패율을 80–90퍼센트에서 29퍼센트로, 전임상 탈락률을 65퍼센트에서 12퍼센트로 낮출 수 있음을 보였다. 예측 모형이 시험에서 성공할 가능성이 높은 후보를 앞세우는 데 어떻게 기여하는지를 보여 주는 수치다.

다만 원문은 곧바로 유보를 단다. AI 예측을 검증할 강력한 윤리 프레임워크의 정립, 환자 데이터 프라이버시, 알고리즘 투명성이 과제로 남아 있고, 계산 모형에 대한 과도한 의존은 위험하다. 생물 시스템의 온전한 복잡성을 늘 담아내지는 못하므로 예상치 못한 임상 실패로 이어질 수 있다.

표 5.2 — 암 연구의 AI 모형 요약

5.1 CAR-T

T세포를 유전적으로 변형해 암세포를 표적하고 파괴하는 치료다. 혈액암에서 획기적이었다. 그런데 고형암에서는 면역억제성 종양미세환경, 제한된 표면 항원, 심각한 이상반응이 발목을 잡는다. 이상반응에는 사이토카인 방출 증후군과 신경독성이 포함된다. 높은 비용과 특수 시설의 필요도 보급을 제한한다.

차세대 전략이 개발 중이다. 개인 맞춤 설계와 유도성 카스파제 9 같은 안전장치가 그것이고, CRISPR와 전구세포 유사 T세포를 이용해 고형암으로 시험이 확대되고 있다. 재발성·불응성 암에서 CAR-T는 여전히 유망하다.

5.2 암 백신

예방용과 치료용으로 나뉜다. 치료용 백신은 종양 항원에 대한 면역 반응을 높여 기존 암을 관리하며, 종양 축소를 촉진하고 부작용이 적다. 시풀류셀-T처럼 승인된 것도 있지만, 항원 선택과 종양 유발 면역억제가 잠재력의 발현을 막고 있다. mRNA·DNA 백신과 나노백신의 발전이 효과를 개선했다.

다만 백신 단독요법은 일관성이 부족해 면역관문억제제(ICI)나 다른 방법과의 병용이 필요한 경우가 많다. 표적이 적다는 점 — 주로 신항원에 국한된다는 점 — 과 반응을 끌어올릴 강력한 보조제의 필요도 한계다.

5.3 환자 선정과 반응 예측

PD-L1 발현과 종양 변이 부담(TMB)이 흔히 쓰이는 바이오마커지만 충분하지 않다. PD-L1이 낮은데도 치료에 잘 반응하는 환자가 있고, TMB가 높은데도 결과가 없는 경우가 있다. 이 불일치가 더 정확하고 포괄적인 바이오마커의 필요를 드러낸다.

반응 예측도 종양미세환경의 변동성 때문에 어렵다. 환자마다 종양–면역 상호작용이 다르다. 벌크 RNA-seq 같은 전통적 시퀀싱은 이 복잡성을 정확히 규정할 해상도가 없다. 단일세포 RNA 시퀀싱(scRNA-seq)과 강력한 계산생물학이 그 자리를 대신하고 있다.

신항원과 MHC 결합 예측

신항원은 개인 맞춤 암 면역치료의 핵심이다. AI는 이 고유 항원을 식별하고 MHC에 대한 결합친화도를 예측하는 도구가 되었다.

• 단백질 언어처리 + CNN — 딥러닝 알고리즘이 신항원 예측에서 높은 정밀도를 달성했다.
• HLA 타이핑 + TCR 다양성 + 변이 면역원성 — 유전체 시퀀싱 데이터에서 신항원결정기를 찾는 파이프라인이 이 셋을 결합해 가장 효과적인 표적을 고른다.
• BVMHC — 양방향 LSTM(BiLSTM) 신경망 기반의 MHC 결합 예측 도구다. 각 아미노산 잔기 주변의 맥락을 고려해 가변 길이 MHC 결합을 예측한다. 인간, 침팬지, 마카크, 마우스, 랫 다섯 종의 MHC 결합 비교를 지원하며 기존 도구를 앞섰다.

환자 층화

• 11-유전자 시그니처 — scRNA-seq 데이터에 XGBoost를 적용해 흑색종 종양에서 추출한 면역세포를 분석, 여러 암종에 걸쳐 면역관문억제제 반응을 예측하는 11개 유전자 시그니처를 찾아냈다.
• NEO2IS — 암세포와 CD8+ T세포의 상호작용을 표현하는 모형으로, 관문 차단 치료 결과 예측의 정확도를 크게 높였다.
• ITRGM(면역치료 관련 유전자 모형) — 치료 반응 가능성을 근거로 고위험·저위험 흑색종 환자를 안정적으로 구분한다.

5.4 개인 맞춤 암 백신 — EVX-01 사례

이 장에서 임상 전환에 가장 가까이 간 사례다. EVX-01은 합성 장쇄 펩타이드 기반 제제로, PIONEER 시스템이 선정한 5–10개의 신항원과 새로운 양이온성 보조제 제형 CAF09b를 결합했다. CD4+와 CD8+ T세포 반응을 모두 강화하도록 설계되었다.

주목할 점은 마지막이다. 완전 임상 반응이 면역원성 EVX-01 펩타이드의 개수와 더 높은 PIONEER 품질 점수 양쪽에 상관했다. AI가 산출한 예측 지표가 임상 효능으로 이어진다는 것을 시사한다. 이 장에서 ‘예측이 결과로 연결되었다’고 말할 수 있는 몇 안 되는 대목이다.

신항원 발굴 파이프라인의 확장

• 환자 특이 면역펩티돔 학습 — 개인의 면역펩티돔으로 훈련된 딥러닝 구조가 기존 예측 알고리즘보다 높은 정확도로 기존 항원과 새 항원을 함께 식별한다.
• PGNneo — 프로테오지노믹스 파이프라인으로 탐색 공간을 관습적 코딩 영역 너머로 넓힌다. 비코딩 유전체 서열에서 유래한 면역원성 펩타이드를 찾아내므로, 단백질 코딩 영역의 변이 부담이 낮은 종양에 특히 유용하다.
• NeoDisc — 최신 면역펩티돔학을 유전체학·전사체학과 통합해 정규·비정규 출처 모두에서 항원성 펩타이드를 식별한다.
• 제한 볼츠만 머신 — 준지도학습 기반 방법으로, 학습 데이터가 적은 희귀 HLA 대립유전자 식별에 특히 가치가 있다.

5.5 PD-1 / PD-L1 억제제

암은 이질적 질환이므로 환자마다 개별화된 치료를 요구한다. 획일적 접근은 이 이질성을 담지 못해 차선의 치료로 이어진다. 환자 특이 모형은 다중오믹스 정보로 각 종양과 그 미세환경의 고유한 성질을 포착한다. 약물 반응을 예측하고, 표적 치료용 새 바이오마커를 찾고, 실행 가능한 분자 변화를 식별한다.

정밀 치료 계획

AI가 통합된 전자의무기록(EHR)은 실시간 환자 분류와 의사결정 지원을 가능하게 한다. AI 기반 모형은 암 치료의 정밀도, 진단 정확도, 조기 발견을 개선하고 치료제의 부작용을 줄인다. 다만 윤리 문제와 데이터 거버넌스 과제가 폭넓은 채택을 가로막고 있다.

7.1 데이터 프라이버시와 편향

AI 시스템은 데이터 집약적이다. 전자의무기록, 유전체 프로파일, 영상, 임상시험 데이터에서 가져온 대규모 데이터셋에 의존하고, 그 안에는 민감한 인구학적·개인 정보가 담겨 있다. GDPR과 HIPAA 같은 엄격한 규제 지침을 지켜야 하며, 환자 데이터의 비식별화와 기관 간 데이터 공유의 강한 제한이 요구된다.

그런데 유전체는 익명화가 매우 어렵다. 데이터를 교란한 뒤에도 유전 정보로 환자를 재식별할 수 있기 때문이다.

편향은 또 다른 층위의 문제다. 다양하지 않은 데이터셋 — 유럽계 조상을 가진 개인의 데이터가 지배적인 경우가 많다 — 으로 학습한 AI는 이미 의료 불평등을 겪고 있는 다양한 조상의 인구집단에 적용될 때 부정확한 예측을 낸다. 인종적 소수자의 과소대표는 편향된 치료 선택, 결함 있는 바이오마커 발굴, 잘못된 위험 모형으로 이어진다. 공정성 인식 ML과 연합학습이 유망한 해법으로 제시된다.

7.2 AI 설계 항암제의 규제 경로

AI가 만든 후보 약물은 딥러닝, 생성 모형, 예측 시뮬레이션으로 개발되는 경우가 많다. 이 경우 규제 당국은 약리학적 측면만이 아니라 그 예측을 낳은 알고리즘의 타당성, 투명성, 재현성까지 평가해야 한다.

• FDA는 AI/ML 기반 의료기기 소프트웨어 허가를 위한 논의 문서와 프레임워크를 냈다. 처음에는 진단에 국한되었지만 AI 기반 치료제 규제의 토대를 놓았다.
• 우수 기계학습 실무(GMLP)는 데이터셋, 모형 질의, 학습 과정, 갱신 주기, 임상 검증의 투명한 문서화를 요구한다.
• 하이브리드 근거 — 규제 당국은 전통적 전임상·임상 데이터와 AI 출력을 결합한 근거를 점점 더 요구한다. 표적 선정, 독성 예측, 진단 표지자 발굴을 정당화하기 위해서다.
• 다만 인체 시험에 들어가기 전, AI 설계 분자의 전임상 안전성과 효능은 기존 약물과 똑같이 엄격한 기준을 충족해야 한다.
• FDA의 ISTAND 시범사업과 EMA의 혁신 태스크포스가 AI 유래 치료제의 규제 승인을 준비하고 있다.

7.3 해석가능성 — 그리고 두 개의 실패

해석가능성은 AI 모형의 의사결정 과정을 사람이 얼마나 쉽게 이해하는가이고, 설명가능성은 입력 특징이 출력에 어떻게 영향을 주는지를 모형이 얼마나 잘 설명하는가이다. SHAP과 LIME이 각 요인의 상대적 기여를 측정해 투명성을 높인다. 설명가능 AI는 면역관문억제제 반응 예측, 종양침윤림프구 패턴 발견, 면역원성 신항원 평가에 이미 적용되고 있다.

대응

1. FHIR 표준 — 이질적인 병원 기록을 AI가 쓸 수 있는 데이터셋으로 바꾼다. 여러 기관에 걸친 확장 가능한 조화가 FHIR 기반 파이프라인으로 이미 입증되었다.
2. FHIR + 연합학습 — 중앙집중 학습과 대등한 성능을 유지하면서 데이터 사일로와 국경 간 데이터 이전에 대한 규제 제약을 넘는다.
3. 비용 완화 — 공유 인프라에 자원을 모으는 민관 컨소시엄, 확장 가능한 지불 모형의 클라우드 AI 서비스, 거버넌스 협약 아래 참여 기관이 접근하는 지역 AI-as-a-Service 허브.
4. 인력 개발 — 의학 교육 과정에 AI·데이터과학 커리큘럼 통합, 지속적 전문성 개발 워크숍, 그리고 종양내과 의사와 데이터 과학자를 짝지어 임상 워크플로 안에서 AI 모형을 함께 개발·검증하는 학제간 펠로십.

9.1 로봇과 자동화 실험실

로봇화된 고속 대량 스크리닝 시스템과 AI 분석을 결합하면 수천 개의 후보 약물을 다수의 암 세포주에서 빠르게 평가할 수 있다. 로봇은 정밀한 액체 취급, 시료 준비, 분석 실행을 맡고, AI 알고리즘은 복잡한 생물학을 해독해 실시간으로 실험 설계를 지시한다.

CAR-T에서 특히 유용하다. AI 기능을 갖춘 로봇 플랫폼은 CAR-T 세포의 제작과 시험에 필요한 시간을 줄이고 다양한 T세포 수용체 구조를 빠르게 만들어 기능을 분석하게 한다. 다중오믹스와 기능 분석 데이터로 구동되는 예측 AI 모형이 반복 설계를 이끌어 오프타깃 독성도 줄인다.

더 나아가 폐루프 실험(closed-loop experimentation)이 가능해진다. AI가 자율적으로 실험을 제안하고, 결과를 처리하고, 가설 공간을 반복적으로 수정한다. 이 시너지는 효율만 높이는 것이 아니라, 특화된 실험실의 숙련된 전문가에 대한 의존을 줄여 복잡한 암 연구 워크플로에 대한 접근을 민주화한다. 다만 구현 비용, 표준 프로토콜의 수립, AI와 로봇 시스템 간 데이터 상호운용성이 아직 과제로 남아 있다.

9.2 연합학습

여러 기관이 각자의 비공개 데이터로 지역 AI 모형을 학습시키고 갱신분만 공유한다. 데이터 자체는 이동하지 않는다. 다양한 코호트에서 편향을 줄이고 예측을 개선한다는 점이 종양학에서 특히 중요하다. 시설이 부족한 소규모 센터도 민감한 데이터를 공유하지 않으면서 기여하고 첨단 모형에 접근할 수 있다. 다만 데이터 이질성, 통신 비용, 프라이버시 위협이라는 과제가 남는다.

9.3 실시간 임상의사결정 플랫폼

다중오믹스, 전자의무기록, 의료 영상을 통합해 임상의에게 실행 가능한 개인 맞춤 권고를 제공한다. 종양 유전체와 치료 이력을 분석해 치료를 선택하고 부작용을 예측하는 CDSS가 나왔고, IBM Watson for Oncology와 Tempus Labs 같은 플랫폼이 지침, 문헌, 기록을 결합해 근거 기반 계획을 지원한다. 웨어러블 기기는 실시간 모니터링으로 개인 맞춤 치료 조정의 가능성을 연다.