신경과학에서의 AI 혁신:
98퍼센트가 막히는 문턱

치료제 개발을 가로막는 근본 요인이 몇 가지 있다.

• 복잡성 — 860억 개의 뉴런과 100조 개가 넘는 시냅스 연결. 표적과 경로가 너무 많아 표준적인 약물 탐색 기법으로는 감당되지 않는다.
• 혈뇌장벽 — 밀착 연접한 내피세포를 주피세포와 성상세포 종족(end-feet)이 보강한 구조다. 원치 않는 입자를 막지만, 그만큼 치료제를 뇌에 보내기도 어렵게 만든다. 분자량, 수소결합 형성 능력, 지용성이 통과 여부를 좌우하므로 의약화학에서 성공적인 화합물 후보 상당수가 여기서 탈락한다.
• 이질성 — 하나의 질환으로 여겨지던 것들이 서로 다른 원인을 가진 여러 분자 아형의 집합으로 밝혀지고 있다. 알츠하이머만 해도 타우 이상, 아밀로이드 축적, 혈관 변화, 뇌 염증이 각각 주도하는 여러 형태가 있고 형태마다 다른 접근이 필요할 수 있다.
• 주관성 — 통증, 기분 변동, 인지 문제 같은 주관적 특징이 진단과 치료 양쪽을 어렵게 한다. 객관적 바이오마커가 없는 뇌 질환이 많아서, 전통적 임상시험은 위약 효과, 측정의 불일치, 편향된 보고에 취약하다.

1.1 네 개의 물결

1.2 AI와 신경과학의 수렴

두 분야는 오랫동안 서로를 자극해 왔다. 많은 AI 구조가 신경과학에서 배운 생물학을 토대로 삼았고, AI는 뇌의 복잡한 기능을 분석할 계산 방법을 제공한다. 오늘날 계산 과학은 수많은 뉴런의 활동을 한꺼번에 분석하고 거대한 뇌 구조 데이터를 다룬다.

1.3 핵심 용어

생물학적 신경망과 인공신경망은 이름만 닮은 것이 아니다. 시냅스 가소성은 잦은 활동이 연결을 강화하거나(장기강화, LTP) 약화시키는(장기억압, LTD) 방식으로 학습과 기억을 뒷받침한다. 역전파 알고리즘이 예측 오차를 줄이려고 값을 조정하는 것과 같은 원리다.

구조적 대응은 계속 이어진다. 순환신경망(RNN)은 신경 회로가 시간을 다루는 방식으로 정보를 처리하므로 EEG 시계열에서 발작을 예측하는 데 쓰인다. 합성곱신경망(CNN)은 뇌 시각피질과 비슷한 계층 구조를 가져 신경영상에서 질환을 시사하는 구조를 식별한다. 계산신경과학과 기계학습이 만나면 뉴로모픽 컴퓨팅이 된다. 뇌 뉴런의 발화를 모사하는 스파이킹 신경망이 그 예다. 그 결과 신약 발굴의 초점이 작은 표적 하나가 아니라 신경 회로와의 상호작용 예측으로 옮겨 간다.

2.1 지도학습 — 표적 예측

• SVM — 화합물의 혈뇌장벽 투과성 예측에서 82퍼센트 정확도를 냈다. 투과 요구 조건 일부를 무시하는 리핀스키의 5의 법칙보다 훨씬 나아간 결과다.
• AtomNet — 3차원 정보를 처리해 단백질–저분자 결합을 예측하는 심층망이다. GABA_A 수용체를 조사하면서 전통적 연구가 찾지 못한 결합 부위를 발견했고, 이는 불안과 뇌전증 치료제 개발로 이어질 수 있다.
• 전이학습 — 뇌 질환에는 좋은 데이터가 드물어서 특히 유용하다. 대규모 단백질–리간드 데이터셋으로 사전학습하면 뇌전증 같은 특정 영역의 예측이 안정된다. 이 방식으로 할리신(halicin)이 발견되었고, 수막염과 뇌농양 치료 개발에도 응용될 수 있다.
• 결정트리 — 승인된 뇌전증 약의 새 용도를 탐색하고, 부작용 프로파일이 개선된 토피라메이트 유사체를 찾는 데 쓰였다.

2.2 비지도학습 — 패턴 인식

사용자가 범주를 미리 정하지 않아도 신경생물학 데이터에서 패턴을 찾는다. 전통적 방법이 드러내지 못하는 생물학적 원인을 볼 때 특히 유용하다.

• k-평균 군집화 — 뇌전증 환자의 다중양식 데이터에 적용해 서로 다른 치료 반응을 보이는 환자군을 찾아냈다. 발작 양상과 EEG 소견만으로 뇌전증 증후군을 분류하던 기존 관행에 도전하는 결과다.
• t-SNE · UMAP — 뇌 조직 전사체 데이터에 적용해 표준 분석으로는 가려져 있던 신경퇴행 과정의 유전자 발현 양상을 드러냈다. 무관해 보이던 유전자들 사이의 관계를 찾아 알츠하이머의 새 치료 표적을 식별했다.
• 변분 오토인코더 — 다중양식 뇌 영상 데이터에서 정신질환과 관련된 의미 있는 신경생물학적 변이를 나타내는 잠재 표현을 찾아냈다. 이 표현이 특정 신경 회로 이상을 겨냥한 개발로 이어졌다.
• 자기지도학습 — 명시적 주석 없이 데이터 자체에서 감독 신호를 만든다. 자기지도로 학습한 신경망이 격자세포(grid cell) 유사 표현을 스스로 학습한다는 것이 밝혀졌다. AI 시스템이 신경 계산의 근본 원리를 자력으로 발견할 수 있음을 시사한다.

2.3–2.4 강화학습 — 분자 최적화

강화학습은 분자 최적화를 지연된 보상이 있는 순차적 의사결정 문제로 재정의한다. 지도학습은 최적 분자의 명시적 예시에 의존하지만, 강화학습은 방대한 화학 공간을 탐색하고 활용한다.

기본 골격에서 출발한 에이전트는 CNS 투과를 개선하는 작용기를 붙이는 법을 배운다. 반복 최적화를 거치며 어떤 구조 변형이 뇌 노출을 높이면서 표적 선택성을 유지하는지를, 성공한 변환과 실패한 변환 양쪽에서 학습한다.

• 심층 Q-학습 — BBB 투과성과 신경계 표적 결합친화도를 함께 최적화해, 파킨슨병 관련 표적에서 전통적 최적화보다 나은 약동학 프로파일의 화합물을 찾았다.
• 다목적 최적화 — 표적 선택성, CNS 투과, 대사 안정성, 최소 오프타깃 효과를 동시에 만족해야 한다. 맞춤 보상 함수로 경쟁하는 목표들의 균형을 잡아 치료지수가 개선된 뇌전증용 화학 개체를 냈다.
• 근접 정책 최적화(PPO) — 알려진 신경계 수용체와 특이적으로 상호작용하는 구조 생성에서 유전 알고리즘보다 다양성과 활성 예측 양쪽에서 앞섰다.
• 능동학습 결합 — 정보 획득을 최대화하면서 자원 소모를 최소화하도록 실험 검증 대상을 지능적으로 선별한다. DDR1 키나아제 억제제의 설계–합성–검증 전 주기를 46일에 마쳤다. 관습적 방법보다 한 자릿수 빠르다.
• 몬테카를로 트리 탐색(MCTS) — 지수적으로 큰 행동 서열 공간에서 선택적으로 표본을 뽑아 탐색과 활용의 균형을 잡는다. 복잡한 신경치료제 후보의 합성 경로를 찾는 병목을 해결했다.

3.1 규칙에서 학습으로

과거에는 BBB 투과 예측이 단순한 물리화학적 규칙에 기댔다. 리핀스키의 ‘5의 법칙’이 가장 널리 쓰였고, CNS 약물에 특화된 ‘4의 법칙’이 제안되었다. 분자량 400 Da 이하, logP 4 이하, 수소결합 공여체 3개 이하, 수용체 7개 이하.

그런데 이 규칙들은 능동 수송을 담지 못한다. P-당단백질(P-gp)과 유방암 저항 단백질(BCRP)이 수행하는 능동 배출이 BBB 확산에 큰 영향을 준다.

2022년에는 뇌 내피세포 유전자 데이터와 저분자 구조를 결합한 모형이 나왔다. 이 방법으로 일부 수송체의 일주기 변화와 수용체 매개 흡수 경로가 BBB 투과에 관여한다는 사실이 밝혀졌다. 규칙에서 학습으로, 그리고 학습에서 생물학적 맥락으로 넘어간 셈이다.

3.2 그래프 신경망

전통적 도킹 점수 함수는 대개 2 kcal/mol을 넘는 오차를 보인다. GNN은 화합물과 단백질 결합 부위 양쪽의 그래프 구조를 반영해 미세한 상호작용을 포착한다.

• SS-GNN — 피어슨 상관 0.853을 기록해, GABA_A 같은 수용체 대상 발굴에 GNN이 쓰일 수 있음을 보였다. GraphDTA도 전통적 도킹을 앞섰다.
• 메시지 전달 신경망(MPNN) — 원자 사이에 연결을 통해 정보를 주고받아 결합을 지배하는 전자적·입체적 요인을 함께 모형화한다. 뇌전증·알츠하이머·뇌졸중에 관여하는 NMDA 수용체와 저분자의 상호작용을 살펴 표준 계산 기법이 못 찾은 결합 유형을 발견했다.
• 어텐션 GNN — 화합물의 어느 조각이 뇌 진입에 결정적인지 짚어낸다. 93퍼센트의 정확도를 보였고 뇌 진입과 연관된 새 구조적 특징도 함께 찾아냈다.
• 3D-GNN — 공간 정보와 위상 정보를 함께 다룬다. 2D 분자 도면만 쓰는 표준 GNN이 놓치는 3차원 구조 정보를 살린다. 알츠하이머와 관련된 아세틸콜린에스터라제 등에서 실험적 결합친화도와 상관 0.85를 기록해 분자역학 모형과 2D GNN 모두를 크게 앞섰다.
• 해석 — 기울기 기반 방법과 어텐션 시각화로 GNN이 어떻게 결론에 이르는지 볼 수 있게 되었다. D2 수용체의 특정 부위에서 결합 핫스팟이 드러났고, 이는 표적 변이 실험 결과와 일치했다.

3.3 생성 모형 — 처음부터 만든다

생성적 적대 신경망(GAN)은 기존 구조를 조정하는 대신 분자를 처음부터 설계하게 한다. MolGAN은 분자 그래프를 만드는 생성자, 알려진 그래프와의 유사도를 평가하는 판별자, 그리고 BBB 투과성 같은 중요한 성질을 확인하는 보상망으로 이루어진다. 명시적인 의약화학 규칙을 가르치지 않아도 CNS 지향 약물다운 후보를 점점 잘 만들게 된다.

생성 모형이 실제로 낸 결과

• 5-HT_2A 수용체 표적 — 표적 단백질과 원하는 성질을 함께 입력받는 생성자를 설계했다. 신규 화합물 15개 중 4개가 표적 단백질에 강하게 결합했고 설치류 뇌에서 유효 농도에 도달했다.
• 구조 다양성 — BBB 스크리닝을 통과한 MolGAN 생성 화합물은 구조 기반 가상 스크리닝의 출발 구조보다 3.2배 더 다양했다. 전통적 방법이 알려진 활성 물질 주변만 뒤지는 것과 대비된다.
• 조건부 VAE — BBB 통과와 표적 선택 같은 성질을 조절할 수 있게 해, 잠재 공간에서 한 걸음씩 이동하며 뇌전증과 파킨슨병용 후보를 조금씩 개선했다.
• 정션 트리 VAE — 표적 친화도, BBB 투과성, 대사 안정성, 합성 접근성을 함께 고려했다. 알츠하이머를 목표로 했을 때, 기존 치료제 메만틴보다 말초 부작용 가능성이 낮은 골격을 찾아냈다.
• 베이지안 최적화 — 잠재 공간을 무작위로 표본하는 대신 유망한 영역을 골라 탐색해 필요한 평가 횟수의 약 15퍼센트만으로 같은 결과에 도달했다.
• 전이학습 — 희귀 신경질환의 학습 데이터 부족을 우회한다. 일반 약물다운 분자로 사전학습한 뒤 소규모 데이터로 미세조정하면, 표적당 알려진 화합물이 50개뿐이어도 쓸 만한 라이브러리를 만들 수 있다.
• 스타일 전이 — 컴퓨터 비전의 기법을 가져와 서로 다른 계열의 구조 부분을 결합한 하이브리드 분자를 만든다. 한쪽에서 BBB 통과 특성을, 다른 쪽에서 신경 상호작용 특성을 가져와 오프타깃 효과를 줄이면서 뇌의 표적 영역을 더 잘 조준한다.

4.1 3천만 편의 초록

PubMed에는 뇌전증 논문만 15만 편이 넘는다. 사람이 종합할 수 있는 양이 아니다. BERT 기반 양방향 인코딩을 생의학 데이터로 사전학습한 NLP 시스템이 3천만 편이 넘는 초록을 처리해 뇌전증 관련 초록 127,392편을 식별하고, 분자 표적·치료제·뇌전증 군·치료 결과를 지식그래프로 연결했다.

• 주제 모형화 — 처음에 유망했다가 이후 방치된 뇌전증 연구 주제들을 찾아냈다. 그중 교세포 EAAT2 글루탐산 수송체가 다시 선택되어 시험되었고 긍정적인 전임상 결과를 냈다.
• 단어 임베딩 — 서로 다른 치료 영역에서 언급된 약물 기전들의 의미적 유사성을 조사했다. 뇌전증 치료제 토피라메이트가 금연과 관련된 기전과 상당한 공통점을 가진다는 것이 드러났고, 이후 임상시험이 금연 효과를 입증했다.

4.2 EEG와 합성곱 신경망

마지막 숫자가 흥미롭다. 신호만 보는 것보다 맥락을 함께 보는 편이 낫다는 뜻이다. 어려운 유형의 뇌전증일수록 그렇다.

해석가능성도 진전이 있었다. CNN 구조에 어텐션 기법을 넣어 어느 신호 구간과 어느 전극이 발작 예측에 가장 크게 기여했는지 밝히자, 신경과 의사들이 시각적 설명을 본 뒤 AI를 의사결정에 쓸 가능성이 3.2배 높아졌다. 하드웨어 쪽에서는 CNN을 전용 뉴로모픽 칩에 올려 전력 소모를 97퍼센트 줄이면서 32채널 EEG를 실시간 분석했다. 병원 밖과 가정에서의 상시 EEG 감시가 가능해진다는 뜻이다.

4.3 발작 예측

발작 예측의 난점은 발작 직전의 진짜 뇌 변화와 정상적인 변동을 구분하는 것이다. 표준 신호처리 기법은 대개 60–70퍼센트에 머물렀다. 우연보다 조금 나은 수준이고 치료에는 부족하다.

• CNN-LSTM 혼합 — CHB-MIT 데이터셋에서 98.84퍼센트의 검출 정확도를 냈다.
• 말초 생체신호 결합 — 심박변이도(HRV)가 자율신경 기능 이상을 간단히 측정하는 수단이 된다. 교감·부교감 균형의 변화가 발작 임박을 시사할 수 있다. 연합학습 모형은 개별 환자 발작 검출에서 93.94퍼센트, 시간당 위양성 0.044회를 기록했다. HRV 기반 소형 기기는 최소한의 연산으로 상시 예측이 가능해 모바일에서도 쓸 수 있다.
• 개인화 모형 — 전이학습을 개인 발작에 적용하면 일반 모형보다 뚜렷하게 낫다. 몇 달치 두개내 EEG를 분석할 때 특히 그렇고, 기존 데이터에 잘 나타나지 않는 희귀 뇌전증 환자에게 유용하다.
• NeuroVista 시험 — 약물 반응이 없는 뇌전증 환자 15명에게 두개내 EEG 감시 장치를 삽입해 6개월에서 3년 동안 뇌 활동을 수집했다. 이 데이터로 예측 알고리즘을 야간에 철저히 검증한 결과 일주기 리듬과 수면·각성 상태가 성능에 영향을 준다는 사실이 드러나 새 모형에 반영되었다.

4.4 임상 전환의 장벽

NVIDIA Clara는 의료 컴퓨팅용 AI 플랫폼으로 의료영상, 유전체, 신약, 의료기기 영역을 지원한다. 다만 원문도 인정하듯, 실제 기록된 활용은 대부분 의료영상과 유전자 분석에 머물러 있다. 정신건강 맞춤 의료에서의 역할은 아직 가능성의 영역이다.

현재 항정신병약 용량 개인화는 약물유전학 검사에 의존한다. CYP2D6, CYP1A2, CYP3A4/5 효소의 대립유전자 변화가 항정신병약의 혈장 농도를 바꾸기 때문이다.

fMRI 기반 D2 수용체 점유

fMRI 소견은 도파민 D2 수용체가 뇌에서 작동하는 방식을 보여 준다. D1 계열과 D2 계열 수용체를 함께 다루는 다중수용체 생리 모형이 BOLD 반응 경향을 반영한다. 기계학습 모형은 뇌 활동 정보를 이용해 정신증 환자가 항정신병 치료에 어떻게 반응할지 예측한다. PET/fMRI 병용 연구에서 도파민 수용체의 수가 항정신병 치료에 민감한 뇌 활동에 영향을 준다는 것이 확인되었다.

• 양자 컴퓨팅 — 신약 연구의 어려운 상호작용을 다룰 가능성을 연다. 다만 현재 신약용 양자 접근은 대체로 이론에 머물러 있다. 그래서 최근 연구는 현 기술의 제약을 우회하려고 고전 기계와 양자 기계에 계산을 나누는 방식을 본다. 다중약리 요구에 대해서는 아직 초기 단계다.
• DeepCRISPR — 단일 가이드 RNA(sgRNA)의 온타깃·오프타깃 효과를 다른 인실리코 도구보다 정확히 예측한다. 유전체를 깊이 분석해 의도치 않은 편집을 줄이는 기계학습 시스템이 개발되고 있다.
• 뇌–컴퓨터 인터페이스(BCI) — 딥러닝이 운동피질에서 움직임 명령을 해독해, 마비 환자가 글씨 쓰기를 상상하는 것만으로 문자를 입력할 수 있게 되었다. 순환신경망으로 신경 신호를 경로화한다. 뇌졸중과 척수 손상 환자가 실시간 문자 출력을 쓸 수 있다.

7.1 유전체 데이터베이스의 편향

많은 AI 모형의 토대가 되는 유전체 데이터베이스에 다양성이 지속적으로 부족하다는 것이 이 분야의 핵심 윤리 문제다.

이 편향은 AI 모형 개발에 직접 영향을 준다. 유럽계 데이터가 지배적인 데이터셋으로 학습한 알고리즘은 다양한 인구집단에서 성능이 떨어진다. 신경학에서는 이 문제가 특히 심각하다. 유전 요인이 약물 대사, 수용체 발현, 질환 감수성 양상에 큰 영향을 주기 때문이다. 유전형–표현형 대응의 이질성이 큰 신경질환에서 이런 편향은 진단의 불평등과 치료 효과의 악화로 이어질 수 있다.

7.2 재현성 위기

신경과학에서는 신경 데이터의 복잡성과 많은 AI 알고리즘의 블랙박스 성격이 문제를 키운다. 원문이 꼽는 원인은 넷이다.

1. 모형 구조와 하이퍼파라미터의 문서화 부족.
2. 데이터 전처리 파이프라인의 편차.
3. 표준화된 평가 지표의 부재.
4. 복잡한 신경망의 계산 요구가 독립적 검증을 막고, 독점 데이터셋이 외부 검증을 제한한다.

7.3 규제 지형

적대적 학습(adversarial training)이 대안으로 연구되고 있다. 분류기와 적대 모형을 함께 학습시켜, 분류기는 과제를 정확히 예측하고 적대 모형은 데이터 수집 과정에서 형성된 편향을 찾아 줄인다. 예측 정확도를 해치지 않으면서 다양한 집단을 다루려는 시도다.

FDA는 2021년 1월 AI/ML 기반 의료기기 소프트웨어(SaMD) 액션 플랜을 발표했다. 핵심은 사전에 계획된 변경이라면 승인 후 전면 재검증 없이 AI 시스템을 갱신할 수 있게 한 것이다. 새 의료 데이터로 성능을 개선할 수 있는 신경망에는 이 유연성이 중요하다.

연합학습이 신경학 AI의 윤리적 개발의 토대로 제시된다. 민감 정보를 중앙에 모으지 않고도 의료 기관들이 협력할 수 있고, 여러 지역의 분산 데이터로 신경학용 심층망을 학습시키는 것이 프라이버시 규정을 지키면서 가능함이 입증되었다. 흩어져 있고 규모가 작은 신경질환 데이터셋을 합쳐 여러 곳에서 쓸 수 있는 AI를 만들 수 있다는 뜻이다.

AI가 강해질수록 신경과학의 핵심 쟁점은 공정하고 평등한 사용 방식이 된다. 신경질환 치료제 설계의 진보는 AI를 모두가 쓸 수 있게 만들고 어디서나 유용하게 만드는 데 달려 있다.

약어