앞의 물음은 이해를 구한다. 뒤의 물음은 길을 구한다. 반사실적 설명은 뒤의 물음 위에 선다. 가장 작은 변화로 결과를 바꿀 수 있는 자리가 어디인가. 그것을 묻는 일이다.
전체에서 가장 중요하다던 것이 이 하나에게는 아무 말도 하지 않았다. 일반의 무게와 개별의 무게는 같지 않다.
인공지능은 신약을 찾는 방식을 바꾸었다. 화학 라이브러리와 생물학적 프로필과 환자 데이터를 뒤져 후보 물질을 빠르게 짚어낸다. 그러나 널리 받아들여지는 일은 더디다. 까닭이 있다.
깊은 신경망은 대체로 검은 상자다. 데이터를 넣으면 답이 나오지만, 어떻게 그 답에 이르렀는지는 보이지 않는다. 어떤 분자가 유망하다고 모형이 말한다. 그런데 왜 그런지를 알 수 없다. 그러면 우리는 그 말을 믿을 수 있는가.
투명하지 않다는 것은 기술의 문제만이 아니다. 의약화학자와 임상의와 규제기관이 저마다 근거를 요구한다. 유럽 의약품청과 미국 식품의약국은 모형의 투명성을 인공지능이 관여한 후보 물질의 승인에 앞선 기본 요건으로 삼는다. 유럽연합의 일반개인정보보호법과 인공지능법도 마찬가지다. 의료와 금융처럼 결과가 무거운 자리에서는 명확하고 이해할 수 있는 결과를 내놓아야 한다고 못 박는다.
투명성은 이제 기술적 과제가 아니라 법적 필요다.
반사실적 추론은 새로운 것이 아니다. 사람은 본래 그렇게 생각한다. 결정을 내릴 때 우리는 가보지 않은 쪽을 함께 헤아린다. 그때 그렇게 하지 않았더라면 어떠했을까 하고 되짚는다.
인과 모형의 언어로 옮기면 이렇게 된다. 입력을 조금 건드려 보고 예측이 어떻게 흔들리는지 살핀다. 모형 전체를 다시 짓지 않고도 그렇게 할 수 있다. 현실을 부드럽게 흔들어 대비되고 실행 가능한 통찰을 얻는 일이다.
모형의 출력을 변호하는 것이 아니다. 가지 않은 길을 그려 보이는 것이다. 입력이 달랐다면 결말이 어떻게 다시 쓰였을지를 보이는 것이다. 전문가가 아닌 사람에게는 이편이 훨씬 낫다. 어려운 말 없이, 손에 잡히는 깨달음이 온다.
섀플리 가법 설명이나 국소 해석 가능 설명은 어떤 변수가 영향력이 큰지를 잘 짚어낸다. 그러나 진짜 인과에 대해서는 말을 아낀다.
변수들이 서로 얽혀 있을 때 흔들리고, 배경 데이터에 예민하게 반응한다. 남는 것은 흐릿한, 때로는 오도하는 부스러기다.
돌출 지도는 보기에는 선명하나 의미가 비어 있고, 규칙 기반 체계는 투명하되 모형의 정교함을 거친 어림으로 뭉개기 쉽다.
반사실은 왜 그런 예측이 나왔는지를 낱낱이 해부하지 않는다. 대신 만약을 묻는다.
모형의 충실함을 그대로 지키면서 여기를 고치라는 지시를 준다. 사람이 정말로 묻고 있는 물음에 곧바로 답한다. 이 결과를 어떻게 바꿀 수 있습니까.
그래서 섞어 쓰는 방식이 자라난다. 섀플리의 가중치가 무엇이 중요한지를 말하고 반사실이 무엇을 바꿔야 하는지를 말한다. 중요한 것을 아는 데서 바꿀 것을 아는 데로 건너가는 것이다.
제안한 변화가 실제로 결과를 바꾸어야 한다.
바꾸는 것을 되도록 적게 해야 한다.
사람이 실제로 바꿀 수 있는 것이어야 한다.
제안이 현실에 있음직해야 한다.
반사실은 이미 여러 곳에서 제 몫을 하고 있다. 그 쓰임의 폭 자체가, 투명할 뿐 아니라 책임질 수 있고 실행할 수 있는 인공지능을 우리가 얼마나 바라고 있는지를 보여준다.
신용 평가에서 반사실은 거절의 결정을 설명하는 데 그치지 않는다. 승인에 이르기 위해 필요한 최소한의 실행 가능한 변화를 밝힌다. 소비자의 이해를 돕는 데서 나아가 규제의 물살을 헤쳐 가는 데도 크게 이롭다.
기술자들을 밤에 잠 못 들게 하는 극단의 상황을 미리 모사할 수 있다. 안전을 위해 판을 바꾸는 일이며, 공중의 신뢰를 쌓고 과도한 규제를 피하는 데도 돕는다.
정부가 인공지능 체계의 편향을 찾고 고치는 데 쓴다. 단순한 통계의 차이를 넘어 알고리즘 안에 숨은 차별의 실제 원인을 찾아낸다.
소아 뇌종양의 자기공명영상 분석을 개선하고, 환자 개개인에게 맞춘 통찰을 준다. 신약 발굴에서는 분자를 더 안전하고 효과적으로 고치도록 돕는다. 몸에서 일어나는 작은 변화와 약의 전체 효과를 이어 붙여 약이 어떻게 듣는지를 이해하게 한다.
약물 발굴에 국한해도 사례가 쌓여 있다. 분자 반사실로 화학 예측 모형이 실제로 무엇을 하고 있는지 읽어낸 연구가 있다. 이 분자를 다른 결과로 이끄는 가장 작은 변화가 무엇이냐고 모형에게 묻는 일과 같다. 설명 가능한 인공지능으로 신약 발굴의 집계 편향을 다룬 연구도 있고, 화학에 쓰이는 그래프 신경망 안에서 무슨 일이 일어나는지 설명하는 기법을 만들어 부분 구조가 활성에 기여하는 몫을 밝혀낸 연구도 있다.
쓸모가 있다고 해서 어려움이 없는 것은 아니다. 기술의 어려움과 윤리의 어려움이 함께 있다. 네 가지를 짚어 둔다.
큰 데이터셋에서 만약의 시나리오를 찾는 일은 매우 어렵다. 경사에 기반한 최적화 같은 새 방법이 이 계산을 효율적으로 만들고 있다.
현실적이지 않거나 사람이 실제로 할 수 없는 제안이라면 소용이 없다. 그런 제안은 신뢰를 갉아먹고 설명을 쓸모없게 만든다. 사람들은 계산상 이상적인 간결함보다 실현 가능성과 신뢰를 먼저 본다는 것이 거듭 확인되었다.
어떤 집단에 대해 늘 비현실적이거나 불공정한 변화를 처방한다면, 반사실은 훈련 데이터의 편향을 뜻하지 않게 물려받는다.
설명 가능한 인공지능이 윤리의 만병통치약이 아니라는 비판은 옳다. 오히려 사용자를 오도하거나 편향된 출력에 대한 의존을 키울 수 있다. 설명이 겉보기에 논리적으로 보이면 편향의 채택이 되레 늘어난다는 연구도 있다.
건강이나 금융처럼 민감한 영역에서 반사실을 만들다 보면 사적인 정보나 모형의 내부가 뜻하지 않게 드러날 수 있다. 데이터나 모형 자체를 훔치려는 공격에 열리게 되는 것이다.
투명해지려는 노력이 프라이버시를 줄이는 데로 가지 않도록 조심해야 한다.
이 장은 실제 사례를 하나 든다. 당뇨와 관련된 표적, 이를테면 글루카곤 유사 펩타이드-1 수용체나 디펩티딜 펩티다아제-4에 대한 분자의 생물활성을 예측하는 분류기를 만들었다. 그 과정과 결과를 여기 그대로 옮긴다.
원자료는 ChEMBL에서 왔다. 화합물 스무 개의 생물활성 데이터다. 각 화합물을 정규 SMILES 문자열로 나타내고, RDKit으로 분자량, 지질친화도, 수소결합 공여체와 수용체의 수, 위상학적 극성 표면적, 몰굴절률, 회전 가능 결합의 수를 뽑았다.
기술자를 표준화한 뒤 층화하여 훈련 8할과 시험 2할로 나누고, 척도를 맞춘 다음 랜덤 포레스트 분류기를 훈련했다.
그러므로 이 아래에 오는 반사실의 결과는 방법을 보이는 예시로 읽는 것이 옳다. 화학의 결론으로 받아들이기에는 근거가 얇다. 이 점을 먼저 밝히고 나머지를 옮긴다.
전역적 특징 중요도에서 가장 높은 것은 지질친화도(0.232)와 분자량(0.221)이었다. 몰굴절률(0.200)도 그에 못지않았다.
이 순서는 약물 설계의 오랜 상식과 어긋나지 않는다. 지질친화도는 약이 흡수되고 몸 안을 도는 방식을 좌우한다. 리핀스키의 5의 법칙에 따르면 경구 투여 약물은 이 값이 5보다 작아야 잘 흡수된다. 너무 높으면 잘 녹지 않고 지방 조직에 갇히며, 듣지 않거나 되레 독이 될 수 있다.
분자량 역시 그렇다. 같은 법칙은 500 Da보다 가벼울 것을 말한다. 무거운 분자는 막을 통과하기 어렵고 제대로 흡수되지 못한다. 몰굴절률이 중요하게 꼽힌 것은 모형이 분자의 부피와 전자의 배치까지 보고 있다는 뜻이다. 그 값은 표적에 어떻게 결합하는지에 곧바로 영향을 준다.
모형이 짚어낸 것과 의약화학이 오래 알아 온 것이 서로 맞는다. 이 일치가 모형의 논리에 대한 믿음을 더한다.
물음은 단순하다. 하나씩 조금 바꾸어 보고, 무엇이 얼마나 달라지는지 적어 둔다. 그리고 가장 많이 달라지게 하는 것이 무엇이었는지 순서대로 내놓는다. 앞의 히어로에 실은 세 개의 만약이 그 답이다.
지질친화도는 전체에서 가장 중요한 특징으로 꼽혔다. 그런데 이 한 분자에서는 값을 150%까지 올려도 판정이 바뀌지 않았다. 모순처럼 보이지만 그렇지 않다.
전역적 중요도는 데이터 전체에 걸친 기여를 가리킬 뿐, 특정한 하나에 대한 민감함을 뜻하지는 않는다. 이 분자에 대해서는 모형의 결정 경계가 그 방향으로 매우 너그러웠거나, 그 영향이 맥락에 달려 있어 다른 성질이 함께 움직여야 비로소 판정이 넘어가는 것일 수 있다.
여기서 얻는 것이 크다. 전체적으로 중요한 하나만 붙들고 고치는 일은 헛수고가 될 수 있다. 다른 성질을 함께 다루지 않는다면 그렇다.
분자량과 몰굴절률은 달랐다. 판정을 온전히 뒤집지는 못했으나 확률을 조금씩 옮겼다. 결정을 가르지는 못해도 미세하게 조율하는 자리에 있다는 뜻이다. 몰굴절률을 다듬는 일은 표적의 결합 주머니 안에서 입체적 맞음새와 전자적 상호작용을 가다듬는 데 쓸 수 있다.
경구로 주는 디펩티딜 펩티다아제-4 저해제에서는 균형 잡힌 값(대략 1에서 3 사이)이 흡수에 결정적이다. 다만 이 값만 바꾸어서는 예측이 움직이지 않았으므로, 수소 결합이나 극성 표면적 같은 다른 요인이 함께 필요하다는 뜻이 된다.
분자량과 몰굴절률의 영향은 완만했다. 글루카곤 유사 펩타이드-1 수용체 조절자에 대한 앞선 발견과도 어긋나지 않는다. 분자량이 알맞게 커지면 역가가 오를 수 있으나 지나치게 커지면 대사 안정성이 떨어진다.
몰굴절률을 50% 키우자 확률이 0.08 올랐다. 입체적 부피를 키우는 일이 표적과의 맞물림을 개선할 수 있음을 시사한다. 반면 분자량은 수확이 줄어드는 모습을 보였다. 어느 선을 넘어서면 크기를 더 키워도 그만큼 얻지 못한다.
반사실은 설명에 그치지 않는다. 사람과 기계가 함께 일하는 방식을 바꾼다. 무엇이 결과를 달라지게 했을지를 짚어 보일 때, 연구자는 그 통찰에 훨씬 쉽게 기댄다.
만약의 시나리오는 진단의 도구이기도 하다. 모형이 엉뚱하거나 오해를 부르는 정보에 매달리고 있을 때 반사실이 그것을 드러낸다. 그러면 모형의 논리를 고칠 수 있다.
다만 조심스럽게 설계하지 않으면 있던 편향을 키우거나 새 편향을 만든다. 현실적이고 믿을 만한 만약을 만드는 일이 중요한 까닭이다. 그것이 사람과 기계의 좋은 동행을 짓는 열쇠다.
연구자가 만약의 시나리오를 시험해 보는 화면을 생각해 볼 수 있다. 예측이 어떻게 달라지는지 보고 디지털로 평가할 수 있다면, 실험대 위에서 치러야 할 시간과 비용을 아낄 수 있다. 이런 도구는 의료와 채용 같은 영역에서 이미 효과가 확인되었다. 의심을 줄이고 결정의 투명함을 크게 높였다.
규제기관은 세계 곳곳에서 설명 가능성을 요건으로 삼고 있다. 미국 식품의약국의 우수 기계학습 실무와 유럽연합의 인공지능법이 그렇다. 이 틀들은 위험의 완화와 감사 가능성과 추적 가능성을 강조하는데, 반사실은 본래 그 셋을 뒷받침하는 성질을 지녔다.
저자들은 반사실적 설명이 규제 제출 서류의 일부, 곧 모형 검증 문서로 쓰일 수 있으리라 제안한다. 유럽연합 인공지능법과 일반개인정보보호법 제22조는 자동화된 결정이 어떻게 내려졌는지 설명할 수 있어야 한다고 요구한다. 반사실을 쓰면 신약 발굴의 흐름이 감사할 수 있는 명확한 증거를 내놓을 수 있다.
네 단계의 계획이 제시된다. 반사실적 추론으로 예측 모형이 이해할 만하고 논리에 맞으며 생물학의 관점에서 말이 되는지를 확인한다. 확인을 마친 모형은 규제기관에 보낼 수 있다. 이것이 하나의 착상을 임상의 자리로 옮기는 결정적인 걸음이다. 이 걸음이 없다면 그저 흥미로우나 쓸 수 없는 개념으로 남는다.
아직 이르지 못한 곳이 있고, 넘지 못한 문턱이 있다. 저자들이 짚는 것을 나누어 적는다.
큰 분자 데이터셋에서 반사실을 만드는 비용이 커 산업의 규모로 키우기 어렵다.
구조의 변화를 직관적으로 보여주는 화학적 그림이 함께 오지 않으면 임상의와 연구자가 받아들이기를 주저한다.
미국 식품의약국과 유럽 의약품청의 현행 제출 틀에는 설명 가능한 인공지능을 위한 표준 지침이 아직 없다.
ChEMBL에서 온 훈련 데이터가 당뇨 특이 표적의 비선형 관계를 온전히 담지 못할 수 있다. 표적 특이적 생물활성 데이터를 넣어야 한다.
지금의 분석은 한 번에 한 특징만 흔든다. 실제 최적화는 여러 성질을 함께 조율하는 일이므로, 여러 매개변수의 반사실로 넓혀야 한다.
모형이 물리화학적 경향을 짚어낸다 해도 시험관과 생체 내의 검증이 있어야 임상으로 옮길 수 있는지를 확인할 수 있다.
모형이 어떻게 작동하는지 설명하는 모형 카드와 데이터시트를 만든다.
위험이 큰 응용에서는 사람이 언제나 그 결정을 검증할 수 있어야 한다.
생의학 영역에서 설명 가능성을 재는 표준적인 방법을 만든다.
옮기면서 걸린 것을 감추지 않고 적는다. 흠을 들추려는 것이 아니다. 이 글을 인용할 사람이 같은 곳에서 넘어지지 않기를 바라서다.
0.50이다.
이진 분류에서 0.50은 동전을 던지는 것과 다르지 않다.
시험셋은 스무 개의 2할, 곧 네 개이므로 ROC-AUC 0.75도 통계적으로 뜻을 얻기 어렵다.
그런데 원문은 같은 문장에서 “표본이 작은 탓”이라 하면서
동시에 “견고함과 신뢰성을 함께 입증했다”고 적는다.
두 서술은 함께 설 수 없다.
본 요약은 이 수치를 그대로 옮기되, 이 사례를 방법의 예시로 읽어야 하며
화학의 결론으로 받아들이기 어렵다는 점을 본문에도 밝혀 두었다.
What do you think are some of the most promising areas for further research
in combining counterfactuals with other XAI techniques?”라는
독자에게 던지는 물음으로 끝난다.
학술 서적의 본문에 남을 문장이 아니며,
대화형 생성 도구의 관용구가 걸러지지 않은 것으로 보인다.
제7장 4.4절에서도 같은 성격의 문장이 발견되었다.
Fig. 19.1 (right panel)”과 “Fig. 19.1, normalized important score of 0.232”를 참조한다.
그러나 Fig. 19.1은 규제 절차를 그린 도식이며 오른쪽 패널이라는 것이 없다.
특징 중요도와 반사실 분석은 Fig. 19.2에 있다.
본 요약에서는 그림 번호를 인용하지 않고 값만 옮겼다.
Addressing these challenges is essential for translating counterfactual methods
from experimental demonstrations to practical tools in drug discovery.”로 맺는 대목이다.
본 요약에서는 한 번만 옮겼다.
Fang et al. (2024)로 인용하는데
2.4절은 같은 개념을 Kuhl et al. (2025)로 인용한다.
2.2절에는 (Albini et al., 2022; Albini et al., 2022)처럼
같은 인용이 두 번 겹쳐 붙어 있고,
참고문헌에는 Lawrence Anebi Enyejo Lawrence Anebi Enyejo, 2024처럼
저자명이 두 번 반복된 항목이 있다.
lows”는 뒤에 붙은 낱말의 뜻이 통하지 않고,
4.2절의 “proximity, which checks if the new molecule is structurally similar to
the original one? and actionability check…”는 물음표가 잘못 놓였다.
본 요약에서는 맥락에서 뜻이 확인되는 대목만 옮겼다.
0.0332에서 0.083으로 옮겨 갔다고 적혀 있다.
두 값 사이의 차이는 150% 증가가 맞다.
다만 뒤이어 리핀스키의 규칙을 들며 “5보다 작아야 한다”고 논하는 대목과 견주면
척도가 서로 맞지 않는다.
원 데이터의 값이 정규화된 것인지 원래 값인지 원문에 밝혀져 있지 않다.
몰굴절률의 21.64에서 32.46으로의 변화는 서술대로 약 50% 증가가 맞다.