데이터가 편향되어 있으면 학습 과정의 약점이 편향된 모델으로 이어진다. 정확도가 그럴듯한 모델이 관찰로부터 편향된 현실의 거동까지 일반화해버리는 반면, 덜 일반적인 모델은 편향을 막아주기도 한다. 편향의 방어와 정확도와 일반화는 온전히 양립하는 목표가 아니다.
기계학습은 데이터에서 구조와 양상을 찾는 과학이다. 데이터를 해석하고 그로부터 배운 뒤, 배운 것을 써서 판단을 내린다. 충분한 훈련 데이터가 주어지면 잡음에서 지식을 길어 올릴 신호가 떠오르고, 일반화가 잘 되면 모델은 데이터의 본질적 구조를 반영한다. 그러나 데이터가 편향되어 있으면 그 편향이 그대로 모델에 실린다.
연구자들은 모델이 사용자를 불공정하게 규정하는 여러 방식을 열거한다. 크거나 식별 가능한 하위 집단에 걸쳐 민감한 속성을 뭉뚱그리는 일, 소수 집단의 취약성, 그리고 보이지 않음이 그것이다.
과거의 부정의가 훈련된 모델에 사회적 가치로 부호화되어 불공정을 낳는 일도 경계해야 한다. 사용자 평가에 담긴 사회적 편향은 바로잡지 않으면 학습된 모델으로 새어 들어간다. 그러므로 우리는 부당한 사회적 가치를 훈련하는 모델에서 걷어내는 일을 해야 한다.
통계적 기법으로 기계학습의 편향을 제거하면 공정성 척도를 결과 척도와 정량적으로 견줄 수 있게 만들 수 있다. 정량적 편향 지표는 신약 발굴에 쓰이는 모델의 격차를 평가하고 완화하는 과학적으로 엄정한 도구다.
인종, 성별, 나이 같은 민감 속성 A로 정의된 하위 집단에 걸쳐 긍정 예측의 확률이 변하지 않을 것을 요구한다.
집단 수준의 공정을 강제하지만, 결과 유병률의 차이를 무시할 수 있다는 것이 한계다.
더 엄격한 조건을 건다. 하위 집단에 걸쳐 진양성률과 위양성률이 모두 같을 것을 요구한다.
약물유전체학, 약물–표적 상호작용, 이상사례 예측에 적용되는 모델에서 특히 관련이 크다.
이 공정성 지표를 모델 개발과 검증의 틀에 넣으면 과학적 견고함이 높아지고 규제 준수가 확보되며 정밀의료에서 형평한 결과가 촉진된다. 다만 크고 현실적인 학습 모델에서 이 편향들을 제대로 묶어두는 일은 여전히 매우 어렵다는 것이 저자의 단서다.
편향의 유형과 그 원천을 나누어 본다. 데이터에서 오는 것과 알고리즘에서 오는 것이 있고, 역설적이게도 프라이버시를 지키려는 조치가 편향을 낳기도 한다.
모델의 훈련과 시험을 위해 만든 데이터셋이 전체를 대표하지 못하는 경우다. 과소표집된 인구 부분이나 잘못 분류된 시험 데이터가 편향을 들여온다.
클래스 소속의 조건부 분포 안에서 특징의 분포가 달라지는 경우를 반영한다.
공변량 이동과 밀접하다. 클래스의 입력 특징 값이 바뀌면 공변량 이동이 촉발되고 그것이 모델의 편향으로 이어진다.
입력의 원상만 써서 모델을 훈련할 때 편향이 들어온다.
약물 예측의 영역에서 블랙박스 모델과 화이트박스 모델 사이의 해석 가능성 맞바꿈은 성능과 투명성 사이의 결정적 긴장을 드러낸다. 이 장이 약물 설계와 가장 직접 맞닿는 대목이다.
결정트리, 로지스틱 회귀, 규칙 기반 체계처럼 의사결정의 방식이 사람이 이해할 수 있게 명확히 드러난다. 추적 가능성을 높이고 임상의와 규제 당국 사이에 신뢰를 기른다.
진보한 약물유전체학이나 약물–표적 친화도 예측에서 그 쓰임이 제한되는 까닭이 여기 있다.
심층 신경망과 앙상블 학습은 고차원 생의학 데이터 안의 복잡하고 비선형적인 관계를 모델화할 수 있어 대체로 뛰어난 예측 정확도를 보인다.
그래서 저자가 제시하는 답은 균형이다. 블랙박스 모델의 예측력에 LIME이나 SHAP 같은 사후 설명 도구를 더하는 혼성 접근으로, 성능을 지키면서 출력을 투명하고 실행 가능하게 만드는 길이다.
사람이 어떤 인공지능의 결과가 왜 나왔는지 이해하지 못하면 그 결과는 실행되지 않을 가능성이 크다. 의미 있고 투명한 결과가 다른 결과보다 훨씬 실행 가능한 까닭이다.
판사나 정책결정자처럼 영역의 전문성을 지닌 이들은 자신의 결정을 돕는 모델의 결과가 투명하기를 바란다. 연구자들이 여전히 선형 모델을 쓰는 이유도 여기 있다. 설정이 간단하고 결과가 투명하며, 공변량이 성긴 여러 응용에서 꽤 잘 작동한다. 선형 모델을 벗어나려면 비선형 모델과 블랙박스 모델의 투명성과 성능에 대한 어느 정도의 확신이 필요하다.
기업이 모델을 공개적으로 내놓으려면 코드의 가용성, 모델의 정확도, 라이선스, 거버넌스, 성능 조건, 한계, 개인정보 방침, 보안, 제3자 서비스, 벤치마크 같은 투명성 기준이 함께 중요해진다. 그리고 사람은 언제나 인공지능의 판단을 뒤집을 권한을 지녀야 한다.
모델의 추론이 무관한 요인의 영향을 부분적으로 받을 때 편향이 생긴다. 그 예측이 차별적 관행을 뒷받침하는 데 쓰이면 인공지능 모델은 의도치 않게 차별을 악화시킬 수 있다.
훈련 사례가 뽑혀 나온 특정 인구집단이나 특성이 과도하게 대표된다. 그것이 실제로 모델이 마주할 대상과 맞지 않으면 표본 밖 개인에 대해 잘 예측하도록 최적화되지 못한다.
정책이나 환경의 변화에 견고한 모델을 세우기 어려워진다. 모델의 예측이 사람과 제품에 대해 사람의 판단과 같은 방식으로 계속 작동하도록 만드는 일이 어려워진다.
모델이 역사적 고정관념을 의도치 않게 퍼뜨리게 만든다. 모델의 공정성과 해석 가능성이 이 문제를 다룰 길을 열어준다.
모델은 훈련 데이터와 설계자, 그리고 모델링 과정에 박힌 가치와 한계를 반영한다. 무해해 보이는 가정이나 설계의 선택조차 큰 인구집단의 폭넓은 특성을 설계에 뭉뚱그려 넣어 작은 집단에 해로울 수 있다.
온라인 추천 알고리즘의 편향이 성가시거나 쓸모없는 결과를 낳는 데 그친다면, 채용에 쓰이는 알고리즘의 편향은 상당한 해를 낳는다. 체계를 공정하고 견고하게 만들려는 기제가 오히려 편향을 제거하는 대신 재배치하는 데 그칠 수도 있다.
투명성의 추구에도 본래적 갈등이 있다. 검증을 뒷받침하는 데 필요한 투명성이, 모델의 의도를 뒤엎으려는 적대자에게 새로운 기회를 만들어 줄 수 있다.
투명하고 공정한 모델을 만드는 일의 난제는 셋이다. 정의의 모호함, 사회적 가치와 법적 요구와 개인의 프라이버시 사이의 긴장, 그리고 높은 수준의 사회적·윤리적·법적 고려를 낮은 수준의 구체적 알고리즘 구현으로 옮기는 일의 어려움이다.
차별금지법은 통상 성별, 인종, 나이 같은 특정 속성에만, 그리고 결정이 개인에게 영향을 미칠 때만 적용된다. 감시 알고리즘이 보호 대상 속성을 의사결정에서 고려하도록 요구하려는 규제안도 있으나, 기술 결정론과 엄격 책임 기준의 위험이 우려를 낳는다.
법원은 불투명한 모델이 만들어낸 예측을 점점 더 참조하고 있으며, 여러 법체계에서 법원은 모델에 대한 설명을 요구할 자격을 지닌다. 다만 자연 현상을 예측하는 모델처럼 완전한 설명이 필요하지 않은 응용도 있다는 규범적 반론이 있다.
그럼에도 개인에게 불리한 결정이 모델에 달려 있을 때는 그 결정이 투명하거나 더 잘 정당화될 것을 요구할 이유가 자주 생긴다. 반면 완전한 인과적 설명을 고집하면 모델을 만드는 쪽에 부당한 부담을 지우고 복잡한 모델의 힘을 제한하게 된다.
모델의 편향을 다루려면 먼저 재야 한다. 저자는 평가 지표를 세 부류로 나누고, 모델 파이프라인의 여러 국면 — 훈련 전, 훈련 중, 훈련 후, 그리고 배치 후 — 에 각각 완화 기법을 배치할 것을 제안한다.
공정성과 편향을 탐지하는 데 영역 특이적 고려가 필요하지 않은 일반적 도구와 지표다. 윤리 원칙이거나, 모델의 구조에 일정한 기준이 강제되도록 하는 기법이다.
모델의 결정이 편향되었는지, 얼마나 편향되었는지를 짚어내는 공정성 지표다. 모델의 성능 지표 점수를 견주는 검증을 통해 공정성을 평가한다.
모델의 성능과 관련해 영역에 특수한 공정성 문제에 초점을 맞추는 분석이다. 영역의 경험과 전문성, 그리고 경우에 따라 벤치마크 결과의 정량적 분석에 기댄다.
모델 개발 단계에서 발견되는 편향은 네 유형으로 분류된다. 측정 편향, 모델 과적합 편향, 결측 데이터 편향, 그리고 선택 편향이다.
기존 데이터가 편향되어 있다면 모델 자체가 본래적으로 불공정할 수 있다. 그리고 모델을 공정하게 만드는 일과 실제 결과를 예측하는 능력 사이에 긴장이 나타날 수 있다는 것이 이 절의 결론이다.
해석 가능성에 이르는 접근은 대체로 셋이다. 모델을 처음부터 그렇게 짓는 길, 바깥에서 설명을 붙이는 길, 그리고 블랙박스의 성격을 완화하면서도 정확도를 지키는 길이다.
결과를 확률을 통해 직접 해석할 수 있도록 모델을 애초에 그렇게 짓는다.
블랙박스 모델의 결과를 설명하기 위해 외부 접근을 쓴다. 돌출 지도와 국소성 기반 이진값 모델이 그 예다.
블랙박스 모델 안에서 데이터와 결정 변수 사이에 단순하고 해석 가능한 연결을 세운다. 정확도의 성질을 지키면서 블랙박스의 성격을 완화한다.
한 접근은 주어진 입력 주변에서 블랙박스 모델이 어떻게 거동하는지를 근사하는 국소 대리 모델을 계산한다. 결정트리나 일반화 가법 모델 같은 해석 가능한 모델을 해석에 쓸 수 있게 되어, 어떤 모델이든 블랙박스로 다룰 수 있다.
다른 접근은 돌출 지도를 도입했다. 컴퓨터 비전 관련 과제에서 특히 쓰이며, 심층 신경망이 사용한 픽셀 안의 중요한 영역을 부각한다.
국소성 기반 이진값 모델은 비선형 함수를 더 해석 가능한 구간별 상수 함수로 근사하고, 정수 계획법으로 최적화해 더 나은 보정과 해석 가능성을 제공한다.
모델의 복잡도는 지난 몇 해 사이 빠르게 커졌고, 그 대가로 의사결정 과정의 투명성이 희생되어 이른바 불투명한 모델이 생겼다. 이해당사자가 의사결정 과정을 이해할 수 있으면 어떻게 결정이 내려지는지, 무엇이 결정을 이끄는지에 대한 투명성을 얻는다. 특징 중요도에 대한 명시적이고 사람이 이해할 수 있는 설명을 제공하는 일은 모델에 대한 신뢰와 불신의 요소를 이해당사자가 더 잘 파악하게 만든다.
여러 규제 틀이 기계학습 모델의 투명성과 신뢰성 문제를 다루기 시작했다. 모델의 출력에 기대어 취한 행동에 대한 책임을 점진적으로 다루어 가는 중이다.
2016년에 제정되어 2018년부터 적용되었다. 기업이 인공지능 체계가 고객에게 해를 끼치지 않도록 보장할 것을 요구한다.
인공지능 모델을 다루는 유럽연합의 새 규제는 GDPR을 위해 마련된 규정을 본떠 만들어질 가능성이 크며, GDPR의 투명성 관련 권리가 기계학습의 위협을 푸는 데 핵심이 되리라 예상된다. 이 규제에는 인공지능 사용에서 비롯한 문제의 책임 소재에 관한 규칙도 포함될 것이다.
저자는 최근 몇 해 사이 개발된 지침과 제안을 네 범주로 묶는다. 감사인의 거버넌스와 독립성, 윤리 원칙 강령, 기술적 투명성, 그리고 구체적 법 규제다.
앞의 셋은 전문가가 개발과 배치, 운영에서 따라야 할 지침과 모범 사례다. 예컨대 감사를 수행하는 전문가는 감사 대상 기업과 독립적이어야 하고, 그 결과는 조직의 지도부에 명확히 제시되어야 하며, 감사의 결과는 공개적으로 알려지거나 모든 이해당사자가 볼 수 있어야 한다.
8절 말미에서 저자는 마침내 이 장의 제목이 가리키는 자리로 돌아온다. 약물 재창출과 표적 식별, 규제 준수에 설명가능 인공지능을 통합하는 일이 정밀의료의 앞날을 다시 짜는 데 결정적이라는 것이다.
이질적인 생의학 데이터셋을 가로질러 예측이 어떻게 만들어지는지를 추적함으로써 기전적 경로와 표적 외 효과를 밝혀낼 수 있다.
신경망 층의 해체를 도와 표적의 우선순위를 알려주는 분자 특징, 유전자 발현 프로필, 경로 강화를 드러낸다.
미국 식품의약국과 유럽 의약품청이 인공지능 기반 도구에 대한 검토를 강화하면서, 설명가능성은 알고리즘의 책임성과 추적 가능성, 안전 기준과의 정렬을 보장할 타협 불가능한 요건이 될 것이다.
앞으로의 발전은 상징적 추론과 심층학습을 결합한 혼성 모델을 강조해 성능을 지키면서 해석 가능성을 높이는 쪽으로 갈 가능성이 크다. 이 혁신은 이해당사자의 신뢰를 높일 뿐 아니라 인공지능의 검증 주기를 앞당겨, 신약 발굴 과정을 임상과 중개의 맥락에서 더 효율적이고 윤리적이며 재현 가능하게 만든다.
투명성과 알고리즘에 대한 통제가 덜 편향된 체계의 채택을 강제하는 중요한 도구가 될 수 있으나, 그 도구의 힘은 결국 편향을 정확히 탐지하고 정량화할 기술적 역량에 의해 제한된다. 편향을 더 견고하게 탐지하고 설명할 능력을 넓히는 일이 앞으로의 결정적인 연구 영역이다.
편향은 복잡하고 다요인적이며 빠르게 변하고, 흔히 적대적인 문제로 남을 것이다. 기술자와 윤리학자, 공공정책 전문가 사이의 협력을 시급히 조율해야 한다. 좋은 규제와 표준은 원칙에 서고 앞을 내다보며 새 기술의 역량에 적응할 수 있어야 한다. 규제와 집행의 영역은 기술과 윤리 연구, 사회과학에 두루 밝은 새로운 종류의 학제 간 전문가를 요구하게 된다.
이 장에는 이 책의 어느 장보다 크게 짚어야 할 문제가 있다. 제목이 내걸은 주제와 본문의 내용이 상당 부분 어긋나고, 인용된 문헌 가운데 주제와 무관한 것이 많다. 편향과 투명성을 다루는 장이므로 더욱 분명히 적어둔다.
Intelligence, A., Rajpurkar, P., Irvin, J., … (2019) 항목은
첫 저자명이 “Intelligence, A.”로 되어 있고,
저자 목록 중간에 아랍·페르시아 문자가 섞여 있으며,
게재지가 Lawfare, 9(3)로 표기되어 있다.
자동 수집 도구의 오류로 보이며, 이 문헌은 본문에서 두 차례 인용된다.
will likely not be acted upon”이 되풀이되는
(“In that case, likely, the result will likely…”) 중복도 있다.
It should only allow humans to criticize the explanations provided.”는
의미가 통하지 않는다.
본 요약에서는 이 문장을 옮기지 않고 확인 가능한 사실
(2016년 제정, 2018년 적용)만 남겼다.