04
등각 예측 (Conformal Prediction)
점 예측 대신 예측 집합 T(x)를 내놓는다. 비적합도 점수(nonconformity score)로 집합을 구성하며, 기댓값 위에서의 주변부 커버리지를 보장한다. 순차 설정으로도 확장된다.
Prediction Sets개별 확률은 알 수 없다. 그럼에도 우리는 주변부 보장과 개별 보장 사이를 의미 있게 보간할 수 있다.
원저 Aaron Roth — Uncertain: Modern Topics in Uncertainty Estimation · Incomplete Working Draft
생명보험 심사관이 Alice가 향후 12개월 내에 사망할 확률이 3%라고 계산할 때, 그 추정치는 무엇을 의미하는가. 이 물음은 확률론의 기초가 구성되는 방식과, 확률론이 현실에서 적용되는 방식 사이의 불일치를 정면으로 건드린다.
이상화된 확률론에서는 어떤 분포가 존재하고, 그로부터 표본을 반복해 독립적으로 추출할 수 있다. 손 안의 동전이 앞면이 나올 확률은 동전을 반복해 던지며 추정하면 된다. 그러나 Alice의 상황은 다르다. Alice에게는 살아갈 삶이 오직 하나뿐이므로, "동전을 반복해 던져" 그의 사망 확률을 추정할 방법이 없다. 이것은 단지 표본을 얻지 못하는 문제가 아니라, 개별 확률이 원리적으로 관측 불가능하다는 더 깊은 문제다.
실무적으로 측정 가능한 것은 충분히 큰 데이터 부분집합에 대한 평균(그리고 관련 통계량)뿐이다. 그래서 대부분의 보장은 주변부(marginal) 보장이다. 즉 데이터셋의 여러 사례에 대한 평균으로 성립한다. 개별 사망 확률은 추정할 수 없어도, 모집단 전체에 대한 모델의 오차 지표는 추정할 수 있다. 보험으로 수익을 내는 데는 이것으로 충분할 수 있다.
주변부 보장(모집단 전체 평균)은, 관심 있는 구조화된 하위 모집단으로 초점을 좁히면 무너질 수 있다. 사망률 모델이 전체적으로는 잘 보정되어 있어도, "필라델피아에 거주하는 중년 교수" 집단에 대해서는 체계적으로 편향될 수 있다. 이러한 편향은 다른 인구 집단에서의 반대 방향 편향으로 상쇄되어 주변부 보장을 위반하지 않을 수 있다.
여기서 조건부(conditional) 보장이 필요해진다. 개별 보장은 도달 불가능한 목표이고 주변부 보장은 종종 너무 약하지만, 이 두 극단 사이를 의미 있게 보간할 수 있다. 일부 하위 집단에 대해 조건부로 성립하는 보장이 이 모노그래프를 관통하는 공통 주제다.
"만약 두 모델이 데이터로 똑같이 잘 지지되면서도 서로 다른 예측을 자주 내놓는다면, 우리는 무엇을 근거로 행동을 정당화할 수 있는가."
— 모델 다중성과 자의성의 문제지침이 되는 원리는 가정을 가능한 한 적게 두는 것이다. 가정이 적을수록 그것이 어긋날 수 있는 경우도 줄어든다.
특징과 레이블에 대한 어떤 결합 분포가 존재한다고 가정하되, 그 형태에는 아무 가정도 두지 않는다. 이 분포로부터 i.i.d.로 추출된 데이터로 모델을 학습하고, 배포 시점에도 동일 분포에서 표본이 온다고 가정한다. 학습과 배포가 분리된다.
수열이 최악의 경우로, 심지어 적대자에 의해 생성될 수 있다. 배포 환경이 실제로 적대적이라 믿어서가 아니라, 이 설정이 다른 모든 분포 이동보다 일반적이기 때문이다. 여기서의 긍정적 결과는 더 온건한 환경으로 그대로 이어진다. 예측 직후 참 레이블을 관측한다고 가정한다.
분포 D 위에서 예측기 f의 제곱 오차는 B(f, D) = E(x,y)~D[(f(x) − y)²] 이다. 상수 예측을 해야 한다면 제곱 오차는 레이블 분포의 평균을 예측할 때 최소화된다. 이 사실이 이후 여러 유도의 초석이 된다.
평균, 분위수, 예측 집합에 대해 이 책은 점점 강해지는 보장의 스펙트럼을 동일한 틀로 다룬다.
분위수(quantile)는 분포 질량의 q 비율이 그 아래에 놓이는 임계값이다. 중앙값은 q=0.5인 분위수다. 평균을 주변부로 맞추는 대신, 목표 분위수를 주변부로 맞추는 모델을 요구할 수 있으며, 동일한 스펙트럼이 분위수에도 그대로 적용된다.
13개 장은 하나의 질문을 서로 다른 각도에서 공략한다. 알 수 없는 개별 확률과 측정 가능한 주변부 평균 사이를 어떻게 메울 것인가.
점 예측 대신 예측 집합 T(x)를 내놓는다. 비적합도 점수(nonconformity score)로 집합을 구성하며, 기댓값 위에서의 주변부 커버리지를 보장한다. 순차 설정으로도 확장된다.
Prediction Sets보정된 예측기는 예측과 의사결정 사이의 단순한 인터페이스를 제공한다. 보정된 예측을 그대로 신뢰해 최선 반응하는 것이 최적 정책이다. 다만 상수 예측기도 보정된다는 한계가 있다.
Decision Interface집단 조건부 보정. 겹치는 여러 집단 각각에 대해 동시에 보정을 요구한다. 평균·분위수 멀티보정과 표본 밖 일반화, 집단 조건부 정확도를 갖춘 손실 최소화까지 다룬다.
Group Conditional곱셈 가중치(Multiplicative Weights) 알고리즘, 제로섬 게임, 미니맥스 정리를 잇는 막간. 순차적 의사결정에서 미니맥스 정리로 나아가는 도구 상자를 정비한다.
Minimax지수 가중치로 여러 목적을 동시에 다루는 게임을 세운다. d개 목적에 대해 4√(T ln d) 수준의 AMF 후회 한계를 얻는다. 멀티보정 알고리즘의 엔진이 된다.
Multi-Objective집단 지시 함수를 넘어 임의의 실수값 함수 클래스로 멀티보정을 일반화한다. 멀티보정을 회귀로 알고리즘적으로 환원하고, 약학습·부스팅과의 연결을 밝힌다.
Beyond Groups가능도비 재가중(likelihood ratio reweighting)으로 대응한다. 조건부 레이블 분포가 같고 특징의 주변부 분포만 다른 경우, 멀티보정이 분포 이동 아래에서도 유용하게 보존됨을 보인다.
ReweightingOmnipredictor. 하나의 예측기가 광범위한 손실 함수에 대해 동시에 최적 정책을 유도한다. 레이블 없는 데이터만으로도 최적화 문제를 풀 수 있게 하는 충분 통계량 개념이다.
Omniprediction같은 정확도를 가지면서 개별 예측이 어긋나는 모델들이 존재하면, 정확도만으로는 어느 것도 기각할 수 없다. 기준 집단 문제와 모델 앙상블, 표본 복잡도를 통해 자의성의 우려에 답한다.
Model Multiplicity보정된 예측기가 있으면 의사결정자는 별도의 학습 단계 없이 최적 정책을 얻는다. 예측값 v에 대해 최선 반응 행동 BRu(v)를 취하는 것이, 예측값을 행동으로 사상하는 모든 정책 가운데 최적이다.
그러나 이 보장은 신중히 해석해야 한다. 상수 예측기도 보정되지만 의사결정에 별 쓸모가 없다. 핵심은 이 최적성이 예측값만을 입력으로 받는 정책 안에서의 최적성이라는 점이다. 특징 x 같은 외부 신호를 함께 쓰는 의사결정자에게는 주변부 보정만으로 부족하다.
여기서 멀티보정이 답이 된다. 예측값뿐 아니라 집단 소속과 외부 맥락을 조건으로도 편향이 없으므로, 맥락을 활용하는 의사결정자에게도 신뢰할 만한 인터페이스가 된다.
이 모노그래프를 관통하는 실은 명료하다. 개별 보장은 불가능한 목표이고, 주변부 보장은 흔히 너무 약하다. 그러나 이 두 극단 사이를 의미 있게 보간할 수 있으며, 그렇게 얻은 조건부 보장이 실무에서 우리가 실제로 원하는 것이다.
등각 예측은 불확실성을 집합의 크기로 정량화하고, 보정과 멀티보정은 예측을 신뢰 가능한 의사결정 인터페이스로 바꾸며, 온라인 최적화와 미니맥스 정리는 이를 적대적 순차 환경에서도 달성하는 계산 도구를 제공한다. 분포 이동, 충분 통계량, 모델 다중성은 이렇게 얻은 보장이 배포 현실과 데이터에 의한 반증 앞에서 어떻게 견디는지를 검토한다.
결국 던지는 물음은 하나로 수렴한다. 개별 확률을 결코 확인할 수 없는 세계에서, 우리는 어떤 예측을, 그리고 그 예측에 근거한 행동을 자의성의 혐의로부터 어떻게 방어할 것인가.