Machine Unlearning · 이론적 보장과 실증적 한계

Unlearning Data
at Scale

Kamath 교수는 machine unlearning의 이론적 기초(차등 프라이버시 연계, 인증된 언러닝)와 실증적 한계(poisoning attack 제거 실패)를 강조하며, 대규모 LLM·기초 모델 시대의 실용적·이론적 도전을 선도한다. 그의 작업은 언러닝을 향한 과장된 기대를 경계하고 엄밀한 방향을 제시한다.

이론이 보장하는 것

인증된 제거

매끄러운 강볼록 손실에서 근사 최적의 순수 언러닝을 수학적으로 보장한다.

실증이 드러내는 것

Poisoning 제거 실패

근사 언러닝은 MIA 방어에는 효과적이지만, 데이터 오염 공격을 완전히 제거하지 못한다.

관점Rigorous / Certified
이론 뿌리Differential Privacy
핵심 발견Poisoning 잔존
기준 연구2025–2026
01 · 정의

단순한 '지우기'가 아니라 엄밀한 과정

대규모 훈련 데이터셋에서 특정 데이터의 효과를 효율적으로 제거해, 모델이 그 데이터를 전혀 보지 않은 것처럼 행동하게 만드는 기술.

Kamath 교수의 관점에서 Unlearning Data at Scale은 단순한 삭제가 아니라, certified removal(수학적 보장)과 approximate methods(효율적 근사) 사이의 trade-off를 다루는 엄밀한 과정이다. Exact unlearning(이상적 재훈련과 동등)과 approximate가 핵심 구분이다.

거대한 도서관에서 특정 책을 제거하되, 선반 전체의 안정성과 책들의 상호 참조를 유지하는 정밀 외과 수술이다.

02 · 문제 정의

Oracle 재훈련 모델과의 근사

D = D_r ∪ D_f 에서 forget set D_f 의 영향을 제거한 θ_unl 을, 오라클 재훈련 모델에 근사시킨다.

Objective · 언러닝 목표
θunl  ≈  argminθ L(θ ; D \ Df)

훈련된 모델 θ 에서 forget set의 영향을 제거해, Retain Set으로 처음부터 재훈련한 오라클 모델과 근사시킨다. Kamath 연구는 특히 poisoning attack 제거와 대규모 심층 모델에서의 효능(efficacy)에 초점을 두고, approximate unlearning의 한계를 수학적으로 분석한다.

대규모의 본질은 명확하다. trillions of tokens 규모에서 full retraining은 불가능하므로 사후(post-hoc) 효율적 삭제가 필요하다. 목표는 프라이버시(잊힐 권리), 안전성, 데이터 위생(data hygiene)이다.

03 · 핵심 개념

보장, 영향 제거, 확장성, 그리고 평가 축

Kamath는 언러닝이 poisoning을 완전히 제거하지 못한다는 실증적 실패를 특히 강조한다.

Certified Unlearning

인증된 언러닝

강볼록 손실 등에서 근사 최적의 순수 언러닝을 이론적으로 보장한다.

Approximate Unlearning

근사 언러닝

효율적이지만 보장이 약하다. 실제 위협 제거에서 한계를 드러낸다.

Influence Removal

영향 제거

데이터 오염, MIA 방어, gradient 기반 기법으로 영향을 지운다.

Scalability

확장성

파라미터 효율 파인튜닝, model merging, checkpoint history(MSA 연계).

Evaluation Axes

평가 축

망각 효능(poisoning 제거·MIA), 유틸리티 보존, 재학습 견고성, 연산 비용.

04 · 서론

MIA는 막아도, 실질적 위협은 남는다

Kamath는 ICML 2026 Tutorial에서 대규모 언러닝의 실증·이론 프레임워크를 제시한다.

2025년 이후 LLM·기초 모델의 폭발적 성장과 함께, 기존 방법들이 MIA 방어에는 효과적이지만 poisoning attack 제거 같은 실질적 threat에는 실패한다는 점이 드러난다. 이는 엄밀한 평가와 이론적 보장의 필요성을 부각한다. 언러닝은 프라이버시·저작권·AI 안전 규제(GDPR, EU AI Act) 준수를 위한 핵심 기술로 자리 잡았다.

05 · 동기와 배경

차등 프라이버시에서 사후 데이터 삭제로

Kamath 연구는 차등 프라이버시(DP)와 통계적 추정에서 출발해, 언러닝을 사후 데이터 삭제로 확장한다.

동기 · Motivation

왜 잊어야 하는가

방대한 데이터에 의한 프라이버시 누출, 저작권·유해 콘텐츠 기억(memorization), 오염 데이터 영향 제거, 규제 준수.

배경 · Background

계보

Sekhari et al.(NeurIPS 2021)의 초기 작업과 Kamath의 후속 이론적 진전. 차등 프라이버시와 통계적 추정을 뿌리로 삼는다.

모델을 기억하는 뇌로 보면, 언러닝은 선택적 기억 지우기이며 AI가 윤리적·법적 성숙을 이루는 과정이다.

06 · 도전 과제

효능의 한계가 가장 먼저다

Kamath는 평가 벤치마크의 재고를 특히 강조한다.

Kamath et al. · ICLR 2025 · 핵심 발견
approximate unlearning    poisoning removal

근사 언러닝은 무차별(indiscriminate)·표적(targeted)·가우시안(Gaussian) 오염을 제거하지 못한다. MIA 방어로 성공을 판정하는 관행이 실질적 위협 앞에서 무력함을 드러낸다.

확장성Scalability

Billion-parameter 모델에서 연산·저장 오버헤드가 크다.

Trade-offUtility

망각 강도를 높이면 유틸리티 저하·파국적 망각이 커진다.

검증·보장Guarantees

형식적 인증이 어렵고, 적대적 재학습에 취약하다.

실세계Real-world

비정상(non-stationary) 데이터, 멀티모달, 빈번한 삭제 요청이 겹친다.

07 · 연구 질문

MIA를 넘어서는 인증은 가능한가

Certification

MIA를 넘어(예: poisoning 제거) 언러닝 효능을 어떻게 인증하는가.

Fundamental Limits

대규모에서 근사 방법의 근본적 한계는 무엇인가.

Theory as Tool

DP·볼록 최적화 같은 이론 도구가 확장 가능한 근사 최적 언러닝을 어떻게 가능케 하는가.

Benchmark & Integration

실제 위협을 포착하는 벤치마크를 어떻게 설계하는가. 나아가 언러닝을 poisoning 방어·연속 학습과 어떻게 통합하는가.

08 · 접근법 · 방법론

효율 vs. 보장의 Pareto frontier

이론적·정확 방법에서 근사·실용 방법, 그리고 Kamath의 기여와 하이브리드까지.

이론적 · 정확

Theoretical / Exact
  • 매끄러운 강볼록 손실에 대한 근사 최적 순수 언러닝 (Kamath et al.)
  • 파라미터 효율 튜닝을 결합한 SISA 유형 sharding

근사 · 실용

Approximate / Practical
  • Gradient ascent + 정규화
  • Model editing
  • 증류 기반 견고화(distillation-based robustification)

Kamath의 기여

Contribution
  • Poisoning 실패 분석을 통한 평가 강화
  • DP 연계 인증(certified) 방법

하이브리드

Hybrid
  • Checkpoint 기반(MSA 연계)
  • 효율을 위한 LoRA / PEFT
09 · 주요 응용

프라이버시에서 보안, 안전, 유지보수까지

01 · Privacy

프라이버시 · 규제

사용자 데이터 삭제 요청에 대응한다.

02 · Security

보안

Poisoning attack 완화. Kamath 연구는 한계를 지적하며 개선 방향을 제시한다.

03 · Safety

AI 안전

LLM의 유해 지식을 제거한다.

04 · Maintenance

모델 유지보수

대규모 시스템에서 낡거나 편향된 데이터를 정리한다.

05 · Distributed

연합 · 연속 학습

분산 환경의 언러닝을 수행한다.

06 · Evaluation

엄밀한 평가

실제 위협을 포착하는 벤치마크로 효능을 판정한다.

10 · 미해결 문제

Poisoning 제거 실패가 중심에 있다

Poisoning 잔존Core Finding

언러닝이 poisoning을 제거하지 못한다 — Kamath et al.의 핵심 발견.

비볼록 보장Deep Models

심층 비볼록 모델에 대한 확장 가능한 인증 보장이 미비하다.

견고한 평가Beyond MIA

MIA를 넘어 실제 위협을 담는 평가 프레임워크가 필요하다.

정책 통합GenAI Policy

생성 AI 정책(저작권·안전)과의 통합이 열려 있다.

프론티어 처리성Tractability

프론티어 규모에서의 연산 처리 가능성이 관건이다.

11 · 미래 방향

엄밀성으로 로드맵을 세운다

ICML 2026 Tutorial이 이 로드맵의 이정표가 될 전망이다.

이론적 진전

볼록 최적화와 DP 확장으로 근사 최적 방법을 만든다.

견고·확장 하이브리드

증류, checkpoint arithmetic, 설계 단계 언러닝을 결합한다.

더 나은 벤치마크

Poisoning·적대적·멀티모달 평가를 확립한다.

학제적 접근

정책(디지털 기억 소거)과 실세계 배포로 확장한다.

언러닝을 AI의 면역 체계로 진화시켜, 동적이고 신뢰할 수 있는 지능 시스템을 구축한다. — Kamath 교수는 언러닝의 과장된 기대를 경계하며 엄밀한 방향을 제시한다.

↗ · 주요 출처

Kamath 관련 2025–2026

[1]Gautam Kamath — Homepage & Tutorial (ICML 2026, Unlearning Data at Scale)gautamkamath.com
[2]Machine Unlearning Fails to Remove Data Poisoning Attacks (ICLR 2025)arxiv.org/abs/2406.17216
[3]Near-Optimal Pure Machine Unlearning (manuscript, Kamath 관련)gautamkamath.com — publications 참조
[4]Curriculum Vitae & Papersgautamkamath.com/kamath-cv.pdf