Kamath 교수는 machine unlearning의 이론적 기초(차등 프라이버시 연계, 인증된 언러닝)와 실증적 한계(poisoning attack 제거 실패)를 강조하며, 대규모 LLM·기초 모델 시대의 실용적·이론적 도전을 선도한다. 그의 작업은 언러닝을 향한 과장된 기대를 경계하고 엄밀한 방향을 제시한다.
매끄러운 강볼록 손실에서 근사 최적의 순수 언러닝을 수학적으로 보장한다.
근사 언러닝은 MIA 방어에는 효과적이지만, 데이터 오염 공격을 완전히 제거하지 못한다.
대규모 훈련 데이터셋에서 특정 데이터의 효과를 효율적으로 제거해, 모델이 그 데이터를 전혀 보지 않은 것처럼 행동하게 만드는 기술.
Kamath 교수의 관점에서 Unlearning Data at Scale은 단순한 삭제가 아니라, certified removal(수학적 보장)과 approximate methods(효율적 근사) 사이의 trade-off를 다루는 엄밀한 과정이다. Exact unlearning(이상적 재훈련과 동등)과 approximate가 핵심 구분이다.
거대한 도서관에서 특정 책을 제거하되, 선반 전체의 안정성과 책들의 상호 참조를 유지하는 정밀 외과 수술이다.
D = D_r ∪ D_f 에서 forget set D_f 의 영향을 제거한 θ_unl 을, 오라클 재훈련 모델에 근사시킨다.
훈련된 모델 θ 에서 forget set의 영향을 제거해, Retain Set으로 처음부터 재훈련한 오라클 모델과 근사시킨다. Kamath 연구는 특히 poisoning attack 제거와 대규모 심층 모델에서의 효능(efficacy)에 초점을 두고, approximate unlearning의 한계를 수학적으로 분석한다.
대규모의 본질은 명확하다. trillions of tokens 규모에서 full retraining은 불가능하므로 사후(post-hoc) 효율적 삭제가 필요하다. 목표는 프라이버시(잊힐 권리), 안전성, 데이터 위생(data hygiene)이다.
Kamath는 언러닝이 poisoning을 완전히 제거하지 못한다는 실증적 실패를 특히 강조한다.
강볼록 손실 등에서 근사 최적의 순수 언러닝을 이론적으로 보장한다.
효율적이지만 보장이 약하다. 실제 위협 제거에서 한계를 드러낸다.
데이터 오염, MIA 방어, gradient 기반 기법으로 영향을 지운다.
파라미터 효율 파인튜닝, model merging, checkpoint history(MSA 연계).
망각 효능(poisoning 제거·MIA), 유틸리티 보존, 재학습 견고성, 연산 비용.
Kamath는 ICML 2026 Tutorial에서 대규모 언러닝의 실증·이론 프레임워크를 제시한다.
2025년 이후 LLM·기초 모델의 폭발적 성장과 함께, 기존 방법들이 MIA 방어에는 효과적이지만 poisoning attack 제거 같은 실질적 threat에는 실패한다는 점이 드러난다. 이는 엄밀한 평가와 이론적 보장의 필요성을 부각한다. 언러닝은 프라이버시·저작권·AI 안전 규제(GDPR, EU AI Act) 준수를 위한 핵심 기술로 자리 잡았다.
Kamath 연구는 차등 프라이버시(DP)와 통계적 추정에서 출발해, 언러닝을 사후 데이터 삭제로 확장한다.
방대한 데이터에 의한 프라이버시 누출, 저작권·유해 콘텐츠 기억(memorization), 오염 데이터 영향 제거, 규제 준수.
Sekhari et al.(NeurIPS 2021)의 초기 작업과 Kamath의 후속 이론적 진전. 차등 프라이버시와 통계적 추정을 뿌리로 삼는다.
모델을 기억하는 뇌로 보면, 언러닝은 선택적 기억 지우기이며 AI가 윤리적·법적 성숙을 이루는 과정이다.
Kamath는 평가 벤치마크의 재고를 특히 강조한다.
근사 언러닝은 무차별(indiscriminate)·표적(targeted)·가우시안(Gaussian) 오염을 제거하지 못한다. MIA 방어로 성공을 판정하는 관행이 실질적 위협 앞에서 무력함을 드러낸다.□
Billion-parameter 모델에서 연산·저장 오버헤드가 크다.
망각 강도를 높이면 유틸리티 저하·파국적 망각이 커진다.
형식적 인증이 어렵고, 적대적 재학습에 취약하다.
비정상(non-stationary) 데이터, 멀티모달, 빈번한 삭제 요청이 겹친다.
MIA를 넘어(예: poisoning 제거) 언러닝 효능을 어떻게 인증하는가.
대규모에서 근사 방법의 근본적 한계는 무엇인가.
DP·볼록 최적화 같은 이론 도구가 확장 가능한 근사 최적 언러닝을 어떻게 가능케 하는가.
실제 위협을 포착하는 벤치마크를 어떻게 설계하는가. 나아가 언러닝을 poisoning 방어·연속 학습과 어떻게 통합하는가.
이론적·정확 방법에서 근사·실용 방법, 그리고 Kamath의 기여와 하이브리드까지.
사용자 데이터 삭제 요청에 대응한다.
Poisoning attack 완화. Kamath 연구는 한계를 지적하며 개선 방향을 제시한다.
LLM의 유해 지식을 제거한다.
대규모 시스템에서 낡거나 편향된 데이터를 정리한다.
분산 환경의 언러닝을 수행한다.
실제 위협을 포착하는 벤치마크로 효능을 판정한다.
언러닝이 poisoning을 제거하지 못한다 — Kamath et al.의 핵심 발견.
심층 비볼록 모델에 대한 확장 가능한 인증 보장이 미비하다.
MIA를 넘어 실제 위협을 담는 평가 프레임워크가 필요하다.
생성 AI 정책(저작권·안전)과의 통합이 열려 있다.
프론티어 규모에서의 연산 처리 가능성이 관건이다.
ICML 2026 Tutorial이 이 로드맵의 이정표가 될 전망이다.
볼록 최적화와 DP 확장으로 근사 최적 방법을 만든다.
증류, checkpoint arithmetic, 설계 단계 언러닝을 결합한다.
Poisoning·적대적·멀티모달 평가를 확립한다.
정책(디지털 기억 소거)과 실세계 배포로 확장한다.
언러닝을 AI의 면역 체계로 진화시켜, 동적이고 신뢰할 수 있는 지능 시스템을 구축한다. — Kamath 교수는 언러닝의 과장된 기대를 경계하며 엄밀한 방향을 제시한다.