Sequential Inference · Active Testing · Privacy · Kernel Tests · LLM Evaluation

Hypothesis Testing for Modern ML

ICML 2026 Hypothesis Testing 논문군을 anytime-valid inference, active evidence acquisition, privacy audit, kernel testing, LLM leaderboard, model equivalence, conformal validity와 decision-native evaluation의 관점에서 통합한다.

중심 명제

미래의 가설검정 시스템은 실험 종료 후 p-value를 계산하는 도구가 아니라, AI 시스템의 전 생애주기에서 어떤 evidence를 수집하고 언제 판단하며 무엇을 주장할 수 있는지를 통제하는 검증·감사·의사결정 인프라다.

5공식 구두발표

12핵심 연구축

16연구질문

20Open Problems

전체 연구 지형

가설검정을 사후 통계절차에서 adaptive evidence acquisition, monitoring과 deployment decision을 연결하는 시스템으로 확장한다.

Classical TestingType-I/II errorPowerEffect sizeMinimax optimality

Sequential InferenceSPRTStopping timeConfidence sequenceE-process

Active TestingQuery selectionStoppingRecommendationPure exploration

Kernel TestingMMDDependenceConditional independenceSub-quadratic algorithms

Privacy TestingDifferential privacyMembership inferenceLifecycle audit

Distribution ShiftTwo-sample testingAnomaly detectionSubgroup shift

LLM EvaluationRanking uncertaintyLeaderboard selectionSelf-consistency

AI Safety TestingJailbreak detectionGenerated-content detectionRefusal robustness

Prediction-Powered InferenceAI proxyHuman labelsBias correction

Model EquivalenceQuantizationServing enginesCompressed models

Adaptive ExperimentationBest-armBest-policyContinuous spaces

Testing InfrastructureMultiplicityBenchmark designReproducible audit

Hypothesis Registry→Power Planning→Adaptive Sampling→Anytime Monitor→Multiplicity Control→Decision

Reliable Testing for Modern ML = Finite-Sample Validity + Adaptive Evidence Acquisition + Anytime-Valid Monitoring + Computational Efficiency + Privacy and Robustness + Decision-Aware Reporting

Definition

고전적 검정에서 sequential, active, private, kernel, conformal testing까지 핵심 개념을 정리한다.

Hypothesis Testing

관측 data를 이용해 null hypothesis와 alternative hypothesis를 구분하는 통계적 의사결정 문제다.

Type-I·II Error와 Power

False positive, false negative와 실제 차이를 탐지하는 확률을 함께 관리한다.

p-value

Null hypothesis 아래 현재 관측치 이상으로 극단적인 결과가 나타날 확률이며 효과크기나 null의 사후확률은 아니다.

Sequential Hypothesis Testing

Sample 수를 사전에 고정하지 않고 data가 도착할 때마다 evidence와 stopping을 갱신한다.

Anytime-Valid Inference

Data-dependent stopping time에서도 Type-I error 또는 coverage guarantee를 유지한다.

E-value와 E-process

Null 아래 기대값이 1 이하인 evidence measure와 그 sequential process다.

Active Hypothesis Testing

Learner가 다음 observation을 얻을 query 또는 action을 직접 선택한다.

Pure Exploration

누적 reward보다 최종적으로 올바른 arm, policy 또는 recommendation을 식별하는 데 집중한다.

Two-Sample Testing

두 sample이 동일한 distribution에서 생성되었는지를 검정한다.

Maximum Mean Discrepancy

Kernel mean embedding 차이로 두 distribution의 차이를 측정한다.

Membership Inference Testing

특정 record가 model training set에 포함되었는지 검정한다.

Differentially Private Testing

검정 결과가 individual record에 과도하게 의존하지 않도록 privacy constraint를 부과한다.

Conformal Prediction

Distribution-free coverage를 갖는 prediction set을 제공한다.

Problem Definition

Adaptive analysis, model lifecycle, computation, ranking, serving stack와 proxy bias의 간극을 정의한다.

Fixed-Sample–Adaptive-Analysis Gap

현대 ML에서는 결과 확인, checkpoint 선택, prompt 탐색과 data collection 변경이 반복되어 고전 fixed-sample assumption이 깨진다.

Static-Model–Lifecycle Gap

Model은 fine-tuning, deletion, quantization과 safety patch를 거치며 계속 변화한다.

Statistical Power–Computational Cost Gap

정확한 kernel·permutation test는 높은 power를 제공하지만 대규모 data에서 계산비용이 크다.

Passive Observation–Active Query Gap

어떤 sample을 수집할지 선택할 수 있는 환경에서는 query policy, stopping과 recommendation을 함께 설계해야 한다.

Finite–Continuous Decision-Space Gap

Best-arm identification의 유한 action 가정은 dose, control, design과 hyperparameter 같은 연속공간을 다루기 어렵다.

Average Performance–Ranking Uncertainty Gap

Leaderboard 평균점수 차이가 sampling, prompt, seed와 judge variation보다 작을 수 있다.

Point Estimate–Decision Gap

최종 목표는 parameter 추정이 아니라 추가평가, deploy, rollback 또는 abstention 같은 행동일 수 있다.

Marginal Confidence–Post-Selection Gap

개별 confidence interval이 유효해도 winner 선택 후 최고라고 주장하는 사건은 별도 correction이 필요하다.

Model Weights–Serving Distribution Gap

동일 checkpoint라도 quantization, batching, kernel과 serving engine이 output distribution을 바꿀 수 있다.

Safety Score–Behavioral Robustness Gap

Automated scorer 변화와 실제 behavior 변화는 다르며 serving configuration도 safety에 영향을 줄 수 있다.

Prediction Proxy–Ground Truth Gap

AI judge와 automated metric은 저렴하지만 systematic bias를 가질 수 있다.

Benchmark Protocol–Target Capability Gap

Benchmark geometry와 class split이 target capability와 다른 현상을 측정할 수 있다.

Core Concepts

Validity, power, stopping, martingale, multiplicity, selective inference와 model equivalence를 정리한다.

Validity

Null family 전체에서 명목 Type-I error를 실제로 통제하는 성질이다.

Power

Validity를 유지하면서 실제 alternative를 탐지하는 확률이다.

Minimax Optimality

가장 어려운 alternative에서도 가능한 최적 detection rate를 달성하는지 평가한다.

Error Exponent

Sample 수가 증가할 때 오류확률이 감소하는 지수율을 나타낸다.

Stopping Time

현재까지 관측한 정보만으로 종료 여부를 결정하는 random time이다.

Confidence Sequence

모든 시점에서 동시에 coverage를 유지하는 시간가변 confidence interval sequence다.

Query–Stop–Recommend Triad

Active testing에서 data acquisition, 종료와 최종결정을 하나의 policy로 공동설계한다.

Test Martingale

Null 아래 conditional expectation이 증가하지 않는 process로 optional stopping을 안전하게 처리한다.

Multiple Comparisons

다수 model·dataset·metric을 동시에 검정할 때 FWER 또는 FDR을 제어한다.

Selective Inference

Data로 model·feature·winner를 선택한 뒤 동일 data로 inference할 때 발생하는 selection bias를 보정한다.

Observability

관측 statistic sequence로 latent state 또는 trajectory를 식별할 수 있는지를 나타낸다.

Fisher Information Contraction

Invariant transformation이 방향정보를 제거하면서 distinguishability를 낮추는 현상이다.

Model Equivalence

Parameter equality보다 unseen data에서 predictive distribution이 충분히 가까운지를 검정한다.

Representation Testing

Downstream probe 없이 class separation과 geometry를 differentiable test statistic으로 평가한다.

Introduction

가설검정은 fixed-sample test에서 decision-native statistical intelligence로 발전한다.

Stage 1 — Fixed-Sample Testing

사전에 정한 sample 수에서 하나의 null hypothesis를 검정한다.

Stage 2 — High-Dimensional Nonparametric Testing

Kernel, permutation과 random-feature 방법으로 복잡한 distribution difference를 검정한다.

Stage 3 — Sequential·Anytime-Valid Testing

Data가 지속적으로 도착하는 동안 오류율을 통제하며 판단한다.

Stage 4 — Active Testing

Learner가 가장 informative한 query와 experiment를 선택한다.

Stage 5 — Privacy·Robustness-Aware Testing

Differential privacy, contamination, model update와 distribution shift를 고려한다.

Stage 6 — ML-System Testing

Model weight뿐 아니라 quantization, batching, serving engine와 evaluation pipeline 전체를 검정한다.

Stage 7 — Decision-Native Statistical Intelligence

Testing, data acquisition, stopping, ranking, deployment와 monitoring을 하나의 의사결정시스템으로 통합한다.

Motivation and Background

작은 benchmark 차이, 반복평가, proxy label, safety, privacy lifecycle과 computation이 연구를 촉진한다.

작은 Benchmark 차이의 불확실성

상위 model 간 score 차이가 prompt, seed, dataset sampling과 judge variation보다 작을 수 있다.

AI 평가는 반복적

새 checkpoint, safety patch, prompt, serving engine과 user distribution 변화가 지속된다.

Human Label은 비싸고 AI Proxy는 풍부

Prediction-powered inference는 대량 proxy와 소량 human label을 결합해 bias를 보정한다.

Safety는 탐지문제로 정식화 가능

Benign vs jailbreak, human vs AI-generated output을 false-alarm과 detection-power가 정의된 test로 분석한다.

Model Update는 새로운 Privacy Signal을 생성

Insertion 전후 model sequence를 관찰하면 final snapshot보다 membership signal을 더 잘 분리할 수 있다.

검정도 대규모로 실행 가능해야 함

Statistical optimality뿐 아니라 computational complexity와 memory를 함께 고려해야 한다.

Challenges

Optional stopping, adaptivity, multiplicity, privacy, serving variability와 decision cost가 핵심 난제다.

도전과제	핵심 문제	요구되는 방향
Optional stopping	유리한 시점에 분석 종료	Anytime-valid inference
Adaptive data collection	이전 결과가 다음 sample을 결정	Adaptive testing theory
Multiple comparisons	Model·dataset·prompt를 다수 비교	FWER·FDR control
Post-selection	Winner 선택 후 동일 data로 주장	Selective inference
Low power	실제 차이를 탐지하지 못함	Power analysis·active sampling
Computational cost	Kernel·permutation test가 비쌈	Sub-quadratic algorithms
High dimension	Distance와 density estimation 악화	Kernel·projection·structure
Distribution shift	Test distribution이 변화	Shift-aware null
Privacy	검정 자체가 민감정보를 노출	Differentially private testing
Model lifecycle	여러 checkpoint와 update 존재	Sequential auditing
LLM stochasticity	Prompt·sampling·judge 변화	Paired hierarchical testing
Serving variability	Batch·kernel·quantization 영향	Exact-stack evaluation
Benchmark geometry	Protocol이 target ability를 왜곡	Diagnostic stress tests
Proxy bias	AI judge와 human label 차이	Prediction-powered inference
Ranking uncertainty	1위가 실제 최고인지 불명확	Winner confidence set
Conformal stochasticity	Training randomness가 validity 훼손	Conditional invariance conditions
Dependence	Sample·task·fold 간 상관	Dependence-aware testing
Reproducibility	Seed와 preprocessing 영향	Pre-registered testing plan
Effect size	p-value가 실질적 중요성을 말하지 않음	Equivalence·non-inferiority testing
Decision cost	오류 유형별 사회적 비용 차이	Decision-theoretic testing

Research Questions

Anytime validity, privacy, kernel power, continuous exploration, leaderboard uncertainty와 system equivalence를 중심으로 정리한다.

RQ1

Optional stopping과 지속적 monitoring을 허용하면서 Type-I error를 어떻게 보장할 것인가?

RQ2

Model evaluation에서 prompt, subject, seed와 judge variation을 하나의 hierarchical test로 통합할 수 있는가?

RQ3

Point ranking 대신 통계적으로 구분 가능한 winner set을 어떻게 보고해야 하는가?

RQ4

AI model의 전체 update sequence를 이용해 privacy leakage를 더 엄밀하게 감사할 수 있는가?

RQ5

Differential privacy 아래 sequential testing의 최적 sample complexity는 무엇인가?

RQ6

Kernel two-sample test의 minimax power를 유지하면서 계산량을 sub-quadratic으로 줄일 수 있는가?

RQ7

Continuous action space에서 exploration, stopping과 recommendation을 공동학습할 수 있는가?

RQ8

Active hypothesis testing의 optimal error exponent를 differential game과 PDE로 계산할 수 있는가?

RQ9

동일 model weight를 제공하는 서로 다른 serving stack이 통계적으로 동등한가?

RQ10

Quantized model이 clean model과 동일하게 행동하는지 token level에서 검증할 수 있는가?

RQ11

Automated evaluator와 소량 human label을 이용해 많은 task를 동시에 정확히 감사할 수 있는가?

RQ12

Representation quality를 downstream probe 없이 differentiable test statistic으로 평가할 수 있는가?

RQ13

Anomaly-detection benchmark가 score direction까지 안정적으로 식별하는가?

RQ14

Stochastic training을 포함하는 full conformal prediction의 정확한 validity 조건은 무엇인가?

RQ15

Training log를 covariate로 사용해 comparison uncertainty를 줄이면서 selection bias를 피할 수 있는가?

RQ16

검정결과를 reject·accept가 아니라 deploy·abstain·collect-more-data decision으로 확장할 수 있는가?

Approaches / Methods

대표 연구를 safety, privacy, sequential testing, active testing, kernel, prediction-powered inference, leaderboard와 equivalence 기준으로 탐색할 수 있다.

safety

Computational Safety for Generative AI

Jailbreak prompt와 AI-generated content 탐지를 statistical testing으로 정식화해 false alarm과 detection power를 분석한다.

privacy

Sequential Membership Inference

Model-update sequence에서 insertion 전후 loss·gradient signal을 결합해 membership을 더 강하게 감사한다.

active

Game-Theoretic Active Hypothesis Testing

Nature와 Agent의 zero-sum differential game과 HJI PDE로 optimal error exponent를 계산한다.

kernel

Minimax-Optimal Sub-Quadratic MMD

Fast kernel summation과 Fenwick-tree prefix query로 quadratic MMD의 minimax power를 유지하며 계산량을 줄인다.

active

C-ICPE

Continuous decision space에서 query, stopping과 recommendation을 task prior 위에서 in-context meta-learning한다.

privacy

DP-SPRT

Private stopping mechanism으로 sequential probability ratio test를 differential privacy 아래로 확장한다.

active

FraPPE

Preference cone이 정의하는 Pareto-optimal arm set을 Frank–Wolfe 기반 allocation으로 식별한다.

ppi

Prediction-Powered Multi-Task Inference

대량 AI proxy와 소량 human label을 nonlinear cross-task recalibration으로 결합한다.

leaderboard

Multiple Comparisons with the Best

단일 winner 대신 family-wise-error-controlled plausible-winner set을 반환한다.

llm

CITE

LLM response distribution에서 target answer가 unique mode인지 e-process와 intersection–union test로 인증한다.

equivalence

Effective-Dimension Model Equivalence

Fisher effective dimension으로 overparameterized model의 predictive equivalence sample complexity를 분석한다.

sequential

Bayesian-Assisted Confidence Sequences

Bayesian predictive model로 martingale update를 선택하면서 frequentist anytime validity를 유지한다.

representation

CLOUDSPLAT Separability Index

Within-class와 between-class distance distribution의 분리를 probe-free statistic과 training loss로 사용한다.

Key Applications

LLM evaluation, generative-AI safety, privacy, shift detection, online experiments, robotics, federated learning과 serving verification에 적용된다.

LLM Leaderboard·Model Selection

MMLU, Chatbot Arena, multi-benchmark aggregation, plausible-winner set와 prompt-level uncertainty.

Generative-AI Safety

Jailbreak detection, AI-content detection, refusal robustness, quantization-triggered behavior와 runtime monitoring.

Privacy Auditing

Membership inference, canary insertion, continual model audit, DP testing과 deletion verification.

Distribution Shift·Anomaly Detection

Two-sample test, OOD detection, subgroup shift, medical monitoring와 simulation-to-real comparison.

Online Experimentation

A/B test, adaptive rollout, clinical monitoring, early stopping과 bandit pure exploration.

Robotics·Control

Active sensing, continuous action search, safe exploration와 best-policy identification.

Federated Learning

Client-distribution similarity, adaptive information sharing와 global–local learning balance.

Compression·Serving Verification

Quantized model, serving engine, batching, custom kernel와 distilled model의 behavioral equivalence.

Open Problems

Adaptive theory, feedback, sequential multiplicity, proxy inference, serving equivalence, causal testing과 reproducibility를 해결해야 한다.

Unified Adaptive Testing Theory

Adaptive sampling, optional stopping, model selection과 repeated deployment를 하나의 이론에서 처리해야 한다.

Testing under Model Feedback

검정결과가 다음 model·user·data distribution을 변화시키는 feedback loop를 분석해야 한다.

High-Dimensional Power

고차원에서 computationally feasible하면서 minimax-optimal한 test가 부족하다.

Continuous Hypothesis Spaces

무한한 parameter·action 공간에서 exploration과 recommendation을 효율적으로 수행해야 한다.

Sequential Multiple Testing

시간에 따라 새 model, subgroup와 metric이 추가되는 상황의 FWER·FDR control이 필요하다.

Dynamic Null Hypothesis

Deployment environment가 바뀌면 정상분포 자체가 변화할 수 있다.

Test Selection Bias

여러 test 중 유리한 결과를 선택하는 research practice를 감사해야 한다.

Proxy-Based Inference

AI judge가 shared failure와 distribution shift를 가질 때 PPI validity를 유지해야 한다.

Leaderboard Governance

Point ranking 대신 confidence set, effect size와 practical equivalence를 보고하도록 표준화해야 한다.

Serving-Stack Equivalence

Batching, kernel, quantization과 hardware가 만드는 작은 distribution difference의 실질성을 정의해야 한다.

Privacy–Power Frontier

DP sequential test에서 privacy budget, stopping time과 power의 최적 trade-off가 충분히 알려지지 않았다.

Membership-Audit Threat Model

누가 model sequence, gradient, loss와 insertion time을 제어하는지 현실적 threat model이 필요하다.

Anytime-Valid LLM Evaluation

Open-ended response, adaptive prompt selection과 changing judge 아래 confidence sequence가 필요하다.

Correctness versus Consistency

LLM self-consistency가 높은 것이 factual correctness를 의미하지 않는 문제를 해결해야 한다.

Benchmark Geometry

Class split, prompt distribution과 representation geometry가 test result를 어떻게 결정하는지 분석해야 한다.

Stochastic Conformal Prediction

Random initialization, augmentation과 stochastic optimizer가 exchangeability에 미치는 영향을 정리해야 한다.

Causal Testing

관찰된 차이가 model intervention 때문인지 confounding 때문인지 구분해야 한다.

Human–AI Annotation Dependence

Human annotator가 AI recommendation을 본 뒤 label하면 proxy와 ground truth가 독립적이지 않다.

Reproducible Statistical Pipelines

Raw prediction, prompt, seed, stopping rule, correction법과 code를 함께 공개해야 한다.

Decision-Calibrated Testing

의료, safety, benchmark와 product에서 오류비용이 다르므로 action-specific threshold가 필요하다.

Future Directions

미래 Hypothesis Testing은 testing OS, hypothesis contract, lifecycle audit, adaptive evaluator와 evidence graph로 발전한다.

1. Hypothesis-Testing Operating System

Data·model stream, hypothesis registry, power planner, adaptive acquisition, anytime monitor와 multiplicity controller를 통합한다.

2. Machine-Readable Hypothesis Contract

Null, alternative, target population, effect size, error budget, stopping rule, multiplicity와 decision loss를 명시한다.

3. Lifecycle-Aware Model Audit

전체 checkpoint sequence에서 performance, privacy, safety, calibration, subgroup와 serving equivalence를 검정한다.

4. Test-Time Adaptive Evaluator

Uncertainty가 큰 prompt, task와 subgroup을 information gain per cost 기준으로 추가질의한다.

5. Uncertainty-Aware Leaderboard

Rank interval, plausible-winner set, pairwise equivalence graph, effect size와 practical threshold를 제공한다.

6. Testing-Native AI Safety

Guardrail을 null model, adversarial alternative, statistic, power, false-alarm budget과 escalation policy로 구성한다.

7. Privacy Audit Digital Twin

Canary insertion과 model-update simulation으로 privacy leakage를 deployment 전에 평가한다.

8. Computation-Aware Testing Compiler

Accuracy requirement, dimension, sample size와 compute budget에서 exact·approximate·sketch test를 선택한다.

9. Prediction-Powered Evaluation Platform

AI evaluator, stratified human audit, bias correction과 valid confidence interval을 통합한다.

10. Anytime-Valid Agent Monitoring

Tool call, refusal, policy violation과 success rate를 e-process로 지속감시하고 rollback을 수행한다.

11. Causal Hypothesis Testing for ML Systems

Serving stack, safety patch와 ranking policy 변경을 intervention effect로 검정한다.

12. Testable Model Cards

Confidence interval, multiplicity correction, equivalence class, OOD power와 validated deployment configuration을 공개한다.

13. Benchmark as Experimental Design

Model 차이를 가장 잘 구분하는 item을 adaptive하게 선택하되 held-out validation으로 overfitting을 방지한다.

14. Evidence Graph

각 claim을 dataset, sampling, test statistic, assumptions, evidence와 deployment decision에 연결한다.

15. Testing Foundation Model

다양한 sequential task prior에서 query, stopping과 recommendation을 meta-learning하되 finite-sample validity를 유지한다.

16. Unified Evaluation Protocol

Validity, power, stopping time, computation, adaptivity, multiplicity, privacy, ranking과 decision quality를 표준화한다.

Conclusion

가설검정은 p-value 계산에서 adaptive, computational, lifecycle-aware decision infrastructure로 연구중심을 이동시킨다.

Fixed-Sample → Anytime-Valid Monitoring

Optional stopping을 허용하는 confidence sequence와 e-process가 필요하다.

Passive Analysis → Active Evidence Acquisition

가장 informative한 query와 experiment를 직접 선택한다.

Static Model Audit → Lifecycle Audit

Model sequence, retraining, fine-tuning과 serving-stack change가 새로운 privacy·safety signal을 만든다.

Statistical Optimality → Statistical–Computational Optimality

Power뿐 아니라 대규모에서 실행 가능한 시간·memory complexity가 필요하다.

Point Leaderboard → Uncertainty-Aware Frontier

Top-1 대신 statistically indistinguishable plausible-winner set을 보고한다.

Automated Metric → Prediction-Powered Valid Inference

AI evaluator를 truth로 간주하지 않고 human label로 bias를 보정한다.

Model Weight → Deployed-System Evaluation

Batching, quantization, kernel과 serving engine까지 실제 stack을 검정한다.

Reject-or-Accept → Decision-Native Testing

Deploy, reject, abstain, collect more data, escalate와 rollback으로 확장한다.

ICML 2026 Hypothesis Testing의 핵심은 더 많은 p-value를 계산하는 데 있지 않다. Adaptive sampling, optional stopping, privacy, computation, deployment stack과 decision cost를 함께 고려해 AI claim의 유효성과 행동가능성을 지속적으로 관리하는 데 있다.

Sources

공식 워크숍, 구두발표, sequential·privacy·active testing, LLM benchmark와 model-equivalence 원문 링크.