사후 곡선 적합에서 예측 가능한 학습제어로
진정한 scaling theory는 큰 모델의 성능곡선을 사후적으로 맞추는 이론이 아니라, 어느 scale에서 무엇을 학습하고 언제 불안정해지며 최소 비용으로 목표성능에 도달하도록 학습정책을 바꾸는 이론이다.
Scaling Laws · Spectral Optimization · Feature Learning · Numerical Dynamics
High-Dimensional Learning Dynamics
ICML 2026 HiLD 워크숍의 논문군을 바탕으로 scaling law, 하이퍼파라미터 전이, optimizer 동역학, loss landscape, feature learning, grokking, architecture-dependent scaling, 저정밀도 학습과 test-time verification을 하나의 연구 지형으로 재구성한다.
166+공개 논문 항목
14Spotlight 연구
9핵심 연구축
15미래 연구방향
00
검토 범위와 분석 원칙
공식 워크숍 페이지, OpenReview, 공개 일정 데이터, arXiv와 프로젝트 원문을 교차 검토하고 동역학적 연구축으로 재구성한다.
전체 논문군
Scaling, optimization, spectrum, feature learning, grokking, MoE·SSM·diffusion, numerical efficiency를 포함한다.
메커니즘 중심 종합
Order parameter, regime change, stability, spectral geometry, compute frontier의 공통구조를 분석한다.
재현성 유의
일부 수치는 preprint의 저자 보고 결과이며 production-scale 독립 재현이 필요하다.
01
전체 연구 지형
HiLD는 모델 크기와 최종 loss를 넘어 optimizer, spectrum, feature, architecture, precision과 inference compute의 상호작용을 다룬다.
Scaling LawCompute-optimalData scalingInference frontier
Hyperparameter TransferμPMSSPLR transfer
Optimizer DynamicsMuonMomentumShampoo
Loss LandscapeHessian spectrumRiver-valleyEoS
Feature LearningNeural LoFiFeature ODE
GrokkingDelayed generalizationMetastability
Architecture ScalingMoESSMDiffusion
Precision & EfficiencyLow-bitBFloat16
Test-Time ScalingCoverageVerifier ROC
Architecture→Parameterization→Optimizer Geometry→Feature Dynamics→Stability Regime→Scaling Frontier→Closed-Loop Control
02
Definition
고차원 학습동역학을 scaling law, hyperparameter transfer, scale-stable parameterization, spectral optimizer, feature learning과 grokking의 결합으로 정의한다.
고차원 학습동역학
큰 parameter·data·batch·time 극한에서 loss, spectrum, feature와 margin의 집단적 변화를 연구한다.
스케일링 법칙
Model, data와 compute 증가에 따른 loss·capability의 변화를 표현한다.
하이퍼파라미터 전이
작은 proxy model의 최적 learning rate·batch를 큰 모델로 안전하게 이전한다.
Scale-Stable Parameterization
폭·깊이·expert 수가 변해도 activation과 update를 안정적으로 유지한다.
Loss Landscape
Gradient, Hessian, flat·sharp direction, river-valley와 edge of stability를 분석한다.
Spectral Optimizer
Gradient singular direction을 학습단계에 따라 강조·평탄화한다.
Feature Learning
내부 representation이 task에 맞게 변화하고 low-degree feature가 계층적으로 합성된다.
지연 일반화
Training set 암기 뒤 장기간 후 갑작스러운 일반화 전환이 발생한다.
임계 배치
Batch 증가의 병렬 이득이 총 계산비용 증가를 상쇄하지 못하는 경계다.
Training update:
θ(t+1) = θ(t) − η(t) P(t) ĝ(θ(t))
Scaling law:
L(X) = L∞ + A X^(−α)
Multivariate scaling:
L(P,D,C) = L∞ + A P^(−α) + B D^(−β) + G C^(−γ)
03
Problem Definition
작은 모델·단순분포·짧은 학습에서 관찰한 동역학을 큰 모델·복잡한 데이터·장기학습으로 정확하게 외삽해야 한다.
Scale Extrapolation Gap
작은 scale의 exponent와 regime가 큰 scale에서도 유지된다는 보장이 없다.
Optimization–Stability–Compute
빠른 진행, 안정성, FLOP, memory와 wall-clock을 동시에 최적화해야 한다.
Architecture-Dependent Scaling
Transformer 규칙이 MoE, SSM, diffusion, GCN과 LoRA에 그대로 적용되지 않는다.
Numerical vs Mathematical Dynamics
Finite precision이 보존법칙을 깨고 실제 학습상전이를 왜곡할 수 있다.
Hyperparameter Transfer Gap
Layer bottleneck, horizon, stability edge와 data spectrum 때문에 전이가 실패할 수 있다.
Feature Learning–Lazy Gap
고정 kernel 이론으로 representation 변화와 depth advantage를 설명하기 어렵다.
Data Order as Optimization
Document packing, burst, repetition과 curriculum이 representation bias를 만든다.
Verification Imperfection
Verifier ROC와 generator coverage가 맞지 않으면 test-time compute가 낭비된다.
Distillation Geometry
Student가 teacher distribution뿐 아니라 noise–sample pairing까지 복제할 수 있다.
Observed dynamics = {Loss, Hessian, Gradient spectrum, Features, Generalization, Stability, Compute}
Core extrapolation problem: Dsmall → Dlarge
04
Core Concepts
고차원 극한, scaling regime, parameterization, spectral geometry, river-valley, neural collapse, implicit bias와 horizon-free optimization이 핵심이다.
High-Dimensional Limit
N, D, P가 커지되 비율이 유한하게 유지되어 macroscopic state variable로 학습을 기술한다.
Scaling Regime & Phase Transition
Critical scale 전후로 exponent와 지배 메커니즘이 바뀐다.
Parameterization as Dynamical Design
초기화와 layer-wise LR가 scale별 feature movement를 설계한다.
Spectral Geometry
Hessian eigenvalue와 gradient singular value가 학습속도와 instability를 결정한다.
River-Valley Geometry
Sharp transverse direction과 느린 low-loss river direction을 분리한다.
Neural Collapse
Class feature와 classifier가 simplex ETF 구조로 정렬된다.
Spectral Shaping
Gradient singular spectrum에 exponent를 적용해 update bias를 변화시킨다.
Low-Degree Feature Learning
낮은 차수의 상관관계를 반복 발견·합성해 고차 feature를 만든다.
Implicit Bias
Optimizer, initialization, data order와 precision이 여러 minimum 중 특정 해를 선택한다.
Horizon-Free Optimization
총 step을 미리 몰라도 어느 시점에서든 쓸 수 있는 schedule을 설계한다.
Coverage–Verifier Geometry
Sample 수보다 generator가 verifier convergence region을 얼마나 덮는지가 중요하다.
05
Introduction
Scaling 연구는 경험적 곡선측정에서 exponent 추정, 메커니즘 분석, 구조별 scaling, 제어 가능한 closed-loop system으로 발전한다.
Empirical Scaling
Model, data, compute 증가에 따른 성능개선을 측정한다.
Exponent Estimation
Power law exponent와 compute-optimal frontier를 추정한다.
Mechanistic Scaling
Optimizer, spectrum, feature와 data geometry로 exponent를 설명한다.
Architecture-Aware Scaling
Transformer, MoE, SSM, diffusion과 graph model의 차이를 분석한다.
Controlled Scaling
이론으로 LR, batch, precision, optimizer와 data mixture를 조절한다.
Closed-Loop Scaling
실시간 telemetry로 scaling prediction과 training policy를 수정한다.
06
Motivation and Background
대규모 실험비용, 이론–현실 간극, optimizer-dependent scaling, feature emergence, data structure와 시스템효율 차이가 연구를 촉진한다.
대규모 실험비용
큰 모델에서 LR, batch, weight decay와 architecture를 직접 grid search하기 어렵다.
이론–현실 간극
Convex, squared-loss, infinite-width와 real arithmetic 가정은 실제 pretraining과 다르다.
Optimizer-Dependent Scaling
동일 model과 data라도 SGD, Adam, Muon과 Shampoo의 scaling curve가 다를 수 있다.
Feature Emergence
Capability는 평균 loss보다 특정 sample·model threshold에서 불연속적으로 출현할 수 있다.
구조화된 Data
Frequency, domain mixture, order, repetition, noise와 covariance가 exponent를 바꾼다.
시스템효율 ≠ 통계효율
Iteration, FLOP, wall-clock, memory, communication과 energy를 분리해 평가해야 한다.
07
Challenges
Universality, finite-width correction, multi-axis scaling, regime detection, numerical precision, transfer uncertainty와 theory–production gap이 핵심 난제다.
| 도전과제 | 핵심 문제 | 해결 방향 |
|---|---|---|
| Universality vs Architecture Dependence | 공통원리와 구조별 예외 분리 | 공통 order parameter와 구조별 correction |
| Finite-Width Correction | Infinite-width 결과의 실제 scale 오차 | Finite-size scaling |
| Multi-Axis Scaling | P, D, B, T, depth, sparsity, precision 동시 변화 | Scaling surface |
| Regime Change Detection | 학습단계별 최적 optimizer 변화 | Online phase telemetry |
| Numerical Precision | 저정밀도의 systematic drift | Precision-aware theory |
| Transfer Uncertainty | LR 외삽오차가 divergence 유발 | Confidence interval와 safety margin |
| Data-Dependent Scaling | Covariance와 noise가 exponent 변경 | Data geometry-aware law |
| Optimizer State Cost | Matrix, memory, communication 비용 | Wall-clock·energy 분석 |
| Mechanistic Identifiability | 같은 loss spike의 다중 원인 | Intervention diagnostic |
| Evaluation Bias | Fitting range와 irreducible loss 민감성 | 표준 uncertainty report |
| Theory–Production Gap | Synthetic 결과의 LLM 전이 불명확 | Cross-scale bridge |
| Train–Test Integration | Pretraining과 inference compute 별도 최적화 | Lifetime objective |
| Reproducibility | 비용 때문에 반복실험 부족 | Telemetry sharing |
08
Research Questions
Exponent 결정요인, universality, transfer, spectral shaping, feature emergence, grokking, critical batch와 closed-loop control을 중심으로 정리된다.
RQ1
Scaling exponent는 model size, data spectrum, optimizer와 feature hierarchy 중 무엇이 결정하는가?
RQ2
어떤 law가 보편적이고 어떤 law가 architecture-specific인가?
RQ3
작은 모델의 hyperparameter를 큰 모델로 안전하게 전이할 조건은 무엇인가?
RQ4
최적 parameterization의 기준은 maximal update인가 scale invariance인가?
RQ5
Optimizer는 어떤 spectrum을 언제 강조해야 하는가?
RQ6
Momentum의 실제 이점은 iteration, critical batch와 noise filtering 중 무엇인가?
RQ7
Feature는 어떤 sample·model scale에서 출현하는가?
RQ8
Grokking의 서로 다른 메커니즘을 어떻게 구분할 것인가?
RQ9
Training order가 representation bias에 어떤 인과효과를 주는가?
RQ10
Low precision은 어떤 보존법칙을 깨뜨리는가?
RQ11
Critical batch size를 online으로 예측할 수 있는가?
RQ12
Verifier가 불완전할 때 최적 test-time sample 수는 얼마인가?
RQ13
Distillation student는 언제 teacher mapping을 복사하는가?
RQ14
총 horizon을 몰라도 compute-optimal schedule을 만들 수 있는가?
RQ15
Scaling theory를 closed-loop training controller로 전환할 수 있는가?
09
Approaches / Methods
대표 연구를 수치동역학, 전이, optimizer, architecture, feature·grokking, test-time scaling과 efficiency 기준으로 탐색한다.
Grokking or Glitching?
Floating-point absorption이 gradient zero-sum 구조를 깨고 Numerical Feature Inflation을 만드는 과정을 분석한다.
Test-Time Verification via Optimal Transport
Generator coverage, verifier ROC, sampling sub-optimality의 세 regime을 제시한다.
Fast Learning Rate Transfer
Sketched linear regression에서 optimal LR이 loss보다 빠르게 안정화되는 조건을 분석한다.
Quantifying Hyperparameter Transfer
Fit, extrapolation robustness, asymptotic penalty의 세 지표를 제안한다.
Momentum in River-Valley Landscapes
Momentum이 sharp oscillation을 완화해 river 방향 진행을 가속하는 기하를 설명한다.
Training-History Anticipation
Bursty class order가 미래 class loss를 미리 낮추는 implicit bias를 만든다.
Maximally Scale-Stable MoE
MoE aggregation dynamics까지 안정화하는 MSSP를 제안한다.
Diagonalizing the Softmax
Hadamard initialization으로 cross-entropy dynamics를 spectral scalar dynamics로 축소한다.
DynMuon
학습단계에 따라 singular spectrum exponent를 동적으로 변화시킨다.
Capacity Scaling of Spectral Optimizers
Associative memory에서 Muon과 SGD의 capacity, critical batch와 recovery를 비교한다.
Neural Low-Degree Filtering
Layer별 low-degree spectral filtering과 nonlinear lifting으로 feature learning을 모델링한다.
Compute Efficiency and Serial Runtime
Momentum의 compute frontier와 critical batch 확장을 분리해 분석한다.
Why Are DMD Students Lazy?
고차원 geometry 때문에 student가 teacher의 noise–sample pairing을 복제하는 현상을 설명한다.
Anytime Pretraining
총 horizon을 몰라도 usable checkpoint를 제공하는 schedule과 averaging을 제안한다.
Normalized Steepest Descent
Norm geometry와 normalized update를 이용해 scale과 곡률에 강건한 학습을 분석한다.
Shampoo / SOAP Parameterization
Matrix preconditioning과 scale-stable parameterization의 상호작용을 연구한다.
MoE Router Dynamics
Router freezing, expert imbalance, aggregation scaling과 recovery를 분석한다.
Mamba and State-Space Dynamics
Causal Volterra structure와 adapter injection site에 따른 scaling을 연구한다.
Diffusion Scaling and Collapse
Layer collapse, mode collapse와 masked diffusion의 recursive scaling을 분석한다.
Grokking Phase Transitions
Memorization competition, noise-driven escape와 capacity threshold를 비교한다.
BFloat16 and Low-Bit Dynamics
Optimizer state와 EMA quantization이 stability와 convergence에 미치는 영향을 분석한다.
| 대표 연구 | 핵심 설계 | 연구적 의미 |
|---|---|---|
| Grokking or Glitching? | Floating-point absorption과 gradient invariant 위반 | Loss spike를 수치동역학으로 재해석 |
| Optimal-Transport Verification | Coverage–ROC–suboptimality geometry | Test-time scaling의 유효조건 분해 |
| Hyperparameter Transfer | Fit, robustness, asymptotic penalty | 전이를 위험평가로 확장 |
| MSSP-MoE | Aggregation observable의 scale stability | μP를 구조별 dynamical design으로 확장 |
| DynMuon | Positive → zero → mildly negative spectral exponent | Optimizer를 phase-aware controller로 해석 |
| Neural LoFi | Low-degree direction과 nonlinear lifting | Depth와 feature emergence의 tractable model |
| Anytime Pretraining | Unknown horizon + decaying LR + averaging | Open-ended pretraining schedule |
| Momentum Runtime Tradeoff | Compute efficiency와 critical batch 분리 | Iteration과 실제 병렬효율의 차이 명확화 |
10
Key Applications
LLM pretraining, MoE, optimizer, 저정밀도, feature engineering, grokking, diffusion, test-time scaling과 과학모델로 확장된다.
대규모 LLM Pretraining
LR transfer, batch selection, horizon-free schedule, embedding LR와 data mixture.
Mixture-of-Experts
Expert width·수, router stability, sparse aggregation, distillation과 recovery.
Optimizer 설계
Muon, DynMuon, Shampoo, SOAP, normalized descent와 adaptive state.
저정밀도 학습
Floating-point absorption, BFloat16 state, quantized EMA와 memory-efficient Adam.
Feature·Representation
계층적 emergence, invariant learning, GCN, LoRA compression과 neural collapse.
Grokking·Generalization
Delayed generalization, capacity threshold, memorization competition과 compute horizon.
Generative Models
Diffusion distillation, layer·mode collapse, score matching과 masked diffusion scaling.
Test-Time Scaling
Verifier-aware sampling, inference compute allocation와 guardrail clustering.
과학·생물·시계열
Intrinsic dimension, neural PDE solver, noisy time series와 scientific foundation model.
11
Open Problems
Unified order parameter, finite-width theory, multi-axis surface, phase-aware optimization, precision theory, energy scaling과 production reproducibility가 미해결이다.
Unified Order Parameter
Loss, Hessian, feature alignment, effective rank와 margin 중 무엇이 가장 보편적인가?
Finite-Width Theory
Infinite-width 결과를 실제 모델의 정량 예측으로 변환해야 한다.
Multi-Axis Scaling Surface
Parameter, data, depth, batch, sparsity, precision과 horizon을 동시에 다뤄야 한다.
Phase-Aware Optimization
학습단계 전환을 감지하고 update geometry를 자동 변경해야 한다.
Scaling-Law Uncertainty
Exponent와 compute-optimal point에 confidence interval과 OOD warning이 필요하다.
Architecture Transfer
Transformer insight가 MoE, SSM, diffusion과 graph model에 얼마나 전이되는지 불명확하다.
Data Quality Scaling
Quantity 중심 법칙을 품질, 중복, noise, diversity와 temporal order로 확장해야 한다.
Numerical Precision Theory
Floating-point를 perturbation이 아닌 학습동역학 구성요소로 통합해야 한다.
Spectral Optimizer Generalization
Synthetic 이론이 실제 Transformer와 distributed training에서 유지되는지 검증해야 한다.
Critical Batch Prediction
Gradient noise와 Hessian spectrum으로 online 효율경계를 예측해야 한다.
Grokking Taxonomy
여러 grokking 메커니즘을 관측 가능한 diagnostic으로 구분해야 한다.
Training-Order Causality
Data order가 representation과 generalization에 주는 효과를 인과적으로 검증해야 한다.
Verifier-Aware Inference
Verifier ROC가 변할 때 inference budget을 online 조절해야 한다.
Energy Scaling
FLOP, communication, memory movement와 실제 에너지를 함께 모델링해야 한다.
Production Reproducibility
Seed, hardware, compiler와 precision 차이를 포함하는 표준이 필요하다.
12
Future Directions
미래 scaling 연구는 multi-axis surface, scaling-law compiler, closed-loop controller, numerical invariant monitoring과 energy-aware observatory로 발전한다.
1. Multi-Axis Scaling Surface
L = F(P, D, C, B, depth, experts, sparsity, horizon, quality, precision)
2. Scaling-Law Compiler
Architecture
├─ Width and depth rules
├─ Parameter initialization
├─ Layer-wise learning rates
├─ Batch-size prediction
├─ Optimizer-state precision
├─ Critical-scale warnings
└─ Expected scaling regimes
3. Closed-Loop Training Controller
u(t) = π(L, ||∇L||, λmax(H), Σ(G), noise scale, precision alerts)
4. Phase-Aware Spectral Optimizer
Signal discovery → positive spectral emphasis
Representation organization → orthogonalized updates
Low-curvature refinement → mild inverse shaping
Generalization consolidation → averaging / decay
5. Numerical-Invariant Monitoring
Class-gradient zero sum, normalization statistics, update-to-weight ratio와 state range 위반을 실시간 감지한다.
6. Training-Stream Model
s(t+1) = F(s(t), Batch(t)); Batch(t+1) = CurriculumPolicy(s(t))
7. Feature Emergence Atlas
Feature
├─ Minimum data scale
├─ Minimum model scale
├─ Required depth
├─ Optimizer sensitivity
├─ Emergence time
├─ Interference partners
└─ Retention under fine-tuning
8. Causal Scaling Laws
Embedding LR → Training Stability → Transfer Quality
9. Stability Digital Twin
Small surrogate run
↓
Spectrum and noise telemetry
↓
EoS / critical batch / precision risk
↓
Large-run forecast
↓
Proceed / revise / abort
10. Unified Train–Test Compute
min Ctrain + Nqueries Ctest subject to Qsystem ≥ Qmin
11. Regime-Change Early Warning
r(t) = [Δλmax, Δrank(G), Δmargin, Δfeature alignment, Δgradient noise]
12. Energy-Aware Scaling
Etotal = Ecompute + Ememory + Ecommunication
13. Scaling Benchmark Protocol
Fitting range, scale 수, seed, confidence interval, precision, wall-clock, energy와 extrapolation test를 표준 보고한다.
14. Theory-Guided Architecture Search
a* = argmax [Expected Quality(a,C) − λ Uncertainty(a)]
15. Foundation Model Observatory
Training Run
├─ Architecture scale
├─ Data composition
├─ Optimizer and schedule
├─ Spectrum telemetry
├─ Precision events
├─ Loss and capabilities
└─ Compute / energy
13
Conclusion
HiLD는 단순 power law를 넘어 optimizer, feature, architecture, precision과 compute를 포함하는 동역학적 scaling으로 연구목표를 이동시킨다.
Power Law → 동역학적 Scaling
Exponent는 optimizer, data geometry, feature hierarchy와 precision의 결과다.
최종 Loss → 학습경로
같은 loss라도 stability, feature, representation과 compute efficiency는 다르다.
고정 Optimizer → Phase-Aware Controller
학습단계에 따라 spectral bias, momentum과 learning rate를 바꾼다.
무조건적 Transfer → 조건부 Transfer
Horizon, stability edge, layer bottleneck과 data spectrum을 고려한다.
실수산술 → 실제 수치시스템
Finite precision은 새로운 instability와 phase-like behavior를 만든다.
Model Scaling → System Scaling
Parameter, data, batch, precision, memory, communication과 inference compute를 통합한다.
Predictable Learning at Scale = Mechanistic Scaling Laws + Stable Parameterization + Spectral Optimization + Feature-Dynamics Modeling + Numerical and Compute Awareness
14
Sources
공식 워크숍, OpenReview, spotlight 연구와 공개 구현의 원문 링크.
ICML 2026 HiLD 워크숍Official virtual pageHiLD 2026 공식 홈페이지Workshop scope and programHiLD 2026 Call for PapersResearch topicsHiLD 2026 OpenReviewAccepted papersGrokking or Glitching?Numerical Feature InflationTest-Time Verification via Optimal TransportCoverage and verifier geometryFast Learning Rate TransferScale transferQuantifying Hyperparameter TransferTransfer metricsMomentum in River-Valley LandscapesMomentum and geometryTraining-History AnticipationData-order biasMaximally Scale-Stable MoEMSSPDiagonalizing the SoftmaxHadamard initializationDynMuonDynamic spectral shapingCapacity Scaling of Spectral OptimizersAssociative-memory scalingNeural Low-Degree FilteringFeature-learning theoryCompute Efficiency and Serial RuntimeMomentum and critical batchWhy Are DMD Students Lazy?Distillation geometryAnytime PretrainingUnknown-horizon schedulesMSSP-MoE CodeImplementationDynMuon CodeImplementationNeural LoFi CodeExperimentsOT Verification CodeResampling