AdaptFM 2026 논문군을 elastic architecture, input-aware routing, test-time compute, speculative decoding, KV-cache adaptation, quantization, multimodal inference, agentic orchestration, systems optimization와 runtime governance의 관점에서 통합한다.
Resource adaptation을 static compression이 아니라 model, cache, decoding, sensor, runtime와 hardware를 연결하는 closed-loop system problem으로 본다.
Resource-adaptive inference, elasticity, conditional computation, speculation, KV cache, quantization과 agent routing을 정리한다.
학습된 parameter와 input에서 output을 계산하는 과정으로, 전통적으로 모든 input에 동일 architecture·depth·precision을 적용한다.
Input difficulty, hardware state, latency, memory, energy와 safety constraint에 따라 실행 configuration을 동적으로 선택하는 inference다.
Efficiency는 고정 configuration의 resource 대비 quality이며, adaptivity는 input과 environment에 따라 configuration 자체를 바꾸는 능력이다.
더 적은 resource로 동일 quality를 내거나 동일 resource로 더 높은 quality를 내는 대안이 없는 configuration 집합이다.
하나의 model 내부에 여러 width, depth, rank, expert, precision과 resolution configuration을 중첩한 구조다.
한 번의 training으로 edge, mobile, server와 maximum-quality configuration을 모두 지원하는 model이다.
Input별로 일부 layer, expert, token, attention edge, KV entry와 reasoning branch만 실행하는 방식이다.
Input 난이도에 따라 실행 layer 수를 조절하거나 일부 block을 반복·생략하는 방식이다.
Reasoning token, rollout, branch, verification과 search budget을 input별로 다르게 배정하는 방식이다.
Confidence, hidden-state convergence, answer stability와 marginal utility를 이용해 reasoning을 중단하는 전략이다.
작은 drafter가 candidate token을 제안하고 target model이 여러 token을 병렬검증하는 decoding 가속기법이다.
Draft length, branch, tree depth와 verification frequency를 query와 hardware budget에 맞게 조절한다.
Autoregressive transformer가 이전 token의 key·value를 저장해 반복계산을 줄이는 memory structure다.
Token, head, dimension 또는 phase 단위로 cache를 제거, 양자화, 요약하거나 low-rank로 재구성한다.
Weight와 activation을 낮은 bit representation으로 변환해 memory bandwidth와 storage를 줄이는 방식이다.
Weight reconstruction error보다 downstream activation, behavior, alignment와 safety 보존을 우선한다.
Image–query pair에 따라 resolution, patch, frame, visual token과 backbone depth를 동적으로 조절한다.
Planning, retrieval, coding, verification와 formatting step마다 다른 model tier와 memory budget을 선택한다.
Budget heterogeneity, FLOPs–latency, reasoning allocation, cache, compression, multimodal resolution와 trajectory routing의 간극을 정의한다.
Datacenter, mobile, edge, private GPU와 power-limited hardware에 동일 configuration을 적용하면 resource 활용이 비효율적이다.
평균 난이도는 같아도 query별 compute demand가 달라 쉬운 문제에는 낭비, 어려운 문제에는 부족이 발생한다.
고정 quantized·pruned model은 changing budget에 대응하려면 checkpoint 교체와 재검증이 필요하다.
Irregular sparsity, memory movement, kernel launch와 routing overhead 때문에 FLOPs 감소가 latency 감소로 이어지지 않을 수 있다.
Prefill은 compute-bound, decode는 memory-bandwidth-bound이므로 동일 layout과 kernel이 두 phase에 모두 최적이지 않다.
Reasoning token을 늘리면 duplicate, overthinking과 dead-end branch가 증가할 수 있다.
정답을 생성하기 전에 input difficulty와 marginal compute value를 추정해야 한다.
정교한 routing policy가 절감하는 compute보다 더 큰 overhead를 만들 수 있다.
Resource budget은 연속적이지만 layer·expert·precision option은 불연속적이다.
큰 speculative tree는 acceptance를 높이지만 draft와 verification overhead도 함께 증가시킨다.
Attention score와 recency가 final output에 미치는 실제 영향과 다를 수 있다.
Agent의 think, act, tool, observe phase마다 필요한 context가 달라 일반 cache policy가 실패할 수 있다.
Weight error가 작아도 reasoning, refusal, rare behavior와 tool use가 손상될 수 있다.
Perplexity가 유지되어도 compressed model의 alignment, calibration과 safety가 무너질 수 있다.
Scene-level question은 저해상도로 충분하지만 OCR·small object는 고해상도가 필요하다.
Sensor exposure, resolution과 frame rate가 이미 inference cost와 information content를 결정한다.
모든 upstream agent가 끝날 때까지 기다리면 multi-agent TTFT가 급격히 증가한다.
한 step의 model 선택이 이후 trajectory와 final task completion에 영향을 준다.
Low-resource mode가 refusal, calibration과 safety-critical perception을 손상할 수 있다.
한 GPU와 batch에서 최적인 policy가 다른 accelerator와 workload에서는 비효율적일 수 있다.
Budget vector, resource–quality surface, nested representation, marginal compute value, roofline, regret와 safety envelope를 정리한다.
Latency, memory, energy, generated tokens, bandwidth와 monetary cost를 하나의 multidimensional constraint로 본다.
Input, configuration과 hardware에 따른 quality를 surface로 보고 budget-feasible optimum을 선택한다.
Budget과 hardware에 따라 skip, repeat, shrink, quantize, prune, route와 decode path를 변경한다.
하나의 model이 지원하는 configuration 폭과 budget 증가에 따른 graceful·monotonic quality improvement를 의미한다.
핵심 knowledge를 작은 prefix subspace에 저장하고 추가 dimension이 세부정보를 보완하도록 학습한다.
Global budget을 query difficulty와 expected marginal return에 비례해 배분한다.
추가 reasoning, retrieval, tree expansion 또는 resolution이 제공하는 quality gain을 추가 cost로 나눈 값이다.
여러 rollout이 서로 다른 task-relevant evidence와 reasoning support를 얼마나 포함하는지 측정한다.
Looped transformer의 hidden state 변화량이 threshold 이하가 되면 computation을 중단한다.
특정 problem을 해결하는 데 필요한 최소 layer, token, branch 또는 verification budget이다.
한 번의 target verification에서 연속적으로 수용되는 draft token 수다.
Compute throughput과 memory bandwidth 중 bottleneck이 되는 요소에 따라 algorithm과 kernel을 선택한다.
Cached token의 local contribution과 downstream gradient sensitivity를 결합한 global-impact score다.
Think, act, tool, observe, answer phase마다 서로 다른 context와 cache policy를 사용한다.
Weight error가 아니라 calibration activation에서 발생하는 output error를 최소화한다.
Parameter 변화가 downstream loss와 behavior에 미치는 gradient·influence를 rank와 pruning 기준으로 사용한다.
Rank, width, resolution은 연속 knob이며 layer on/off, model tier와 precision option은 discrete knob다.
Oracle configuration과 adaptive policy가 선택한 configuration 사이의 utility gap이다.
Model load, compile, cache invalidation, expert swapping과 synchronization으로 발생하는 전환비용이다.
가장 작은 configuration에서도 보존해야 하는 refusal, policy compliance, critical perception과 calibration 범위다.
Foundation-model inference는 static compression에서 resource-adaptive AI operating system으로 발전한다.
하나의 model을 pruning·quantization해 하나의 작은 model을 만든다.
Budget별로 서로 다른 model checkpoint를 선택한다.
하나의 checkpoint에 여러 width, depth와 rank configuration을 중첩한다.
Query마다 layer, expert, token, precision과 resolution을 다르게 선택한다.
Difficulty와 uncertainty에 따라 reasoning token, rollout, branch와 verification을 조절한다.
Prefill, decode, bandwidth, thermal state, kernel과 workload shape를 runtime decision에 반영한다.
Planning, retrieval, tool use와 synthesis 단계마다 model·memory·latency budget을 재배분한다.
Model, sensor, cache, network, retrieval와 hardware를 global controller가 조정한다.
Input heterogeneity, changing resources, model-family cost, agent memory, overthinking, visual tokens, energy와 end-to-end co-design이 연구를 촉진한다.
Formatting, retrieval, arithmetic, proof, planning과 code debugging은 서로 다른 computation을 요구한다.
Request burst, concurrency, GPU sharing, memory fragmentation, thermal throttling과 energy price가 runtime budget을 바꾼다.
Budget별 checkpoint를 따로 학습하면 data pipeline, audit, storage와 patch propagation 비용이 반복된다.
Agentic workload는 반복적인 think–act–tool cycle과 긴 context로 KV memory를 지배한다.
정답이 trace에 이미 등장해도 verification과 reasoning을 불필요하게 반복할 수 있다.
고해상도 VLM에서는 visual token이 전체 context의 대부분을 차지할 수 있다.
Peak power와 heat dissipation이 accelerator throughput을 제한할 수 있다.
Top system은 speculation, quantization, cache, kernel과 serving path를 함께 최적화한다.
Resource modeling, routing, halting, speculation, KV influence, function-preserving compression, safety, fairness와 portability가 핵심 난제다.
| 도전과제 | 핵심 문제 | 요구되는 방향 |
|---|---|---|
| Resource modeling | FLOPs만으로 실제 비용 설명 불가 | Latency·memory·energy·cost vector |
| Difficulty estimation | 정답 전에 난이도 예측 필요 | Calibrated training-free proxy |
| Router overhead | 적응정책 자체가 비용 발생 | Lightweight runtime controller |
| OOD routing | 새 task에서 잘못된 configuration 선택 | Robust uncertainty estimation |
| Continuous budget control | Architecture option이 불연속적 | Nested width·rank·resolution |
| Quality predictability | Budget 감소에 따른 성능하락 불규칙 | Monotonic elastic training |
| Halting calibration | 자신 있는 오답에서 조기종료 | Verification-aware stopping |
| Overthinking | 정답 후에도 reasoning 지속 | Optimal-exit learning |
| Underthinking | 최소 reasoning floor 미달 | Difficulty-aware lower bound |
| Speculation overhead | Draft와 verification 비용 증가 | Hardware-aware tree allocation |
| Drafter staleness | RL·fine-tuning 후 target과 불일치 | Self-speculative adaptation |
| KV importance | Local attention과 final impact 불일치 | Gradient·influence scoring |
| Agent cache | Phase별 attention pattern 변화 | Phase-aware memory policy |
| Quantization error | Rare behavior와 alignment 손상 | Functional calibration |
| Calibration dependence | Private data 없이 quantization 어려움 | Calibration-free transforms |
| Sparse-kernel mismatch | FLOP 절감이 latency 감소로 연결 안 됨 | Hardware-structured sparsity |
| MoE memory | 선택되지 않은 expert도 memory 점유 | Elastic·offloaded expert storage |
| MoE load imbalance | Expert utilization uneven | Batch-aware sharing·routing |
| Prefill–decode divergence | 두 phase의 최적 layout 상이 | Phase-specific kernels |
| Multimodal token explosion | Resolution이 visual token 지배 | Query-aware resolution·pruning |
| Safety degradation | Low-resource mode에서 guardrail 약화 | Safety envelope constraints |
| Fairness degradation | Hard subgroup에 적은 compute 배정 위험 | Group-aware allocation |
| Switching cost | Model·expert 교체가 비쌈 | Cache-preserving transition |
| Hardware portability | 한 장치에서만 최적화 | Hardware-conditioned controller |
| Benchmark inconsistency | Cost definition과 setup이 상이 | Standard Pareto protocol |
Elasticity, difficulty, halting, speculation, KV memory, quantization, multimodal resolution, sensor co-design와 agent trajectory를 중심으로 정리한다.
Latency, memory, FLOPs, energy, bandwidth와 monetary cost를 하나의 resource model로 통합할 수 있는가?
하나의 checkpoint가 매우 넓은 budget 범위에서 monotonic quality degradation을 제공할 수 있는가?
Expert 선택뿐 아니라 expert width, precision과 memory residency를 함께 조절할 수 있는가?
Input difficulty를 answer generation 전에 안정적으로 예측할 수 있는가?
Reasoning을 계속할 marginal value와 계산비용을 runtime에 비교할 수 있는가?
정답 confidence가 아니라 hidden-state convergence를 이용해 안전하게 halting할 수 있는가?
Semantic duplicate rollout을 제거하면서 solution diversity를 유지할 수 있는가?
Speculative tree의 branch, depth와 draft length를 GPU와 query에 따라 동적으로 결정할 수 있는가?
Prefill과 decode에 서로 다른 MoE layout과 kernel을 적용해야 하는가?
KV token의 final-output 영향도를 저비용으로 예측할 수 있는가?
Agent의 think, act, tool과 observation phase마다 다른 cache policy가 필요한가?
Quantization 이후 perplexity는 유지되지만 alignment나 safety가 무너지는 현상을 어떻게 빠르게 검출할 것인가?
Calibration data 없이 activation-sensitive quantization을 수행할 수 있는가?
Low-rank compression에서 최적 rank를 layer별·input별로 runtime에 바꿀 수 있는가?
Image–query pair마다 최소 충분 resolution을 어떻게 예측할 것인가?
Visual token pruning의 selection overhead가 절감된 computation보다 작도록 만들 수 있는가?
Model뿐 아니라 sensor, network와 retrieval system까지 global resource controller가 조절할 수 있는가?
Agent trajectory의 각 step을 다른 model tier에 route하면서 end-to-end task quality를 보존할 수 있는가?
Resource adaptation이 minority subgroup와 safety-critical input에 불리하게 작용하지 않는지 어떻게 검증할 것인가?
Hardware가 달라져도 재학습 없이 transfer되는 adaptive policy를 만들 수 있는가?
대표 연구를 diffusion, routing, speculation, MoE, reasoning, KV cache, quantization, compression, vision, agent, sensor와 system 기준으로 탐색할 수 있다.
All-mask block의 첫 attention pass에서 top-k KV index를 찾고 모든 denoising step에 재사용해 block-diffusion sparse attention을 가속한다.
연속 transformer block 하나를 input별로 반복하는 제한된 route space로 dynamic depth를 안정화한다.
Acceptance-length surrogate와 online latency model로 hardware-aware draft tree를 best-first 확장한다.
Rank-revealing QR로 recurrent state의 effective rank를 줄여 associative-memory readout을 효율화한다.
Expert 선택과 함께 expert 내부 width를 nested하게 조절해 continuous accuracy–compute trade-off를 만든다.
Runtime expert masking으로 하나의 checkpoint가 다양한 HBM budget을 지원하도록 학습한다.
Looped transformer hidden state의 convergence를 이용해 problem difficulty에 따라 loop 수를 자동조절한다.
이미 확보된 reasoning과 중복되지 않는 residual semantic support에 compute를 우선배정한다.
Training-free difficulty proxy와 bandit allocation으로 easy query에는 적은 sampling, hard query에는 많은 sampling을 배정한다.
Reference accuracy constraint 아래 expected reasoning length를 최소화한다.
CoT에서 final answer가 처음 안정적으로 등장한 위치를 optimal exit label로 학습한다.
Prefix-aligned scoring, batch-parallel drafting과 multi-tier drafter hierarchy로 decoding을 가속한다.
Cached value의 local contribution과 downstream gradient sensitivity를 결합해 global KV importance를 추정한다.
Think, act, tool phase별 representative query를 유지해 agent trajectory 전체에 필요한 key를 보존한다.
Final residual perturbation을 근사하는 per-token score와 fused kernel로 eviction을 수행한다.
Head pre-pruning 후 선택 head에서만 expensive reconstruction scoring을 수행한다.
Layer별 adaptive codebook 두 개와 activation-weighted reconstruction으로 4-bit quantization을 최적화한다.
Representative calibration data 없이 structured transform과 adaptive rounding으로 quantization을 수행한다.
Activation-aware SVD와 backward influence를 결합해 layer별 low-rank approximation을 결정한다.
고차원 lattice structure와 specialized indexing·dequantization kernel로 vector quantization을 수행한다.
Boundary·prompt token을 보호하면서 flat region token을 merge해 SAM encoder FLOPs를 줄인다.
Ridge leverage와 directional masking으로 single-forward Top-K visual token selection을 수행한다.
Compact predictor가 image–query pair에 필요한 최소 VLM input resolution을 예측한다.
Local entropy hotspot을 중심으로 multi-scale spiral token을 구성해 input tokenization 자체를 적응시킨다.
Trajectory step type, context, complexity와 risk를 사용해 여러 model tier 중 하나를 선택한다.
Upstream agent의 partial output으로 downstream synthesis를 조기에 시작해 multi-agent TTFT를 줄인다.
Exposure, resolution와 model precision을 공동최적화해 edge vision의 information-per-cost를 높인다.
Native NVFP4 training, curated data와 framework optimization을 결합한 end-to-end cost-efficient pretraining recipe다.
Cloud serving, on-premise LLM, edge AI, long context, agents, reasoning, MoE, multimodal, RL post-training과 sustainable AI에 적용된다.
Request-level SLO, user tier, dynamic batch, expert residency와 carbon·cost-aware execution.
Single-node multi-GPU에서 tensor parallelism, expert layout, grouped GEMM과 limited HBM 최적화.
Mobile VLM, offline assistant, wearable, industrial inspection, medical edge와 smart camera.
Enterprise document, code repository, legal QA, long conversation와 research synthesis.
Planning, web research, tool calling, code execution, multi-agent debate와 workflow automation.
Mathematical proof, coding, puzzle, planning과 ARC-style adaptive computation.
Expert width scaling, pruning, sharing, masking, quantization와 energy-aware training.
Query-aware resolution, visual-token pruning, video retrieval, segmentation과 VLA robotics.
Self-speculative rollout, acceptance-aware drafting와 convergence-gated distillation.
Energy-limited inference, thermal scheduling, carbon-aware serving, sensor–model co-design와 power-capped training.
Unified resource semantics, calibration, elasticity, safety, fairness, portable speculation, cache guarantees와 reproducibility를 해결해야 한다.
Latency, energy, cost와 memory를 application 간 비교 가능한 formalism으로 정의해야 한다.
모든 configuration을 실행하지 않고 budget-optimal point를 예측해야 한다.
Router가 선택한 configuration의 expected quality와 risk를 정확히 예측해야 한다.
더 많은 resource를 사용했는데 quality가 낮아지는 inversion을 방지해야 한다.
Discrete layer·expert option을 continuous budget control로 확장해야 한다.
Latency, memory, energy와 monetary cost를 동시에 만족하는 policy가 필요하다.
Low-resource mode에서도 refusal, alignment와 critical perception을 유지해야 한다.
Difficulty proxy가 minority language와 rare task를 과소평가하지 않도록 해야 한다.
Query별 optimal reasoning length와 branch 수를 얻기 어렵다.
Incorrect answer가 일찍 안정화되면 confidence·fixed-point halting이 위험하다.
Rollout 의미중복을 빠르고 신뢰성 있게 측정해야 한다.
한 GPU에서 최적인 tree가 다른 hardware·batch에서는 비효율적일 수 있다.
RL과 continual update 후에도 drafter를 target model과 동기화해야 한다.
Cache compression이 미래 query에 미칠 worst-case 영향을 보장하기 어렵다.
Think, act, tool phase를 explicit label 없이 online으로 식별해야 한다.
Perplexity뿐 아니라 reasoning, safety, tool use와 calibration을 보존해야 한다.
Private deployment에서 representative data 없이 robust compression을 수행해야 한다.
연구용 sparsity pattern을 commodity hardware에서 실제 가속할 kernel이 부족하다.
Expert swapping과 offloading의 PCIe·network cost가 이득을 상쇄할 수 있다.
Low-resolution mode가 small object, text와 safety cue를 선택적으로 손상할 수 있다.
Sensor policy가 shortcut이나 observation distortion을 만들지 않도록 해야 한다.
Step-level 절감이 final task success와 error propagation에 미치는 영향을 평가해야 한다.
선택된 adaptive configuration이 quality와 safety constraint를 만족하는지 online 검사해야 한다.
Kernel, batch, prompt length, hardware와 power mode를 포함하는 표준 protocol이 필요하다.
미래 AdaptFM은 inference OS, resource contract, universal elasticity, Pareto compiler, semantic scheduler와 runtime governance로 발전한다.
Task profiler, budget monitor, configuration planner, execution engine, quality·safety verifier를 하나의 control loop로 통합한다.
Maximum latency, memory, energy, cost, minimum quality, safety, privacy와 allowed adaptation action을 명시한다.
Depth, width, rank, precision, experts, tokens와 resolution을 한 checkpoint에서 동시에 조절한다.
Model graph, hardware profile과 quality calibration에서 Pareto surface와 adaptive policy를 자동생성한다.
Reasoning token 수가 아니라 residual semantic gain per cost로 rollout을 scheduling한다.
Safety risk가 threshold를 넘지 않는 조건에서 quality–cost objective를 최적화한다.
Protected critical memory, phase working memory, compressed history, external latent memory와 evictable context를 분리한다.
Drafter, tree topology, draft length와 verification batch를 hardware와 request에 맞춰 자동설계한다.
Perplexity, task quality, calibration, alignment, safety, tool use와 subgroup performance certificate를 제공한다.
각 configuration이 expected error, uncertainty, cost와 predicted quality를 함께 출력한다.
Planning, retrieval, coding, formatting와 verification step을 서로 다른 model과 budget으로 실행한다.
Resolution, frame rate, transmission, precision, retrieval와 action urgency를 공동결정한다.
Workload, thermal, memory와 failure를 simulation해 policy를 production 전에 검증한다.
Fast, balanced, high quality, low energy, safety critical intent를 resource contract로 변환한다.
실제 실행 layer, expert, precision, cache, reasoning budget, hardware state와 safety check를 기록한다.
Quality, TTFT, TPOT, FLOPs, memory, energy, cost, regret, routing, safety, fairness와 portability를 표준화한다.
AdaptFM은 static compression 경쟁에서 runtime adaptation, functional preservation, hardware co-design와 quality-constrained governance로 연구중심을 이동시킨다.
한 번 압축한 model 하나가 아니라 runtime budget에 따라 architecture와 execution을 바꾼다.
Depth, width, rank, precision, experts와 token budget을 한 checkpoint에서 조절한다.
쉬운 problem에는 적은 resource를, 어려운 problem에는 더 많은 reasoning과 verification을 배정한다.
많은 rollout보다 새로운 semantic support를 제공하는 rollout이 중요하다.
Weight reconstruction보다 downstream behavior, alignment, safety와 calibration을 보존한다.
KV cache는 local attention뿐 아니라 downstream output과 agent phase를 고려한다.
Algorithm, quantization, kernel, cache, runtime, hardware와 prompt regime를 함께 최적화한다.
Sensor, network, retrieval와 co-located workload도 controller의 일부가 된다.
Agent step마다 다른 model, cache와 latency budget을 배정한다.
Low-resource mode에서도 safety, fairness와 reliability를 증명해야 한다.
공식 워크숍, elastic model, adaptive reasoning, speculative decoding, KV cache, quantization, multimodal adaptation와 agentic systems 원문 링크.