중심 명제
미래의 저랭크 AI는 거대한 weight를 작은 matrix 두 개로 분해하는 기술이 아니라, data·task·inference query에 맞추어 필요한 차원과 factorization을 동적으로 선택하고 효율성·추론 가능성·해석성·신뢰성을 함께 보장하는 구조적 AI compiler다.
LoRA · Tensor Decomposition · MPO · Probabilistic Circuits · Identifiability
Connecting Low-Rank Representations in AI
CoLoRAI 2026 논문군을 low-rank adaptation, LLM compression, tensorized architecture, probabilistic circuit, neurosymbolic inference, tensor-aware optimization, continual adaptation과 identifiable representation의 관점에서 통합한다.
5공식 Spotlight
12핵심 연구축
16연구질문
20Open Problems
01
전체 연구 지형
Low-rank structure를 compression, inference, optimization, continual learning과 scientific representation의 공통언어로 본다.
High-Dimensional Model/Data→Structure Profiler→Rank & Factorization→Tractable Execution→Guarantee & Monitoring
Reliable Low-Rank Intelligence =
Adaptive Factorization + Task-Aware Capacity + Tractable Computation
+ Identifiable Structure + Hardware-Aware Execution
02
Definition
행렬·tensor·adapter·circuit·식별성의 공통 개념을 정리한다.
Low-Rank Representation
고차원 행렬이나 tensor를 작은 수의 factor로 표현해 parameter, memory와 computation을 줄이는 구조다.
Singular Value Decomposition
행렬을 orthogonal basis와 singular spectrum으로 분해하고, 상위 singular direction만 남겨 최적 rank-r 근사를 만든다.
Tensor
여러 의미축을 보존하는 multiway array이며 이미지, 비디오, 추천, 신경활동과 Transformer weight를 자연스럽게 표현한다.
CP Decomposition
Tensor를 rank-1 outer product의 합으로 표현해 단순하고 해석 가능한 factorization을 제공한다.
Tucker Decomposition
작은 core tensor와 mode별 factor matrix를 이용해 각 mode의 latent basis와 interaction을 분리한다.
Tensor Train / MPS
고차 tensor를 순차적으로 연결된 작은 core들의 곱으로 표현해 exponential storage를 줄인다.
Matrix Product Operator
거대한 선형연산자나 polynomial coefficient tensor를 tensor-train 형태의 local core chain으로 표현한다.
Low-Rank Adaptation
Pretrained weight를 고정하고 저랭크 update만 학습하는 parameter-efficient fine-tuning 방식이다.
Tensor Adapter
Weight update를 tensorize한 뒤 CP, Tucker 또는 TT factor로 parameterize해 mode structure와 finer budget control을 제공한다.
Probabilistic Circuit
Sum·product node로 확률분포를 표현하고 구조조건 아래 marginalization, conditioning과 sampling을 tractable하게 수행한다.
Tractable Representation
특정 query를 representation 크기에 대한 polynomial time으로 정확하게 계산할 수 있는 구조다.
Identifiability
관측분포가 같을 때 latent factor가 permutation·scaling 같은 허용된 동치변환을 제외하고 유일하게 복원되는 성질이다.
Tensor-Aware Optimization
Parameter를 flat vector가 아니라 mode 구조를 가진 tensor로 보고 적절한 geometry와 norm으로 update direction을 계산한다.
03
Problem Definition
표현력, functional distortion, rank selection, tensorization, tractability와 robustness 간의 간극을 정의한다.
Expressivity–Efficiency Gap
Rank를 줄이면 memory와 FLOPs는 감소하지만 표현력과 downstream quality가 저하될 수 있다.
Algebraic Rank–Functional Rank Gap
Weight rank가 높아도 실제 activation distribution에서 사용되는 functional subspace는 낮을 수 있다.
Local Approximation–Global Error Gap
Layer별 reconstruction error가 작아도 upstream distortion과 nonlinearity로 end-to-end output error가 커질 수 있다.
Fixed-Rank–Fine-Grained Budget Gap
LoRA rank 한 단계가 너무 큰 parameter 증가를 만들어 저예산 regime에서 세밀한 capacity control이 어렵다.
Shared-Subspace–Task-Specificity Gap
Task 간 adapter subspace는 중복되지만 과도한 공유는 negative transfer를 만든다.
Base–New Population Interference Gap
Vocabulary·item expansion에서 base entry와 new entry의 data regime가 달라 joint training이 서로를 방해할 수 있다.
Rank Selection Gap
Layer·task·domain별 적절한 rank를 training 전에 알기 어렵고 dynamic adjustment 원리가 부족하다.
Tensorization Ambiguity Gap
동일한 matrix라도 reshape와 mode ordering에 따라 CP·TT rank와 optimization landscape가 크게 달라진다.
Flattening–Multilinear Structure Gap
Standard optimizer가 convolution, attention과 MoE weight의 고차 mode structure를 무시한다.
Exact–Approximate Inference Gap
Neurosymbolic reasoning에서 전체 exact inference는 비싸고 전체 approximation은 logical guarantee를 훼손한다.
Compactness–Tractability Gap
작은 representation이라도 contraction order와 circuit topology가 나쁘면 inference가 비쌀 수 있다.
Low-Rankness–Identifiability Gap
Compact factorization이 실제로 의미 있는 latent concept을 유일하게 복원한다는 보장은 없다.
Compression–Robustness Gap
Small-energy direction을 제거하면서 rare token, minority feature, safety signal과 OOD information을 잃을 수 있다.
04
Core Concepts
Spectral rank, subspace reuse, tensor geometry, approximation placement와 identifiable hierarchy를 정리한다.
Spectral Decay
Singular value가 빠르게 감소할수록 낮은 rank로도 원래 matrix를 잘 근사할 수 있다.
Effective Rank
Spectral energy가 실제로 몇 개 direction에 분산되는지를 entropy 기반으로 측정한다.
Stable Rank
Frobenius norm과 spectral norm의 비로 정의되며 exact rank보다 noise에 안정적이다.
Low-Rank Manifold
Rank-r matrix 집합을 smooth manifold로 보고 factor update와 manifold optimization을 구분한다.
Rank Allocation
전체 capacity budget을 layer별 spectral, sensitivity, activation, gradient와 latency 기준으로 배분한다.
Subspace Reuse
새 task update가 기존 adapter subspace 조합으로 충분히 표현되는지 평가한다.
Conditional Adapter Routing
Input·domain representation에 따라 여러 specialist adapter를 동적으로 선택·혼합한다.
Population-Specific Subspace
Base·new, frequent·rare, language·domain 등 서로 다른 data population에 별도 low-rank basis를 사용한다.
Matrix Product Operator
Bond dimension으로 polynomial interaction 또는 linear operator의 표현복잡도를 제어한다.
Polynomial Interaction
Degree-p multiplicative interaction의 coefficient explosion을 tensor factorization으로 제어한다.
Tensor-Norm Geometry
Optimizer가 사용하는 norm과 unfolding이 update direction과 inductive bias를 결정한다.
Tractable Circuit Operations
Conditioning, marginalization, product, mixture와 expectation을 구조적 circuit operation으로 수행한다.
Approximation Placement
Inference graph에서 error amplification이 작은 component만 선택적으로 근사한다.
Tensor Network as Probabilistic Model
Joint distribution을 tensor contraction으로 표현하고 bond dimension으로 dependency complexity를 제어한다.
Identifiable Latent Hierarchy
Sparse measurement와 binary latent layer를 통해 compact하면서 식별 가능한 hierarchy를 구성한다.
05
Introduction
저랭크 AI는 데이터 압축에서 adaptive, tractable, identifiable structured intelligence로 발전한다.
Stage 1 — Matrix Decomposition
PCA와 SVD로 고차원 관측을 저차원 latent space로 투영한다.
Stage 2 — Tensor Decomposition
CP, Tucker와 TT로 여러 mode의 interaction을 직접 모델링한다.
Stage 3 — Neural Weight Compression
Dense·convolution layer를 factorization해 parameter와 FLOPs를 줄인다.
Stage 4 — Parameter-Efficient Adaptation
Pretrained model을 고정하고 task-specific low-rank update만 학습한다.
Stage 5 — Low-Rank Native Architectures
Polynomial network, tensorized layer와 tensor network를 architecture 자체에 포함한다.
Stage 6 — Tractable Structured Representations
Circuit와 tensor structure로 exact probabilistic inference와 symbolic reasoning을 지원한다.
Stage 7 — Adaptive and Identifiable Low-Rank Intelligence
Rank, subspace, routing, approximation 위치와 latent meaning을 data와 task에 따라 동적으로 결정한다.
06
Motivation and Background
거대모델 비용, low-dimensional structure, continual adapter accumulation과 tractable inference가 연구를 촉진한다.
거대모델의 계산비용
Full fine-tuning은 weight, gradient, optimizer state, activation, communication과 checkpoint storage를 대규모로 요구한다.
고차원 Data의 저차원 구조
실세계 data는 적은 latent cause, 반복 pattern, shared task basis와 physical structure 때문에 effective dimension이 낮을 수 있다.
저랭크는 단순 Compression이 아님
Regularization, interpretability, parameter sharing, exact inference, continual memory와 latent discovery까지 제공할 수 있다.
Rank는 Architecture의 해상도
Rank 증가단위는 가능한 model size와 실험결론을 결정하며 finer budget step이 중요한 평가축이 된다.
Continual Learning의 Adapter 누적
Task마다 독립 adapter를 추가하면 memory가 선형 증가하므로 subspace reuse와 routing이 필요하다.
Vocabulary와 Item Space의 확장
신규 token·item·entity를 sparse observation에서 학습하면서 base embedding의 안정성을 보존해야 한다.
확률추론은 표현구조에 의해 결정
Representation은 data storage format이 아니라 어떤 probabilistic·symbolic query를 exact하게 계산할 수 있는지 결정한다.
07
Challenges
Rank selection, functional distortion, tensorization, adapter interference, tractability와 hardware realization이 핵심 난제다.
| 도전과제 | 핵심 문제 | 요구되는 방향 |
|---|---|---|
| Rank selection | 적절한 rank를 사전에 알 수 없음 | Dynamic rank·Bayesian rank |
| Layer heterogeneity | Layer별 intrinsic dimension이 다름 | Per-layer capacity allocation |
| Functional distortion | Weight reconstruction이 output 보존을 보장하지 않음 | Activation-aware·block refinement |
| Error propagation | Upstream compression이 downstream input을 변화시킴 | Shift-aware calibration |
| Tensorization | Reshape와 mode ordering에 따라 성능 변화 | Learned tensorization |
| Factor ambiguity | Scaling·rotation·permutation 비식별성 | Identifiability constraints |
| Adapter accumulation | Task 수에 따라 memory 증가 | Adapter reuse·routing |
| Negative transfer | Shared subspace가 task interference 유발 | Conditional specialist subspace |
| Vocabulary expansion | Base와 new entry의 data regime 차이 | Population-specific factorization |
| Optimizer mismatch | Flat optimizer가 tensor structure를 무시 | Tensor-aware geometry |
| Contraction complexity | 작은 tensor도 contraction이 비쌀 수 있음 | Ordering·treewidth optimization |
| Exact inference cost | Symbolic component 전체의 exact computation이 어려움 | Selective approximation |
| Approximation validity | Neural approximation이 logical guarantee를 훼손 | Certified hybrid inference |
| Robustness | Low-energy but critical direction 손실 | Tail-sensitive compression |
| Dynamic data | Rank와 subspace가 시간에 따라 변화 | Continual subspace tracking |
| Hardware realization | Parameter 감소가 실제 latency 향상으로 이어지지 않음 | Kernel·layout co-design |
| Reproducibility | Rank, tensorization, calibration set에 민감 | 표준 evaluation protocol |
| Interpretability | Factor가 실제 concept을 의미하는지 불명확 | Sparse·identifiable factors |
| Cross-domain connection | 동일 수학이 분야별 용어로 분절 | Unified abstraction |
| Theory–practice gap | 이론적 rank bound가 task quality를 충분히 설명하지 못함 | Data-dependent theory |
08
Research Questions
Intrinsic rank, dynamic capacity, tensorization, subspace reuse, exact inference와 unified rank theory를 중심으로 정리한다.
RQ1
Neural network가 실제로 사용하는 intrinsic rank를 data-dependent하게 측정할 수 있는가?
RQ2
Weight rank, activation rank, gradient rank와 task adaptation rank는 어떤 관계를 갖는가?
RQ3
모든 layer에 동일 rank를 사용하는 대신 전체 budget을 최적으로 배분할 수 있는가?
RQ4
Layer-local approximation error가 end-to-end output error로 어떻게 전파되는가?
RQ5
Tensorization과 mode ordering을 사람이 지정하지 않고 자동으로 학습할 수 있는가?
RQ6
LoRA adapter 사이의 subspace overlap을 안정적으로 측정하고 재사용 여부를 결정할 수 있는가?
RQ7
새 task가 기존 adapter 조합으로 표현 가능한지 training 전에 판단할 수 있는가?
RQ8
Vocabulary가 확장될 때 base entry와 new entry의 서로 다른 data regime를 어떻게 모델링할 것인가?
RQ9
Rank를 정수 hyperparameter가 아니라 학습 가능한 구조변수로 취급할 수 있는가?
RQ10
Tensor-aware optimizer가 matrix-aware optimizer보다 유리한 architecture와 regime는 무엇인가?
RQ11
Low-rank factor가 compression artifact가 아니라 의미 있는 latent concept임을 어떻게 검증할 것인가?
RQ12
Probabilistic circuit와 tensor network의 tractability를 하나의 공통 complexity language로 표현할 수 있는가?
RQ13
Neurosymbolic pipeline에서 어떤 node·query·subcircuit를 exact하게 유지하고 어디를 근사해야 하는가?
RQ14
Tensor-network probability model이 긴 시계열에서 dependency를 표현하면서 exact likelihood와 sampling을 유지할 수 있는가?
RQ15
Compression 이후 calibration, fairness, rare-token performance와 OOD detection을 보존할 수 있는가?
RQ16
행렬분해, tensor network, probabilistic circuit와 polynomial network를 하나의 low-rank computation theory로 통합할 수 있는가?
09
Approaches / Methods
대표 연구를 MPO, compression, tensor optimizer, neurosymbolic inference, probabilistic tensor, embedding adaptation와 adapter routing 기준으로 탐색할 수 있다.
(MPO)²
Feature embedding과 polynomial coefficient tensor를 모두 MPO로 표현해 고차 multiplicative interaction을 compact하게 학습한다.
Dynamic Low-Rank LLM Compression
Layer·matrix별 capacity를 동적으로 배분하고 block-level functional refinement로 upstream compression error를 보정한다.
Tensorion
Muon의 matrix spectral-norm update를 higher-order tensor로 확장하고 adaptive unfolding으로 tractable update를 계산한다.
Where to Approximate in Neurosymbolic Inference?
Inference graph에서 exact component와 approximate component를 선택해 computation cost와 reasoning error를 공동최적화한다.
TensorSpike
Neuron×time×trial×condition의 spike-train joint distribution을 tensor network로 표현해 tractable likelihood와 sampling을 제공한다.
Low-Rank Embedding Adaptation
Base·new vocabulary population에 별도 low-rank subspace를 사용해 sparse new entry와 base stability를 함께 보존한다.
CP Tensor Adapters
LoRA rank보다 작은 parameter step으로 low-budget PEFT capacity를 세밀하게 조절한다.
LiteLoRA
새 task가 기존 adapter subspace를 reuse할지 신규 adapter를 생성할지 learnable gating으로 결정한다.
SC-LoRA
Sparse autoencoder feature, steering prototype, specialist LoRA bank와 dynamic rank routing을 결합한다.
AA-SVD
Original output anchoring과 block-level refinement로 weight-centric SVD의 functional distortion을 줄인다.
10
Key Applications
LLM adaptation·compression, expanding vocabulary, continual learning, probabilistic reasoning, neural data와 digital twin에 적용된다.
LLM Fine-Tuning
Domain adaptation, instruction tuning, multilingual adaptation, safety steering와 multi-tenant serving.
LLM Compression
Post-training SVD, activation-aware factorization, dynamic layer rank, block reconstruction와 edge deployment.
Expanding Vocabulary
신규 전문용어, 언어 token, 추천 item, entity와 product catalog expansion.
Continual Learning
Task별 adapter 축적 방지, subspace reuse, dynamic routing와 catastrophic forgetting 완화.
Probabilistic Reasoning
Marginal·conditional inference, symbolic constraint, missing-data reasoning와 robustness query.
Neural Data Analysis
Spike-train likelihood, population coding, latent dynamics, trial variability와 brain–computer interface.
Quantum·Physics-Inspired Computing
MPS, MPO, many-body simulation, quantum state compression와 tensor-network generative model.
Scientific Data Compression
Multisensor time series, climate, transportation, cybersecurity, gravitational wave와 precision agriculture.
Digital Twin
Simulation과 observed system을 calibrated latent control structure로 연결하는 compact digital-twin modeling.
11
Open Problems
Rank discovery, functional metric, learned tensorization, exactness certificate, optimizer scaling와 trustworthiness를 해결해야 한다.
Rank Discovery
Rank를 사람이 지정하지 않고 data와 task에서 자동으로 추론해야 한다.
Rank Uncertainty
단일 최적 rank 대신 가능한 rank posterior를 모델링할 필요가 있다.
Dynamic Rank
Training과 deployment 중 필요한 capacity가 달라질 수 있다.
Cross-Layer Rank Coupling
한 layer의 rank 감소가 다른 layer의 최적 rank를 변화시킨다.
Learned Tensorization
어떤 dimension을 같은 mode로 묶을지 자동으로 결정해야 한다.
Subspace Identifiability
동일 function을 표현하는 여러 factor 중 의미 있는 factor를 선택해야 한다.
Functional Compression Metric
Frobenius reconstruction 대신 downstream behavior를 예측하는 compression metric이 필요하다.
Rare-Direction Preservation
작은 spectral energy를 갖지만 safety·long-tail task에 중요한 direction을 보존해야 한다.
Adapter Composition
여러 adapter 합성에서 rank explosion, interference와 order dependence가 발생한다.
Adapter Routing Stability
Router가 OOD input에서 잘못된 specialist를 선택할 수 있다.
Continual Subspace Drift
시간이 지나면서 task subspace overlap과 의미가 달라질 수 있다.
Embedding Population Discovery
Base/new 이분법을 넘어 frequency·domain·language별 population을 자동발견해야 한다.
Hardware-Aware Factorization
Parameter 수 감소가 실제 GPU·TPU latency 감소로 이어지지 않을 수 있다.
Tensor Contraction Planning
General tensor-network contraction ordering은 여전히 계산적으로 어렵다.
Exactness Certificate
Probabilistic circuit와 hybrid inference가 어떤 query에 exact한지 자동보고해야 한다.
Approximation Placement
Neurosymbolic pipeline에서 approximation 위치를 자동선택하는 원리가 부족하다.
Tensor Optimizer Scaling
Tensorion 같은 optimizer가 billion-scale Transformer와 distributed training에서 효율적인지 검증해야 한다.
Unified Rank Theory
Matrix rank, tensor rank, circuit width, bond dimension과 adapter rank의 공통이론이 부족하다.
Benchmark Standardization
동일 parameter budget, FLOPs, wall-clock, memory와 seed에서 비교하는 표준이 필요하다.
Compression and Trustworthiness
Compression 이후 fairness, privacy, calibration, robustness와 interpretability 변화를 평가해야 한다.
12
Future Directions
미래 CoLoRAI는 rank compiler, adapter ecology, tensor-native optimizer, tractable compiler와 certified compression으로 발전한다.
1. Low-Rank Representation Operating System
Model, data와 inference graph를 분석해 rank, factorization, hardware execution과 error monitoring을 자동화한다.
2. Rank Compiler
Factorization family, tensorization, rank, precision, sparsity, sharing, routing과 tolerance를 공동선택한다.
3. Adaptive Rank Allocation
Spectral, activation, gradient와 Hessian signal을 이용해 training 중 layer capacity를 재배분한다.
4. Population-Aware PEFT
Global, domain, language, task와 instance-specific subspace를 계층적으로 구성한다.
5. Adapter Ecology
Adapter를 생성·재사용·병합·분할·삭제되는 subspace population으로 관리한다.
6. Mechanistically Grounded Routing
Sparse autoencoder와 causal intervention으로 adapter activation 근거를 검증한다.
7. Block- and Network-Level Compression
Layer별 SVD를 넘어 residual block과 전체 network의 functional output을 공동최적화한다.
8. Certified Low-Rank Compression
Parameter, FLOP, output error, calibration drift, rare-token quality, OOD sensitivity와 hardware support를 인증한다.
9. Tensor-Native Optimizers
Parameter order와 architecture에 따라 Adam, Muon, Tensorion과 Riemannian optimizer를 자동선택한다.
10. Tractable Neurosymbolic Compiler
Reasoning graph를 exact·approximate component로 자동분할하고 query별 error bound를 제공한다.
11. Tensor-Network Foundation Models
Dense attention 대신 tensor-network state로 sequence와 multimodal data를 표현한다.
12. Identifiable Foundation Representations
Low rank에 sparsity, independence, causal measurement와 anchor condition을 결합한다.
13. Neural Tensor Compression
Entry grouping, mode ordering, quantization, factor architecture와 contraction schedule을 함께 학습한다.
14. Approximation-Aware Reasoning
Component별 error amplification을 추적해 영향이 큰 부분은 exact하게 유지한다.
15. Hardware–Factorization Co-Design
Mathematical rank뿐 아니라 accelerator tile, bandwidth, kernel과 energy를 objective에 포함한다.
16. Unified Evaluation Protocol
Task quality, parameter, compute, memory, rank, tractability, identifiability, robustness와 hardware를 표준화한다.
13
Conclusion
CoLoRAI는 weight compression에서 adaptive structural computation과 identifiable low-rank intelligence로 연구중심을 이동시킨다.
Weight Compression → Computational Representation
Low-rank factor는 parameter 절감뿐 아니라 inference, reasoning과 interpretation을 가능하게 한다.
Fixed Rank → Adaptive Capacity
Data, gradient, spectrum과 hardware budget에 따라 rank를 동적으로 배분한다.
Independent Adapter → Subspace Ecology
새 task마다 adapter를 추가하지 않고 기존 subspace를 재사용하고 필요할 때만 specialist를 생성한다.
Weight Matrix → Embedding Population
저랭크 adaptation을 지속적으로 확장되는 vocabulary와 item embedding으로 확장한다.
Matrix-Aware → Tensor-Aware Optimization
Convolution, attention과 MoE의 고차 mode structure를 optimizer geometry에 반영한다.
Compact Approximation → Tractable Inference
작은 표현뿐 아니라 어떤 query를 정확하게 계산할 수 있는지 명시한다.
Latent Compression → Identifiable Representation
Compact factor가 실제 의미와 causal structure에 안정적으로 대응해야 한다.
분절된 Tensor 기법 → Unified Low-Rank AI
LoRA, probabilistic circuit, polynomial network와 tensor network를 공통 computation theory로 연결한다.
CoLoRAI 2026의 핵심은 low-rank를 단순 압축기법으로 보는 관점을 넘는 데 있다. 저랭크 구조는 model capacity, inference complexity, continual memory, latent meaning과 hardware execution을 함께 설계하는 공통 계산원리다.
14
Sources
공식 워크숍, Spotlight, low-rank adaptation·compression, neurosymbolic inference와 tensor-network 연구 링크.
ICML 2026 CoLoRAI 페이지원문 및 프로젝트 링크CoLoRAI 2026 공식 홈페이지원문 및 프로젝트 링크CoLoRAI OpenReview원문 및 프로젝트 링크(MPO)²원문 및 프로젝트 링크Tensorion원문 및 프로젝트 링크Tensorion 코드원문 및 프로젝트 링크Low-Rank Embedding Adaptation원문 및 프로젝트 링크Low-Rank Embedding Adaptation PDF원문 및 프로젝트 링크Finer Parameter Steps for Low-Rank PEFT원문 및 프로젝트 링크AA-SVD원문 및 프로젝트 링크LiteLoRA 코드원문 및 프로젝트 링크SC-LoRA 코드원문 및 프로젝트 링크A-NeSI원문 및 프로젝트 링크A-NeSI 코드원문 및 프로젝트 링크Complexity Map of Neurosymbolic Reasoning원문 및 프로젝트 링크Probabilistic Tensor Decomposition of Neural Spiking Activity원문 및 프로젝트 링크SYN-DIGITS 소개원문 및 프로젝트 링크