긴 문맥의 기억은 처음부터 모두 열어 두는 편이 낫지 않다

Transformer는 기억을 키우고, RNN은 기억을 압축한다

Softmax attention은 sequence의 각 token을 key–value 형태로 보존하는 lossless memory에 가깝다. context가 길어질수록 memory size가 선형으로 커지고, attention 계산은 sequence length에 대해 quadratic cost를 갖는다. retrieval에는 유리하지만 긴 문맥에서 비용이 커진다.

현대 recurrent model은 반대 선택을 한다. 고정 크기 hidden state에 history를 압축하므로 token당 decoding cost는 일정하고 전체 계산량은 linear 또는 sub-quadratic이 될 수 있다. 대신 무한히 길어질 수 있는 context를 고정 state에 넣어야 하므로 training length를 넘어서는 length extrapolation에서 약점이 나타난다.

초반 token은 압축되지 않고, 후반 token은 덮어쓰기와 싸운다

저자들이 강조하는 새 관점은 무엇을 쓰느냐보다 언제 쓰느냐이다. memory가 거의 비어 있을 때 도착하는 초기 token은 capacity 경쟁이 없어서 과도한 degree of freedom을 쓸 수 있다. 이 단계의 optimization은 compact summary를 학습하기보다 초기 샘플을 그대로 맞추는 방향으로 흐를 수 있다.

반대로 후반 token은 이미 많은 정보를 담은 state와 경쟁한다. 새 association을 기록할수록 기존 association을 overwrite하거나 interference를 일으킬 가능성이 커진다. 그 결과 fixed-memory recurrent model은 initial token에 편향되고 later context를 흡수하는 능력이 약해질 수 있다는 것이 논문의 문제 설정이다.

초반에는 일부러 좁게, 뒤로 갈수록 넓게

Proteus는 sequence 초반에 capacity bottleneck을 만들어 history를 요약하도록 강제하고, context가 진행될수록 사용하지 않았던 memory block을 단계적으로 연다. 논문의 Figure 1은 locked memory, activated memory, past memory를 구분하면서 context chunk가 진행될 때 active subset이 점점 커지는 과정을 보여 준다.

이 설계에서 중요한 점은 memory 자체가 커지는 것이 아니라는 사실이다. total capacity는 고정되어 있고, 그중 어느 subset이 현재 read/write에 참여하는지만 바뀐다. 모든 block은 결국 활성화되며 activation은 monotone하다.

Associative memory는 key를 value에 연결하는 최적화 문제이다

key 집합 \(K\subseteq\mathbb{R}^{d_k}\), value 집합 \(V\subseteq\mathbb{R}^{d_v}\)가 있을 때, memory operator \(M(\cdot)\)는 key를 value로 매핑한다. 내부 objective \(\widetilde{\mathcal L}\)를 최소화하는 memory는 다음처럼 쓸 수 있다.

sequence modeling에서는 입력 \(x_t\)로부터 보통 \(k_t=x_tW_k\), \(v_t=x_tW_v\), \(q_t=x_tW_q\)를 만든다. 여기서 tilde가 붙은 loss는 full model의 outer training loss가 아니라, memory가 key–value association을 학습하기 위한 내부 objective다.

이 관점의 장점은 서로 달라 보이는 architecture를 같은 좌표계에 놓는 데 있다. objective, optimizer, memory parameterization을 어떻게 고르느냐가 architecture를 결정하며, attention과 recurrent memory는 context compression spectrum의 서로 다른 위치로 해석된다.

각 token은 state에 쓰이는 하나의 optimization step이다

온라인 memory는 token이 하나씩 들어올 때 update와 read를 반복한다.

gradient는 현재 key–value association이 기존 memory와 얼마나 어긋나는지 나타내는 surprise signal처럼 읽을 수 있다. 이 generic form에서 update objective와 optimizer를 바꾸면 여러 memory architecture가 나온다.

Proteus가 바꾸는 것은 objective도 optimizer도 아니다

논문은 step \(t\)에서 update와 read에 참여하는 memory parameter 수를 effective capacity라고 부른다. 전체 capacity를 \(C\), 시점별 active subset을 \(c(t)\le C\)라고 하면 Proteus는 이 \(c(t)\)를 context position에 따라 schedule한다.

중요하게도 이 axis는 memory objective, optimizer, memory architecture와 orthogonal하다. 같은 gating principle을 Hebbian, delta, Titans 같은 서로 다른 update rule에 그대로 붙일 수 있다는 일반성이 여기서 나온다.

Nested Learning 관점에서는 parameter 자체도 memory로 볼 수 있다

논문은 Nested Learning 관점을 받아들여 gradient-based MLP update도 associative memory의 한 형태로 본다. 각 layer는 local error signal을 value처럼 받아 parameter에 sample contribution을 쓴다.

저자들은 이 관점 전체를 새로 증명하려는 것이 아니라, recurrent state에 적용한 incremental activation을 MLP parameter subset에도 적용할 수 있는 근거로 사용한다.

capacity control의 고전적 논리를 sequence position으로 옮긴다

autoencoder와 model-selection 연구에서 bottleneck이 task-relevant structure를 남기는 데 도움이 된다는 생각은 오래됐다. Proteus는 이를 online sequence의 위치축에 적용한다. early position에서 full capacity를 주면 initial sample을 fit하기 쉽고, late position에서는 이미 saturated state 때문에 interference가 커진다. 따라서 적절한 capacity는 sequence 초반과 후반에 같을 이유가 없다는 주장이다.

Capacity-Scheduled Associative Memory

activation operator \(G_t\)는 step \(t\)에서 memory parameter 일부만 선택한다. indicator \(g_t\in\{0,1\}^{\dim(M)}\)를 두고 active subset을 \(M_{t-1}^{(g)}:=G_t(M_{t-1})\)라고 정의하면 update는 다음과 같이 제한된다.

inactive component는 update되지 않을 뿐 아니라 read에도 참여하지 않는다. 그리고 값은 그대로 보존된다. 이것은 매 step 새 memory를 optimization하는 것이 아니라, 하나의 online trajectory에서 active set만 점점 커지는 과정이다.

fixed-size memory의 일부 coordinate block만 노출한다

matrix-valued memory \(M\in\mathbb R^{d_k\times d_v}\)에서는 row나 column group 같은 contiguous block을 capacity unit으로 사용할 수 있다. Proteus는 total memory를 늘리지 않고 block activation만 schedule한다. 또한 pruning처럼 capacity를 영구 제거하지 않는다. activation은 monotone하며 마지막에는 모든 block이 열린다.

memory를 \(E\)개의 같은 크기 block으로 나눈다

Proteus는 memory parameter를 \(E\)개의 contiguous block으로 partition한다. mask는 active block의 parameter만 1로 만든다.

write는 active component에만 gradient를 적용하고, read 역시 active subspace에서만 수행한다.

저자들은 modern neural memory가 대체로 linear map 또는 MLP로 parameterize되어 있기 때문에 이런 multiplicative gating만으로 effective capacity를 제어할 수 있으며, 추가 parameter나 memory를 요구하지 않는다고 설명한다.

context가 한 구간 진행될 때마다 block을 하나씩 더 연다

maximum context length를 \(N\), block 수를 \(E\), memory dimension이 \(E\)로 나누어 떨어진다고 할 때 block size는 \(d=\dim(M)/E\)이고 unlock interval은 다음과 같다.

step \(t\)에서 active block 수는

이며 prefix mask는 첫 \(k(t)d\)개 coordinate만 활성화한다. 따라서 \([1,\Delta]\)의 token은 memory의 첫 \(1/E\), 다음 구간은 \(2/E\), 이런 식으로 점점 큰 fraction을 읽고 쓴다.

실험에서는 training context length를 \(N=8\mathrm{K}\)로 두고 evaluation에서도 같은 schedule을 유지한다. 8K를 지나면 이미 full memory가 활성화되어 이후 16K, 32K에서는 추가 unlock이 발생하지 않는다. 이 사실은 뒤의 length-extrapolation 결과를 해석하는 데 중요하다.

gradient를 모두 흘리지 않고 active parameter에만 쓴다

generic parameter update에 schedule mask를 곱하면 다음과 같다.

AdamW에서도 같은 원리로 gradient와 moment update가 gated된다. 논문은 bias-corrected first/second moments \(\hat m,\hat v\), decoupled weight decay를 유지하면서 active parameter만 update하도록 작성한다.

attention 뒤의 MLP chain을 시간적으로 활성화한다

Hope architecture는 Transformer와 유사한 attention backbone을 가지면서, post-attention MLP 하나 대신 서로 다른 update frequency를 가진 MLP block chain을 둔다. 논문은 다음 관계를 사용한다.

Proteus는 각 block parameter update에 Equation (14)의 mask를 적용해 training이 진행될수록 MLP parameter를 점진적으로 활성화한다. 저자들은 이 부분을 별도 핵심 기여라기보다 recurrent memory 밖으로 원리를 확장하는 lightweight proof of concept로 위치시킨다.

objective와 optimizer를 바꾸지 않고 exposure schedule만 바꾼다

이 점이 Proteus의 실용성을 설명한다. model-specific memory rule을 새로 고안하지 않는다. SWLA의 update rule, Comba의 control structure, Titans의 momentum/forgetting, Hope-Attention의 MLP chain은 그대로 두고, 현재 position에서 어느 block이 읽고 쓰는지 제한한다.

FineWeb 8K training, 760M/1.3B 두 scale

평가 backbone은 Hope-Attention, SWLA, Comba, Titans 네 계열이다. reference baseline으로 Transformer++, RetNet, DeltaNet도 보고한다. 별도 언급이 없으면 Proteus block 수는 \(E=16\)이다.

16K에서는 이미 unlock이 끝났는데도 이득이 남는다

training schedule은 8K 안에서 full memory activation을 끝낸다. 따라서 16K 평가에서 Proteus가 더 좋은 것은 8K 이후 추가 block을 열었기 때문이 아니다. 저자들은 이를 early bottleneck 아래에서 형성된 cleaner, better-compressed state가 training window 밖에서도 더 천천히 degrade하는 증거로 해석한다.

SWDE, SQuAD, FDA retrieval에서 긴 context일수록 격차가 커진다

\(E=1\)은 baseline, \(E=16\)이 최소 perplexity

Appendix A는 \(E\in\{1,4,8,16,32\}\)를 비교한다. \(E=1\)이면 block이 하나라 처음부터 full memory가 활성화되므로 원래 base model과 동일하다. perplexity는 \(E=1\)에서 \(E=8\)까지 빠르게 좋아지고 \(E=16\)에서 최저가 되지만 \(E=32\)에서는 다시 악화된다.

이 비단조성은 논문의 메커니즘 가설과 맞는다. partition이 더 세밀해지면 early bottleneck이 강해져 compression이 좋아지지만, 너무 세밀하면 첫 token이 memory의 1/32만 쓸 수 있어 필요한 정보까지 지나치게 압축하게 된다.

초반 성능을 희생해서 후반을 얻는 trade-off는 관찰되지 않았다

Figure 4는 Titans와 Titans+Proteus의 validation perplexity를 token index별로 비교한다. Proteus는 모든 position에서 더 낮은 perplexity를 보이며, gap은 schedule이 진행될수록 커져 memory가 full-active가 되는 8K 부근에서 가장 크다. 8K 이후에는 더 이상 block이 unlock되지 않지만 advantage는 서서히 줄어들 뿐 32K까지 양수로 유지된다.

Proteus는 새로운 memory rule보다 ‘capacity exposure’라는 별도 축을 추가한다

Related Work는 linear attention, RetNet, RWKV, S5에서 시작해 input-dependent transition, delta rule, Mamba 계열, Gated Delta, Comba, deep memory, momentum-based Titans, nonlinear recurrence, OmegaNet, Oja rule 등으로 이어지는 recurrent sequence modeling 흐름을 정리한다.

또 최근 log-linear attention과 Memory Caching처럼 effective memory가 sequence length와 함께 실제로 커지는 architecture를 구분한다. Proteus는 fixed-size state를 유지하면서 parameter activation만 늘리므로 이들과 orthogonal하며, 두 방식을 결합하는 것이 future direction으로 제시된다.

Mixture-of-Depths는 compute를, Proteus는 memory capacity를 배분한다

conditional computation, adaptive computation time, early exit, Mixture-of-Depths, Mixture-of-Recursions는 모든 token에 동일한 계산을 쓰지 않는다는 점에서 Proteus와 닮았다. 그러나 이들은 Transformer에서 token별 compute depth를 조절하고, Proteus는 recurrent state의 memory capacity를 position에 따라 조절한다.

또 Mixture-of-Recursions의 routing은 learned, data-dependent인 반면 Proteus의 schedule은 현재 fixed function of position이다. 저자들은 MoR에서 recursion depth가 token의 contextual predictability를 따라간다는 결과를 근거로, 향후 Proteus도 content-dependent activation policy로 확장할 수 있다고 본다.

모델 capacity를 균등하게 배분하는 것이 항상 최선은 아니다

고전적 capacity control과 minimum-description-length, over-parameterization에서 memorization이 generalization을 해칠 수 있다는 연구가 Proteus의 논리적 배경이다. 가장 가까운 최근 예로 Tapered Language Models는 fixed parameter budget 아래에서 earlier layer에 더 많은 capacity, later layer에 더 적은 capacity를 두는 non-uniform allocation을 제안한다. Proteus는 layer depth가 아니라 context position을 따라 capacity를 schedule한다.

Hopfield에서 fast-weight programmers까지 이어지는 계보

논문은 associative memory를 Hopfield network의 energy-minimization 관점까지 거슬러 올라가 설명한다. dense associative memory와 modern Hopfield network는 storage capacity를 키웠고, attention과의 이론적 연결도 제시돼 왔다. Schmidhuber의 fast-weight programmer는 slow network가 fast network의 weight를 생성하고 sequence를 처리하게 하는 관점을 정립했다.

이 계열에서 Hebbian learning과 delta rule은 key–value association을 쓰는 대표적 update rule이며, Proteus는 이 rule 자체를 바꾸지 않고 active parameter subset을 schedule한다.

네 architecture에서 공통으로 나타난 개선은 allocation principle의 가능성을 지지한다

저자들은 SWLA, Comba, Titans, Hope-Attention에 동일한 incremental activation을 넣었고, standard language modeling과 reasoning뿐 아니라 long-context retrieval, NIAH, LongBench에서 개선을 보고한다. 특히 context가 길고 base model이 취약한 조건에서 gain이 커지는 패턴이 반복된다.

한 architecture의 특수한 update rule을 바꾼 것이 아니라 여러 memory design에 같은 scheduling mechanism을 적용했다는 점에서, 저자들은 성능 이득이 특정 architecture보다 capacity를 context에 어떻게 배분하는가에서 비롯된다고 해석한다.

논문이 스스로 적어 둔 세 가지 한계

fixed schedule 다음에는 learned activation, growing memory, inference-time stretching이 남는다

강한 결론과 아직 열려 있는 결론을 구분해야 한다

기억을 잘하는 모델이란 ‘많이 저장하는 모델’이 아니라 ‘늦게까지 빈 자리를 남기는 모델’일 수 있다

long-context modeling에서 capacity는 흔히 총량으로 논의된다. 몇 개 token을 넣을 수 있는가, hidden state가 얼마나 큰가, KV cache가 얼마나 늘어나는가를 묻는다. Proteus는 여기에 시간이라는 축을 하나 더 넣는다. 같은 capacity라도 sequence 초반에 다 열어 쓰는 것과 후반을 위해 일부를 비워 두는 것은 서로 다른 optimization problem을 만든다.

이 아이디어의 매력은 단순함에 있다. 새 memory를 발명하지 않고 memory의 사용 순서만 바꾼다. 하지만 단순하다는 이유로 결론까지 단순해지는 것은 아니다. 가장 흥미로운 후속 질문은 오히려 이제부터다. 어느 token에서 어떤 block을 열어야 하는가, content surprise와 activation을 연결할 수 있는가, training 때의 bottleneck과 inference 때의 context extension을 어떻게 함께 설계할 것인가. Proteus는 그 질문을 위한 최소한의 실험적 출발점이다.

논문의 87개 참고문헌 중 논지의 축을 이루는 문헌

첨부 PDF에는 총 87개의 참고문헌이 수록돼 있다. 본문에서는 related-work 전 범주를 모두 설명했으며, 아래에는 Proteus의 문제 설정·associative-memory 관점·long-context benchmark·최근 memory architecture와 직접 연결되는 핵심 문헌을 추렸다. 전체 87개 bibliography는 원문 PDF의 pp. 13–17에 있다.