같은 계산 예산에서, 같은 층을 두 번 통과하면 더 나은가

파라미터 절약과 계산 절약은 같은 말이 아니다

Looped Transformer는 하나의 layer block을 여러 번 실행해 effective depth를 늘린다. 저장되는 unique weights는 그대로지만 각 토큰은 더 많은 layer execution을 거친다. 예컨대 12개 physical layer를 반복해 24개 layer execution을 만들면 저장 파라미터는 12층 규모일 수 있어도, FLOPs와 KV cache는 24층에 가까워진다.

따라서 기존의 “같은 parameter count에서 looped 모델이 더 좋다”는 비교는 구조적 이득과 추가 계산을 섞을 수 있다. 반대로 FLOPs만 맞추기 위해 looped 모델을 더 작게 만들면 unique parameter capacity를 희생하게 된다. 논문이 정의하는 핵심 research gap은 세 자원 경계를 동시에 통제한 multi-scale 비교가 부족했다는 데 있다.

Middle 50% × 2, 그리고 세 방향의 보정

모든 모델은 decoder-only Transformer이며 FFN은 sparse MoE로 구성된다. 각 MoE layer는 토큰마다 top-8 expert를 선택하고 attention은 grouped-query attention(GQA)을 사용한다. 반복 구간의 각 sublayer residual update에는 \(1/r\)을 곱한다. SMELT에서는 \(r=2\)이므로 두 visit의 correlated update가 residual stream을 과도하게 키우지 않도록 각 update를 절반으로 스케일한다.

여기서 \(L\)은 physical depth, \(m\)은 반복되는 contiguous span의 layer 수, \(r\)은 visit 횟수이다. 12개 physical layer 가운데 중간 6개를 두 번 실행하면 \(L_{\mathrm{eff}}=18\)이 된다.

200M, \(S\approx95\%\) 예시

MoE의 “sparsity”를 FLOPs 관점으로 다시 정의한다

MoE는 저장 parameter와 활성 parameter가 다르다. 저자들은 fully active unlooped control의 FLOPs \(F_0\), non-embedding parameter \(N_0\)를 기준으로 compute-equivalent active parameter를 정의한다.

따라서 \(S=0\)은 “SMELT가 모든 expert를 활성화한다”는 뜻이 아니다. fully active Baseline과 같은 per-parameter compute intensity를 갖는 control level이라는 뜻이다. 본문의 sparse 조건은 대략 \(S\in\{85\%,95\%,97\%\}\)이다.

동일 데이터, 동일 optimizer, 다른 것은 loop와 budget reallocation뿐이다

Chinchilla-style law를 MoE의 FLOPs와 sparsity 축으로 확장한다

MoE에서는 total parameters 하나만으로 active compute를 표현하기 어렵다. 저자들은 parameter axis를 measured per-token FLOPs \(F\)로 바꾸고 compute-equivalent sparsity \(S\)를 capacity term에 넣는다.

Baseline과 SMELT에는 각각 독립적인 여섯 coefficient \((E,A,K,a,b,c)\)를 적합한다. total compute \(C=F\cdot D\)가 주어졌을 때 model-side compute \(F\)와 data \(D\)를 어떻게 나눌지 최적화하면 compute-optimal frontier를 얻는다.

같은 loss에 도달하는 데 target architecture가 얼마나 적은 compute를 쓰는지는 다음의 CE Gain으로 정의한다.

지원되는 sparse compute window 안에서 두 architecture를 별도로 적합한다

Scaling-law fit은 \(S\approx85\%,95\%,97\%\)의 sparse grid만 사용한다. S=0 control은 sparse regime과 달라 joint fit의 RMSE를 악화시키므로 제외한다. Baseline 72 endpoints와 SMELT 72 endpoints, 총 144 points가 \(1.3\times10^{19}\)에서 \(2.2\times10^{21}\) FLOPs 범위를 지지한다. fit은 log-loss에 Huber loss \(\delta=10^{-3}\), L-BFGS-B를 동일하게 적용한다.

\(a\)와 \(c\)가 함께 커지면서 frontier exponent는 Baseline 0.237에서 SMELT 0.250으로 올라간다. 저자들은 이를 5.5% 더 큰 \(\gamma\)로 표현하며, reducible loss가 compute에 대해 더 빨리 내려가는 근거로 제시한다.

이득은 예산 분배를 바꿔서가 아니라 같은 분배에서 더 낮은 loss를 얻어서 생긴다

\(10^{21}\) FLOPs에서 compute-optimal tokens per dense-equivalent parameter(TPP)의 point estimate는 두 architecture 사이에서 6% 이내이며 bootstrap interval이 크게 겹친다.

즉 SMELT의 compute saving은 “모델에 더 쓰고 데이터에 덜 쓴다” 같은 allocation shift의 효과가 아니다. 거의 같은 allocation에서 architecture가 더 낮은 loss를 만드는 현상으로 해석하는 편이 원문에 가깝다.

거의 모든 matched pair에서 downstream 성능이 개선된다

단순 win rate만으로는 validation loss가 낮아져 자연스럽게 benchmark도 좋아진 것인지 알 수 없다. 저자들은 96개 Baseline endpoints로 validation loss에서 각 benchmark score를 예측하는 monotone sigmoid를 fit하고, 동일 loss에서 예측되는 Baseline score보다 SMELT가 얼마나 더 나은지를 residual로 측정한다.

평균 residual은 세 benchmark와 네 scale 모두에서 positive이다. 전체 scale을 합친 residual은 DCLM Completion +8.0 millinats, DCLM Core +0.9 percentage points, MMLU +1.3pp이다. 1.6B scale에서는 각각 +12.3 millinats, +1.2pp, +1.6pp이다.

Code에서 가장 큰 compute-equivalent gain을 얻는다

\(C=10^{21}\), \(S\approx95\%\)에서 category-specific intercept를 fit해 계산한 CE Gain은 모든 validation domain에서 positive이다.

저자들은 Code의 엄격한 syntax와 long-range dependency를 이유로 “내부 구조가 강한 데이터에서 looping의 이득이 크다”는 해석을 제시한다. 다만 Baseline validation loss quartile로 다시 묶으면 Q1 18.0% → Q2 16.3% → Q3 13.8% 뒤 Q4에서 15.9%로 반등해 단조 패턴은 아니다.

긴 문맥과 demonstration이 많을수록 loop의 추가 이득이 커진다

문서를 32–4096 token의 여덟 length bucket으로 나눠 gain의 형태를 정규화하면, SMELT의 긴 네 bucket(512–4096) 평균 gain은 짧은 네 bucket(32–256)의 1.52배이다. 반면 Baseline에서 active parameters를 늘리는 control은 0.98, experts를 늘리는 control은 0.88로 긴 sample 쪽 tilt가 없다.

16개 few-shot task에서 SMELT–Baseline 평균 accuracy gap은 k=0에서 0.9pp이고, demonstration이 하나라도 제공되는 k=1에서 1.9pp로 넓어진 뒤 k=8까지 유지된다. demonstration-sensitive Dyck Languages에서는 k=32에서 29.8% 대 26.4%이다. Appendix C는 max-shot gain이 paired permutation test에서 p<0.05인 14/16 tasks의 curve를 제시한다.

core experts는 재사용하고, 나머지는 다양화한다

각 repeated MoE layer에서 token별 top-8 expert set을 visit 1과 visit 2 사이에 비교한다. S=0 control에서는 거의 8개 모두가 재사용된다. sparsity가 커져 expert candidate pool이 한 자릿수에서 수백 개로 늘어나면 S≈97%에서 overlap은 2–3개까지 떨어지지만 independent random routing보다 여전히 훨씬 높다.

두 번째 visit은 첫 번째 routing을 완전히 폐기하지 않는다. 일부 core subset을 유지하면서 나머지 expert 선택을 바꾼다.

두 번째 write는 더 크고, 첫 번째 write와 같은 방향을 향한다

S≈85%의 네 scale에서 반복 block의 layer-by-layer update norm을 보면 visit 2가 모든 layer에서 absolute update를 더 크게 쓴다. relative update 역시 200M, 600M, 1.6B에서는 일관되게 더 크고, 100M의 일부 초기 repeated layers만 비슷하거나 역전된다.

4×4 grid 전체의 eight-diagnostic 분석에서 full update, attention write, MoE write, next RMSNorm input의 visit2/visit1 norm ratio는 모두 1보다 크며 범위는 약 1.2–3.5×이다. 1.6B, S≈85%에서 동일 physical layer의 cross-visit residual-update cosine은 0.42–0.65, 평균 0.56이다. matching되지 않은 cross-visit pair 평균 0.16보다 높다.

Q/K는 유지되고 V가 더 크게 바뀐다

discrete attention position을 비교해도 같은 결론이 나온다. 같은 head의 top-8 attended-token set은 visit 사이에 56–66% 겹친다. positional context는 같지만 다른 head를 짝지은 control은 28–34%에 그친다.

Attention sink에서 demonstration answer로 질량이 이동한다

Dyck bracket-matching은 정답을 위해 prompt 안의 demonstration을 정확히 찾아야 하는 controlled task이다. 저자들은 repeated block의 attention head를 하나씩 ablate해 Dyck perplexity를 가장 크게 올리는 “Dyck head”를 scale마다 찾고, 1.6B, S≈85%, k=4 example에서 두 visit의 attention map을 비교한다.

이 현상은 Dyck에만 머물지 않는다. 1M-token held-out sample의 다섯 source category 전체에서 visit 2의 segment-start attention mass가 거의 모든 head와 repeated layer에서 감소한다. unlooped Baseline에서는 depth가 깊어질수록 sink가 강해지는 경향이 있지만, SMELT visit 2는 같은 physical depth의 visit 1보다 아래에 머문다. Appendix D는 네 scale 모두에서 이 패턴을 보여준다.

“더 많이 계산해서 이겼다”는 설명을 상당 부분 제거한다

다음 질문은 “반복할까”가 아니라 “어떻게, 언제 반복할까”이다

이 모든 후속 설계에서 중요한 검증 원칙은 SMELT가 세운 기준을 유지하는 것이다. 즉 parameter efficiency만 보거나 FLOPs만 보는 대신, 비교하려는 실제 배포 자원 경계를 명시하고 그 경계 안에서 architecture gain을 측정해야 한다.

Scaling은 크기를 키우는 법뿐 아니라 계산을 다시 쓰는 법의 문제다

Transformer의 전통적인 scale-up은 width, unique depth, data, expert count를 늘리는 방식으로 전개됐다. SMELT는 “같은 weights를 어느 depth에서 다시 실행할 것인가”라는 축을 이 공간에 추가한다. 특히 MoE가 stored capacity와 active compute를 분리할 수 있기 때문에, recurrence의 추가 FLOPs를 width와 expert pool 사이에서 재배치하는 것이 가능해진다.

다섯 문장으로 압축한 SMELT