7장이 “오차가 어느 예측까지 퍼지는가”를 NTK로 정의했다면, 8장은 한 걸음 더 들어간다. 그 NTK는 깊은 신경망의 각 층에서 어떤 확률분포를 갖고, 폭이 유한할 때 얼마나 흔들리며, hidden representation과 어떻게 얽히는가.
무한폭 이론에서는 NTK가 deterministic object로 self-average한다. 그러나 실제 finite-width network에서는 초기화 realization마다 NTK가 달라지고, 그 fluctuation이 preactivation fluctuation과 상관된다. 8장의 핵심은 이 복잡성을 무작정 따라가지 않고 층별 forward equation과 RG-style recursion으로 압축하는 데 있다.
첫 층의 NTK는 정확히 deterministic하다. 두 번째 층부터 variance와 NTK–preactivation cross-correlation이 \(O(1/n)\)으로 생긴다. 깊은 층에서는 이 finite-width 정보가 이전 층의 four-point interaction과 서로 영향을 주며 재귀적으로 누적된다.
이 글은 8장 전체인 §8.0 Forward Equation for the NTK, §8.1 First Layer, §8.2 Second Layer, §8.3 Deeper Layers와 §8.3.0–§8.3.3을 대상으로 한다. 원문에는 이 장의 핵심을 좌표화한 별도 Figure/Table이 없으며, 아래 SVG와 dependency table은 수식 구조를 설명하기 위해 새로 만든 개념도다.
한 network를 따라가면 복잡하고,
ensemble을 보면 질서가 생긴다
Gradient descent is practical per network; theory becomes tractable after returning to statistics.
Bayesian learning에서는 initialization distribution이 단순했기 때문에 parameter를 층별로 적분해 없애고 output distribution을 직접 얻을 수 있었다. gradient descent는 반대다. 하나의 network를 실제로 instantiate한 뒤 parameter와 output이 training data에 맞춰 함께 움직인다. 그 결과 weight, bias, activation, output은 복잡한 상관관계를 만든다.
8장은 이 난점을 “한 network의 모든 움직임을 정확히 풀자”는 방식으로 공격하지 않는다. 대신 질문을 statistical하게 바꾼다. 전형적인 network의 training behavior는 무엇이며, initialization realization에 따른 fluctuation은 얼마나 큰가를 묻는다. 평균과 분산을 통제할 수 있다면 실제 gradient-based learning을 effective theory로 설명할 수 있다는 전략이다.
7장에서 output change는 error factor와 NTK의 곱으로 분해되었다. 따라서 training 초기의 observable statistics를 이해하려면 initialization 시점 NTK의 statistics가 필요하다. 8장과 9장은 바로 이 준비를 담당하고, 실제 training dynamics의 본격적 분석은 뒤 장으로 넘긴다.
NTK에도 forward equation이 있다
The same layer-by-layer logic that propagates activations can propagate learning geometry.
7장에서 정의한 NTK를 hidden layer까지 확장하면, \(\ell\)번째 층의 preactivation에만 의존하는 observable의 변화는 \(\ell\)-layer NTK가 지배한다.
output NTK는 단지 \(\ell=L\)인 특수한 경우다. 이 정의를 통해 hidden representation의 feature value나 feature correlation 같은 observable도 gradient-based update 아래에서 어떻게 움직이는지 같은 언어로 다룰 수 있다.
learning-rate tensor도 width에 맞춰 scale해야 한다
원문은 learning-rate tensor가 서로 다른 layer의 parameter를 직접 섞지 않는다고 두고, bias와 weight parameter group마다 별도의 layer-wise coefficient를 둔다.
weight learning rate에 \(1/n_{\ell-1}\)가 붙는 이유는 weight contribution에 이전 층 neuron index를 도는 합이 하나 더 있기 때문이다. 이 normalization이 없으면 width가 커질수록 NTK scale이 불필요하게 커지고 bias와 weight contribution의 균형도 깨진다.
preactivation forward equation에서 NTK forward equation을 얻는다
MLP의 익숙한 forward equation
을 parameter와 이전 layer preactivation으로 미분해 chain rule을 적용하면, NTK가 한 층에서 다음 층으로 어떻게 전달되는지 직접 얻을 수 있다.
첫 줄은 새 layer의 parameter가 직접 만드는 NTK contribution이고, 둘째 줄은 이전 layer의 NTK가 weights와 activation derivatives를 통과해 전달되는 recursive contribution이다. activation forward equation이 feature를 전달한다면 NTK forward equation은 학습의 민감도와 geometry를 전달한다.
scale을 숨기면 이론도,
학습률도 흔들린다
A sensible large-width theory requires explicit width scaling of optimization hyperparameters.
training loss의 한 step 변화에는 \(\eta\widehat H^{(L)}\)가 곱으로 들어간다. error factor가 width와 무관하게 order one이라면, large-width limit에서 meaningful training을 유지하려면 \(\eta H\)도 order one이어야 한다.
\(\eta H\to\infty\)
higher-order terms가 무시되지 않아 small-step descent argument가 무너진다.
\(\eta H=O(1)\)
width를 키워도 비자명한 training dynamics가 유지된다.
\(\eta H\to0\)
업데이트 자체가 사라져 사실상 학습하지 않는다.
책의 width scaling을 쓰면 layer-wise \(\lambda_b,\lambda_W=O(1)\)로 두어도 NTK가 자연스럽게 \(O(1)\)이다. 반대로 naive하게 \(\lambda_{\mu\nu}=\delta_{\mu\nu}\)를 쓰면 effective-theory notation에서는 \(\lambda_W^{(\ell)}\sim n_{\ell-1}\)이 되어 NTK가 \(O(n)\)으로 커진다. 이를 보정하려면 global learning rate를 \(\eta=O(1/n)\)로 줄여야 한다.
그런데 이 보정은 bias update까지 함께 줄여 버린다. weight contribution은 살아 있지만 bias contribution은 \(1/n\)으로 눌려 bias가 심하게 under-train될 수 있다. 이 장이 width-scaled learning-rate tensor를 강조하는 이유가 여기에 있다.
backpropagation과 NTK forward equation은 서로 다른 일을 한다
output을 hidden preactivation으로 미분하면 final layer에서 시작해 chain-rule factor를 곱하며 뒤로 내려오는 recursion을 얻는다. 이것이 backpropagation의 핵심 backward equation이다. 실제 deep-learning package는 user가 forward pass를 정의하면 이 backward pass를 자동으로 구성해 gradient를 효율적으로 계산한다.
하지만 8장의 목적은 한 network에서 gradient를 빨리 계산하는 것이 아니다. initialization ensemble에서 NTK의 mean, variance, cross-correlation을 층별로 계산하는 것이다. 그래서 실전 계산은 backward pass를 쓰더라도 이론적 분석은 NTK forward equation을 사용한다. 앞에서부터 joint distribution을 누적해야 RG flow가 보이기 때문이다.
첫 층은 고요하고,
두 번째 층부터 흔들린다
The finite-width theory begins exactly where determinism first breaks.
§8.1 — 첫 층의 NTK는 완전히 deterministic하다
첫 층 preactivation은 Gaussian이고 neuron 간 interaction이 없다. 같은 parameter derivative를 NTK 정의에 넣으면 첫 층 NTK는 neural index에 diagonal이며 dataset만 주어지면 값이 완전히 결정된다.
hat을 굳이 붙일 필요가 없을 정도로 fluctuation이 없다. 첫 층에서는 서로 다른 output neuron feature 사이의 off-diagonal NTK도 0이므로 한 neuron의 feature error가 다른 neuron feature의 update를 직접 바꾸지 못한다.
더 중요한 점은 이 상태가 strict infinite-width limit의 deeper layer를 미리 보여준다는 사실이다. 그 limit에서는 preactivation은 Gaussian, NTK는 deterministic, 둘 사이 cross-correlation은 사라진다.
§8.2 — 두 번째 층은 shared randomness 때문에 stochastic해진다
두 번째 층 NTK는 두 종류의 random variable에 의존한다. 새 weight \(W^{(2)}\)와 첫 층 preactivation \(z^{(1)}\)이다. 같은 random ingredients가 두 번째 층 preactivation에도 들어가므로 NTK와 representation은 함께 흔들리기 시작한다.
mean을 계산하면 neural index에서는 여전히 diagonal이고, sample dependence를 담는 \(H^{(2)}\)만 남는다. 그러나 variance는 0이 아니다.
\(A^{(2)}\)와 \(B^{(2)}\) 자체는 \(O(1)\)이므로 NTK variance 전체는 \(O(1/n_1)\)이다. 폭을 무한히 보내면 fluctuation은 사라지지만 finite width에서는 network instance마다 learning geometry가 조금씩 다르다.
NTK와 preactivation도 서로 독립이 아니게 된다
한 개의 preactivation과 NTK fluctuation의 correlation은 0이지만, 두 preactivation의 곱과 NTK fluctuation의 correlation은 finite width에서 nonzero다. 이를 \(D^{(2)}\), \(F^{(2)}\)라는 두 tensor로 압축한다.
이 결과가 뜻하는 것은 간단하지만 중요하다. finite width에서는 어떤 representation이 만들어졌는가와 그 representation이 gradient descent에 얼마나 민감한가가 통계적으로 연결된다. infinite width에서 끊겼던 연결이 \(1/n\)에서 다시 생긴다.
깊은 층의 진짜 난점은
interlayer correlation이다
Once previous layers are non-Gaussian and the NTK fluctuates, neighboring layers can no longer be separated naively.
두 번째 층은 이전 층이 Gaussian이고 NTK도 deterministic이어서 계산이 비교적 단순했다. 깊은 층에서는 사정이 달라진다. 이전 층 preactivation 자체가 nearly Gaussian이고 neuron 간 interaction을 가진다. 여기에 NTK fluctuation까지 추가된다.
따라서 다음 층의 observable, 새 weights, 이전 층의 preactivation과 NTK가 함께 들어간 expectation이 나타난다. 구조적으로는
같은 모양이다. 이것을 매번 brute-force로 풀면 계산이 빠르게 감당하기 어려워진다.
source를 넣고 generating function으로 weights를 적분한다
원문은 weight polynomial \(P(W)\) 대신 \(\exp(\sum J_{ij}W_{ij})\)라는 generating function을 넣는다. source \(J\)로 미분한 뒤 \(J=0\)으로 보내면 원하는 weight insertion을 생성할 수 있다.
bias와 weight를 Gaussian integral로 적분하고 Hubbard–Stratonovich manipulation을 적용하면 다음 층 variable을 직접 들고 있던 복잡한 expectation을 이전 층 variable만의 expectation으로 바꿀 수 있다.
두 개의 weight insertion이 있으면 direct Wick contraction과, inserted weight가 \(O\) 안에 숨어 있는 weight와 contraction하는 항이 추가된다. 이 general formula가 뒤의 D, F, A, B recursion을 만드는 계산 엔진이 된다.
깊은 NTK는 다섯 개의 통계와
하나의 상호작용으로 닫힌다
H, D, F, A, B evolve recursively while coupling back to the preactivation vertex V.
§8.3.1 — mean \(H\)
stochastic forward equation을 평균하면 NTK mean은 모든 깊이에서 neural index에 diagonal이라는 사실이 유지된다. leading large-width order에서는 이전 층의 Gaussian expectation으로 닫힌 recursion을 얻는다.
첫 두 항은 새 layer가 직접 추가하는 학습 geometry이고, 마지막 항은 이전 layer의 NTK가 activation derivative를 통해 전달되는 효과다.
§8.3.2 — cross-correlation \(D,F\)
더 일반적인 observable \(O(z^{(\ell)})\)와 NTK fluctuation의 correlation도 결국 두 tensor \(D^{(\ell)}\), \(F^{(\ell)}\)만 알면 표현할 수 있다. 중요한 것은 dependency structure다.
representation interaction과 섞인다
다음 층의 \(D\)는 이전 층 \(D\)뿐 아니라 preactivation four-point vertex \(V\)와 mixing한다. representation non-Gaussianity가 learning-geometry correlation으로 흘러 들어오는 통로다.
leading order에서 독립적으로 흐른다
\(F\)는 이전 층 \(F\)와 mean \(H\)로 닫히며, leading order에서는 \(V,D,A,B\)와 직접 섞이지 않는다.
첫 층에서 \(D^{(1)}=F^{(1)}=0\)이고 recursion을 따라 두 tensor는 \(O(1)\)으로 유지된다. 전체 cross-correlation 앞에 \(1/n\)이 있으므로 strict infinite-width limit에서는 모두 사라진다.
§8.3.3 — variance \(A,B\)
NTK variance 역시 neural-index contraction pattern에 따라 \(A\)와 \(B\) 두 tensor로 분해된다.
\(B\) recursion은 비교적 단순하다. same-neuron contribution에서는 NTK mean이, off-diagonal neuron pair에서는 이전 층 \(B\) fluctuation이 이어진다. leading order에서 \(B\)는 다른 finite-width tensor와 mixing하지 않는다.
\(A\)는 더 복잡하다. 다음 층의 \(A\)는 새 Gaussian fluctuation term, 이전 층의 preactivation four-point vertex \(V\), 이전 층 \(A\), 그리고 cross-correlation \(D\)와 섞인다. 즉 representation non-Gaussianity와 learning-geometry variance가 서로 독립적인 두 문제가 아니다.
| Object | 무엇을 측정하나 | Leading scale | 다음 층에서 주로 의존하는 것 |
|---|---|---|---|
| \(G\) | preactivation two-point metric | \(O(1)\) | 이전 \(G\), activation statistics |
| \(V\) | preactivation four-point interaction | tensor는 \(O(1)\), connected term은 \(1/n\) | 이전 \(V\), layer nonlinearity |
| \(H\) | NTK mean | \(O(1)\) | \(G,H\), layer learning rates |
| \(D\) | same-pair-type NTK–preactivation cross-correlation | tensor는 \(O(1)\), correlation은 \(1/n\) | \(D,V,H,G\) |
| \(F\) | crossed-index NTK–preactivation cross-correlation | tensor는 \(O(1)\), correlation은 \(1/n\) | leading order에서 \(F,H,G\) |
| \(A\) | same-pair-type NTK variance | tensor는 \(O(1)\), variance는 \(1/n\) | \(A,V,D,H,G\) |
| \(B\) | crossed-index NTK variance | tensor는 \(O(1)\), variance는 \(1/n\) | leading order에서 \(B,H,G\) |
이 표가 8장의 긴 계산을 압축한다. NTK effective theory는 kernel 하나만 재귀시키는 이론이 아니다. finite width에서는 representation의 non-Gaussian interaction과 NTK fluctuation이 하나의 coupled statistical system을 이룬다.
무한폭에서는 kernel만 남고,
유한폭에서는 학습구조가 살아난다
Self-averaging is the simple limit; finite width restores stochastic interactions needed for realistic training theory.
8장의 마지막 결론은 두 줄로 요약할 수 있다. 첫째, strict infinite-width limit에서는 NTK variance와 NTK–preactivation cross-correlation이 모두 0으로 가며 NTK는 self-average한다. 어떤 network realization을 뽑아도 NTK는 ensemble mean과 같아진다.
둘째, finite width에서는 이 두 효과가 leading order에서 \(O(1/n)\)으로 남는다. 그리고 그 correction은 단순 noise가 아니라 이전 층의 representation interaction \(V\)와 결합한다. 따라서 realistic network의 learning dynamics를 설명하려면 mean NTK만으로는 부족하고 fluctuation과 cross-correlation을 함께 추적해야 한다.
이 장이 직접 확립한 것
- 01NTK forward equation. MLP preactivation forward equation에서 layer-to-layer NTK recursion을 도출했다.
- 02Width-aware learning-rate scaling. weight parameter group의 learning rate를 이전 층 폭으로 정규화해야 NTK와 global learning rate를 order one으로 유지할 수 있음을 설명했다.
- 03First-layer determinism. 첫 층 NTK는 deterministic하고 preactivation과 독립적이며 neural index에 diagonal이다.
- 04Second-layer stochasticity. 두 번째 층부터 NTK variance와 NTK–preactivation cross-correlation이 \(1/n\)으로 등장한다.
- 05Deep-layer closure. generating-function 기반 interlayer reduction을 이용해 \(H,D,F,A,B\)의 recursion을 닫았다.
- 06Infinite-width self-averaging. 모든 leading cross-correlation과 NTK variance가 \(1/n\)으로 억제되어 무한폭에서 사라짐을 보였다.
그리고 아직 하지 않은 것
8장은 training trajectory 자체를 풀지 않는다. NTK가 depth와 criticality 아래에서 구체적으로 어떻게 scale하는지도 다음 9장의 문제다. 여기서는 초기화 시점 joint distribution을 계산할 수 있는 stochastic machinery를 만들었다. 따라서 “어떤 activation과 learning-rate schedule이 deep training에 최적인가”, “finite-width fluctuation이 generalization을 얼마나 개선하는가” 같은 질문에 8장만으로 답할 수는 없다.
또한 구체 유도는 deep MLP를 기준으로 한다. 다른 architecture는 그 architecture의 forward relation을 바탕으로 NTK forward equation과 통계 recursion을 다시 만들어야 한다. 다만 원문의 larger claim은 방법론적이다. layer-stacked architecture라면 forward equation → stochastic recursion → large-width expansion이라는 분석 틀을 재사용할 수 있다는 것이다.
7장과 9장 사이에서 8장의 역할
7장은 NTK를 gradient descent의 dynamical mediator로 정의했다. 8장은 그 mediator의 확률론적 anatomy를 해부했다. 다음 9장은 이 recursion을 실제로 풀어 criticality와 depth scaling을 추출한다. 순서가 중요하다. training을 논하기 전에 먼저 “학습을 운반하는 객체가 initialization ensemble에서 어떤 분포를 갖는가”를 알아야 한다.