10장의 무한폭 신경망은 완벽하게 풀렸지만 너무 잘 풀렸다. feature는 초기화에서 고정되고 학습은 그 위에서 kernel regression처럼 진행되었다. 11장은 그 단순함을 처음으로 깨뜨린다. 폭이 유한해지면 NTK가 움직이고, NTK를 이루는 feature도 데이터를 따라 움직인다.
그 변화의 최소 단위가 differential neural tangent kernel, dNTK이다. NTK가 preactivation의 leading learning dynamics를 지배했다면, dNTK는 NTK 자체의 leading dynamics를 지배한다. 그리고 criticality와 learning-rate equivalence를 이미 맞춘 뒤 dNTK의 통계량을 추적하면, 서로 다른 activation universality class에서도 representation-learning correction의 상대 크기가 다시 \(L/n\)으로 모인다.
representation learning은 “신경망이 깊다”는 사실만으로 생기지 않는다. infinite width에서는 아무리 깊어도 feature가 frozen된다. 데이터가 feature geometry를 바꾸려면 finite-width nonlinear interaction이 필요하다. 다만 어떤 feature에서 학습을 시작하는지는 여전히 depth와 architecture의 RG flow가 결정한다.
이 글은 원서 Chapter 11 “Representation Learning”, pp. 291–334만을 대상으로 한다. 해당 장에서 별도 Figure/Table 표기를 확인하지 못했으며, hero SVG와 비교표는 원문의 수식 관계를 설명하기 위해 새로 구성한 개념 시각화다.
무한폭이 버린 것을
유한폭이 되찾는다
Finite width is not a nuisance correction here; it is where feature learning first becomes possible.
앞 장의 infinite-width network는 fixed random features를 쓰는 linear model과 동등했다. training은 output coefficient를 바꾸지만 feature map은 바꾸지 못한다. 이것은 계산상 축복이지만 deep learning을 설명하는 이론으로는 치명적인 빈칸이다. 실제 deep network의 매력은 사람이 feature를 설계하지 않아도 data가 representation을 바꾼다는 데 있기 때문이다.
11장은 그래서 \(1/n\) correction을 단순한 오차항으로 취급하지 않는다. 오히려 그 안에서 deep learning의 질적으로 새로운 현상을 찾는다. output update를 global learning rate \(\eta\)의 2차까지 확장하고, NTK update는 \(\eta\)의 1차까지 확장하면, fixed kernel이 dynamical kernel로 변하기 시작하는 최소 메커니즘이 나타난다.
다만 이 장은 complete finite-width training solution을 약속하지 않는다. fully-trained distribution을 \(O(1/n)\)까지 정확히 계산하려면 output update의 \(O(\eta^3)\), NTK update의 \(O(\eta^2)\)까지 포함해야 하고 추가 tensor들도 필요하다. 그것은 다음 장의 일이다. 11장의 목적은 더 선명하다. representation learning이 어디에서 시작되는지를 최소한의 수학으로 분리해 보여주는 것이다.
NTK를 움직이는 미분,
dNTK가 등장한다
The NTK governs feature motion at first order; the dNTK governs the first motion of the NTK itself.
layer별 parameter update를 preactivation의 Taylor expansion에 넣으면 첫 항은 익숙한 NTK가 되고, 두 번째 항은 새로운 3-index object를 만든다. 이 object는 network output의 parameter Hessian과 두 개의 parameter gradient를 learning-rate tensor로 묶은 것이다.
두 번째와 세 번째 paired index는 서로 대칭이지만 첫 번째 index pair는 구별된다. 이 비대칭은 dNTK가 단순한 kernel matrix가 아니라 nonlinear response tensor임을 보여준다.
이 정의를 쓰면 preactivation의 두 번째-order update는 짧아진다.
첫 항에서 NTK가 error를 feature motion으로 바꾼다면, 둘째 항에서는 dNTK가 두 error factor의 interaction을 받아 nonlinear correction을 만든다. 더 직접적인 증거는 NTK 자체의 update다.
즉 dNTK가 0이면 leading order에서 NTK는 움직이지 않는다. infinite width에서 NTK가 frozen된다는 앞 장의 결과와 합치면, dNTK가 strict \(n\to\infty\)에서 사라져야 한다는 결론이 즉시 나온다. 11.2의 긴 계산은 이 직관을 실제 \(1/n\) scaling으로 확인한다.
“어디로 움직일까”
현재 feature geometry에서 error가 output과 hidden state를 어떻게 이동시키는지 정한다.
“geometry 자체는 어떻게 바뀔까”
parameter move가 NTK를 어떻게 바꾸는지 정하며, 그 변화가 곧 learned feature geometry의 시작이다.
첫 층에서는 0,
두 번째 층부터 상관이 생긴다
The RG flow of dNTK turns a zero first-layer object into a finite-width hierarchy summarized by P and Q.
Forward equation: propagation과 nonlinear source가 함께 있다
dNTK도 NTK와 마찬가지로 layer-to-layer stochastic forward equation을 가진다. 식 자체는 길지만 구조는 네 항으로 읽으면 된다. 하나는 이전 층 dNTK를 세 개의 next-layer weight와 \(\sigma'\)를 통해 전달한다. 다른 하나는 \(\sigma''\)와 이전 층 NTK 두 개를 곱해 새로운 nonlinear source를 만든다. 나머지 두 항은 weight learning rate, 한 개의 NTK, 한 개의 next-layer weight가 결합된 source다.
이 구조가 중요한 이유는 단순하다. 깊은 nonlinear network에서는 dNTK가 전달될 뿐 아니라 매 층 새로 생성된다. representation learning은 마지막 layer에 갑자기 생기는 현상이 아니라, architecture의 반복 구조를 따라 누적되는 interaction이다.
First layer: dNTK는 정확히 0이다
첫 layer preactivation은 parameter에 선형이다. 그러므로 parameter에 대한 두 번째 derivative가 0이고 dNTK도 identically zero다.
첫-layer NTK가 parameter와 무관한 deterministic object였던 앞선 결과와 정확히 맞물린다. 첫 layer만 보면 feature geometry를 바꿀 nonlinear curvature가 아직 없다.
Second layer: 평균보다 cross-correlation이 먼저 살아난다
두 번째 layer dNTK는 nonzero다. 그러나 각 항에 weight가 홀수 개 들어가므로 ensemble mean은 0이다. 따라서 leading signal은 dNTK 자체의 mean이 아니라 preactivation과의 cross-correlation에서 찾는다.
이 elementary cross-correlation은 neural-index contraction pattern에 따라 두 개의 sample tensor \(P^{(2)}\), \(Q^{(2)}\)로 분해된다.
\(P\)와 \(Q\) 자체는 \(O(1)\)이지만 전체 cross-correlation 앞에 \(1/n_1\)이 붙는다. 바로 여기서 representation learning의 finite-width 성격이 수치로 드러난다.
Deeper layers: P와 Q가 전체 leading effect를 압축한다
더 깊은 층에서는 one-weight와 three-weight insertion formula를 사용해 일반 observable \(O(z)\)와 dNTK의 cross-correlation을 계산한다. 결과는 의외로 경제적이다. leading \(1/n\) order에서 복잡한 dNTK correlation은 결국 \(P\)와 \(Q\)만 알면 된다. 더 높은 dNTK correlator, NTK fluctuation과 dNTK가 동시에 들어가는 mixed correlator는 이 order에서 subleading이다.
recursion의 mixing pattern도 의미가 있다. \(P\)는 NTK mean \(H\)와 NTK variance tensor \(B\)의 영향을 받고, \(Q\)는 \(H\)와 NTK–preactivation cross-correlation \(F\)의 영향을 받는다. 이전 장에서 계산한 finite-width statistics가 representation learning의 source로 다시 등장하는 셈이다.
| Object | Leading role in Ch. 11 | Mixing | Width scaling |
|---|---|---|---|
| \(P\) | dNTK–preactivation correlation의 한 contraction channel | NTK mean \(H\), variance \(B\), previous \(P\) | 전체 correlation에 \(1/n\) |
| \(Q\) | 다른 neural-index contraction channel | NTK mean \(H\), cross-correlation \(F\), previous \(Q\) | 전체 correlation에 \(1/n\) |
| higher dNTK correlators | leading theory를 완성하는 데 불필요 | 다양한 mixed structures | 이 분석 order에서 subleading |
activation이 달라도
representation correction은 \(L/n\)으로 모인다
Criticality removes exponential pathologies; dimensionless dNTK statistics reveal a shared finite-width relevance scale.
11.3에서는 초기화 hyperparameter는 §5의 criticality, training hyperparameter는 §9의 learning-rate equivalence로 이미 정해졌다고 본다. 이제 남은 질문은 하나다. 그 조건 아래 dNTK 효과가 depth와 width에 따라 얼마나 커지는가.
\(P\)와 \(Q\)는 차원이 NTK squared이므로 raw value를 그대로 비교하면 universality class 차이에 가려진다. 그래서 frozen NTK 두 개로 normalize한다.
critical exponent notation을 쓰면 두 universality class 모두 다음 관계를 만족한다.
즉 output layer에서 두 normalized effect는 모두 \(L/n\) scale이다. 9장의 NTK fluctuation과 마찬가지로 depth가 finite-width correction을 누적시키고 width가 이를 억제한다.
Scale-invariant class: \(P=0\), \(Q\) 하나가 남는다
ReLU 같은 nonlinear scale-invariant activation은 origin kink 때문에 \(\sigma''\)가 미묘하지만, integration by parts로 relevant Gaussian expectation을 정리하면 새 source들이 single-input recursion에서 사라진다. 그 결과
criticality에서 \(\chi=1\), kernel은 fixed이고, equivalence principle에 따라 bias와 weight learning rate는 전체 depth \(L\)로 normalize한다. 이때 \(Q\)의 raw critical exponent는 \(p_Q=-3\), frozen NTK는 \(p_\Theta=-1\)이고, 결국 \(Q/[n\Theta^2]\sim\ell/n\)이 된다.
\(K^\star=0\) class: \(P\)와 \(Q\)가 둘 다 살아 있다
tanh·sin 계열을 포함하는 \(K^\star=0\) class에서는 작은 kernel 주변의 Taylor expansion을 사용한다. criticality와 layer-dependent equivalence learning rate를 넣고 기존의 \(K,\Theta,F,B\) asymptotic solution을 재사용하면
여기서는 \(P\)와 \(Q\)가 일반적으로 모두 nonzero다. \(P/[n\Theta^2]\)의 leading coefficient는 training hyperparameter와 무관하고 음수이며, \(Q\)는 learning-rate 조합에 의존한다. 그러나 두 값의 absolute coefficient가 달라도 depth-width relevance는 똑같이 \(\ell/n\)이다.
| Universality class | Single-input P | Single-input Q | Normalized leading scale |
|---|---|---|---|
| Scale-invariant | identically 0 | nonzero; \(p_Q=-3\) | \(Q/[n\Theta^2]\sim \ell/n\) |
| \(K^\star=0\) | generally nonzero | generally nonzero | \(P/[n\Theta^2],Q/[n\Theta^2]\sim\ell/n\) |
representation learning을
신경망에서 잠시 떼어내 본다
A weakly nonlinear quadratic model is enough to show how features themselves can learn.
앞 절까지는 MLP 내부의 tensor algebra가 주인공이었다. 11.4는 의도적으로 한 발 물러선다. representation learning의 핵심을 deep network가 아닌 더 단순한 일반 model에서 분리해 보려는 것이다.
출발점은 linear model이다.
여기에 작은 parameter \(\epsilon\)과 symmetric meta feature \(\psi_{j_1j_2}(x)\)를 넣어 parameter에 quadratic한 model을 만든다.
이 model의 핵심은 output의 parameter derivative, 즉 effective feature가 parameter에 의존한다는 점이다.
training이 \(W\)를 바꾸면 \(\phi^E\)도 바뀐다. fixed feature \(\phi\)가 output을 설명하던 linear model과 달리, meta feature \(\psi\)가 feature의 변화 방향을 규정한다. 이 한 줄이 representation learning의 최소 모형이다.
Nearly-linear quadratic regression
quadratic model의 MSE는 parameter에 quartic이므로 linear regression처럼 곧바로 closed-form이 나오지 않는다. 하지만 \(\epsilon\ll1\)이면 weakly interacting problem으로 보고 perturbation theory를 쓸 수 있다. optimal weight를
로 나누고, \(W^F\)는 ordinary linear regression solution, \(W^I\)는 meta-feature가 만드는 작은 nonlinear correction으로 푼다. overparameterized regime에서는 free solution만으로 training set을 memorization할 수 있고, interacting part는 그 solution을 meta-feature structure에 맞춰 조정한다.
test prediction을 다시 묶으면 original fixed feature와 training data에 의존하는 learned effective feature의 평균 같은 형태로 쓸 수 있다. 따라서 representation learning은 abstract slogan이 아니라 feature function에 training data dependence가 생기는 것으로 명확히 정의된다.
Parameter count만으로 model complexity를 재면 놓치는 것
linear model과 quadratic model은 같은 weight matrix \(W\)를 쓰므로 parameter 수 \(P=n_{out}(n_f+1)\)가 같다. 그렇다고 model complexity가 같은 것은 아니다. quadratic model에는 \(O(P^2)\) 규모의 meta-feature structure가 들어간다. 그러나 이것이 \(O(P^2)\)개의 independent fitting degree of freedom을 뜻하지는 않는다. meta features는 오히려 representation update가 따를 방향을 미리 제한하는 inductive bias다.
원문은 useful meta features가 있다면 이러한 구조가 overparameterized linear solution의 과도한 fine tuning을 완화하고 generalization에 도움이 될 수 있다고 논의한다. 이것은 이 장의 이론적 동기와 해석이며, benchmark 실험으로 입증한 empirical result는 아니다.
feature를 지우고도
feature learning을 표현할 수 있다
Nearly-kernel methods are the sample-space dual of quadratic representation learners.
linear model이 kernel method라는 dual description을 가졌듯 quadratic model도 sample-space description을 가진다. ordinary feature inner product는 그대로 kernel이 된다.
새로운 것은 meta feature가 만든 세 input tensor다.
meta-kernel은 마지막 두 sample index에 대칭이고, 첫 입력을 고정하면 나머지 두 입력 사이의 feature-space bilinear relation을 바꾸는 object로 볼 수 있다. ordinary kernel이 pairwise similarity라면 meta-kernel은 “한 point가 다른 두 point의 similarity geometry에 어떻게 개입하는가”를 표현하는 interaction tensor다.
이 정의를 사용하면 quadratic regression prediction은 ordinary kernel prediction과 meta-kernel correction의 합으로 바뀐다. 첫 항은 training label에 linear이고, 새 correction은 서로 다른 training example의 label product에 quadratic하다. feature index, meta-feature index, parameter는 식에서 사라지고 sample-space의 \(k\), \(\mu\), training labels만 남는다. 책은 이 dual form을 nearly-kernel method라고 부른다.
Kernel이 학습된다
effective feature로 effective kernel을 만들면 parameter가 training data에 의해 바뀌는 만큼 kernel도 바뀐다.
원문은 original kernel과 effective kernel의 평균을 trained kernel \(\bar k\)로 정의한다. 그러면 prediction은 다시 familiar kernel-machine form으로 압축된다.
모양은 kernel regression과 비슷하지만 결정적인 차이가 있다. \(\bar k\)가 training data에 의존한다. fixed similarity measure를 적용하는 것이 아니라, learning 과정이 similarity geometry 자체를 바꾼다. representation learning의 sample-space 표현이다.
Nearly-kernel은 algorithm independent하지 않다
여기서 Chapter 10과 중요한 갈림길이 생긴다. nonlinear overparameterized model은 direct optimization과 gradient descent가 같은 solution을 줄 필요가 없다. 원문은 footnote에서 gradient-descent-specific nearly-kernel formula를 따로 제시한다. 이 algorithm dependence는 finite-width network에서 기대되는 현상이기도 하다. 무한폭 linear theory의 path independence가 finite-width nonlinear interaction과 함께 깨지기 시작한다.
또 minimal quadratic model은 output component 간 wiring을 일부러 제외한다. 각 \(i\)-th output은 자기 label component만 사용한다. 실제 finite-width MLP는 wiring을 가질 수 있으므로 다음 절에서는 model을 조금 더 일반화한다.
deep과 learning은
서로 다른 두 가지 힘이다
Finite-width MLPs are random meta-feature models whose architecture chooses the starting geometry and whose nonlinear dynamics reshape it.
이제 minimal quadratic model을 다시 neural network와 연결한다. network의 effective feature는 output의 parameter gradient다.
infinite width에서는 이 derivative가 training 동안 effectively fixed되었다. finite width에서는 parameter가 움직이면 derivative도 움직인다. 이에 대응하는 random meta feature는 두 번째 derivative다.
effective feature inner product로 만든 effective kernel은 정확히 parameter-dependent NTK이고, initialization에서 평가하면 stochastic NTK다. 더 나아가 random meta feature와 두 random feature를 contraction한 meta-kernel은 정확히 stochastic dNTK가 된다. 즉 quadratic model의 \(\psi\leftrightarrow\mu\) 관계가 MLP에서는 output Hessian \(\leftrightarrow\) dNTK 관계로 구현된다.
| Minimal nonlinear model | Finite-width neural network | Meaning |
|---|---|---|
| feature \(\phi\) | random feature \(\partial z/\partial\theta\) | initial representation basis |
| meta feature \(\psi\) | random meta feature \(\partial^2z/\partial\theta^2\) | feature-change direction |
| kernel \(k\) | stochastic NTK \(\widehat H\) | current feature-space geometry |
| meta-kernel \(\mu\) | dNTK \(d\widehat H\) | geometry-change interaction |
| small nonlinearity \(\epsilon\) | parametrically \(L/n\) | finite-width interaction strength |
그런데 실제 MLP는 quadratic model보다 더 복잡하다
책은 여기서 minimal analogy의 한계를 분명히 한다. 첫째, MLP의 features와 meta features는 designer가 고른 것이 아니라 architecture와 random initialization이 샘플링한다. 둘째, 실제 finite-width prediction에는 output component wiring이 있다. 셋째, complete leading \(O(L/n)\) description에서는 \(O(\eta^3)\) contribution도 같은 order에 들어오므로 quadratic truncation만으로 self-consistent하지 않다.
따라서 finite-width MLP는 cubic model까지 확장해야 한다.
세 번째 derivative가 들어오면 meta features 자체도 학습 가능한 hierarchy가 된다. 다음 장에서 이 구조는 dNTK뿐 아니라 두 종류의 ddNTK로 이어진다.
“deep”과 “learning”을 분리해서 보면 deep learning이 더 잘 보인다
11장의 가장 중요한 개념적 정리는 representation learning이 deep architecture에만 고유한 현상은 아니라는 점이다. 작은 quadratic nonlinear model도 meta feature가 있으면 representation을 학습한다. 따라서 learning 자체는 nonlinear parameter interaction의 문제로 분리할 수 있다.
그렇다면 depth는 무엇을 하는가. deep network에서는 random features와 meta features의 statistics가 layer-to-layer RG flow에 의해 만들어진다. activation, architecture, initialization, training scaling이 어떤 feature geometry를 초기 상태로 제공할지 결정한다. 다른 architecture가 domain에 따라 큰 성능 차이를 만드는 이유를 이 관점에서는 RG flow가 제공하는 inductive bias로 해석할 수 있다.
이 장의 경계선
- 01완전한 finite-width training theory는 아직 아니다. \(O(1/n)\)까지 fully-trained MLP distribution을 구하려면 output의 \(O(\eta^3)\), NTK의 \(O(\eta^2)\), 추가 ddNTK들이 필요하다.
- 02§11.3은 single-input statistics에 집중한다. multi-input P-Q recursion의 full critical solution은 이 장에서 전개하지 않는다.
- 03quadratic model은 pedagogical minimum이다. 실제 finite-width MLP의 leading-order self-consistent description은 wiring과 cubic/meta-meta-feature structure까지 요구한다.
- 04nearly-kernel solution은 nonlinear optimization algorithm에 의존할 수 있다. infinite-width kernel regime의 algorithm independence를 그대로 가져오면 안 된다.
- 05generalization에 대한 meta-feature 논의는 structural argument다. Chapter 11은 benchmark dataset이나 empirical accuracy improvement를 제시하는 실험 장이 아니다.
원문은 이 nonlinear-model / nearly-kernel formalism이 MLP 이외에도 infinite-channel 또는 infinite-head limit 주변에서 expansion 가능한 다른 deep-learning architecture로 확장될 수 있다고 지적한다. 다만 그 경우 feature와 meta-kernel을 만드는 recursion은 architecture마다 달라진다.