무한폭 신경망은 왜 커널 머신이 되는가

Chapter Thesis

무한히 넓은 신경망은 복잡해 보인다. 그러나 학습의 관점에서 보면 오히려 너무 단순해진다. 초기화에서 정해진 feature가 움직이지 않고, gradient descent는 그 fixed random features 위에서 하나의 kernel regression을 수행한다.

10장은 이 단순함을 끝까지 밀어붙인다. 첫 gradient step은 frozen NTK로 정확히 기술되고, 완전히 학습된 해는 Newton step 하나로 닫힌형식으로 쓸 수 있다. 더 놀라운 점은 같은 초기화와 frozen NTK를 공유한다면 gradient descent, SGD, Newton method처럼 경로가 달라도 minimum의 network output이 같다는 사실이다. 이 장의 마지막에는 그 이유가 드러난다. infinite-width network는 결국 fixed random feature를 쓰는 linear model이고, frozen NTK는 그 feature inner product인 kernel이다.

Central Boundary

무한폭은 분석하기 좋은 기준점이지만 deep learning의 핵심을 모두 담지는 못한다. output은 학습해도 hidden feature는 학습하지 않는다. 따라서 10장의 완결된 kernel theory는 동시에 다음 장에서 finite width가 필요한 이유를 증명한다.

Fully-trained infinite-width prediction · Eq. 10.39

\[\boxed{z^{(L)}_{i;\beta}(T)=z^{(L)}_{i;\beta}(0)-\Theta^{(L)}_{\beta A}\bigl(\Theta^{(L)}_{AA}\bigr)^{-1}\left[z^{(L)}_{i;A}(0)-y_{i;A}\right]}\]

Frozen NTKinfinite width에서 self-average한 deterministic training geometry

No wiringoutput component 간 error information이 직접 섞이지 않는다.

No repr. learninghidden representation update의 mean·covariance가 \(1/n\)으로 사라진다.

Random features\(\hat\phi_{i\mu}(x)=\partial z_i/\partial\theta_\mu\)가 초기화에서 고정된다.

이 글은 원서 Chapter 10 “Kernel Learning”, pp. 247–290을 전체 범위로 검토해 재구성했다. 이 장에는 별도 Figure/Table이 없으며, 위 SVG와 아래 비교표는 수식 관계를 설명하기 위해 새로 만든 개념 시각화다.

Part I · §10.1

첫걸음은 작지만,
무한폭에서는 그 식이 정확하다

At infinite width, the Taylor expansion of the output update truncates at first order.

Chapter 10은 gradient descent의 첫 step부터 시작한다. 일반적인 \(\ell\)-th layer preactivation update는 NTK와 loss derivative의 contraction으로 주어지고, 원래는 global learning rate \(\eta\)에 대한 higher-order term을 가진다. 그러나 infinite-width limit에서는 상황이 달라진다. NTK가 frozen mean \(\Theta\)로 self-average하고, \(O(\eta^2)\) 이상의 correction은 \(1/n\)으로 억제된다.

Small-step update · Eq. 10.2

\[\Delta z^{(\ell)}_{i;\delta}=-\eta\sum_{\alpha\in A}\Theta^{(\ell)}_{\delta\alpha}\frac{\partial\mathcal L_A}{\partial z^{(\ell)}_{i;\alpha}}+O(1/n).\]

그래서 infinite width에서는 first-order Taylor truncation이 근사가 아니라 정확한 leading description이 된다. 계산이 단순해지는 대신 무엇인가가 사라진다. 그 사라지는 것이 바로 component wiring과 representation learning이다.

무한폭의 장점은 nonlinear network를 쉽게 푼다는 데 있다. 하지만 쉽게 풀리는 이유를 묻고 나면, 그 limit가 deep learning에서 무엇을 삭제했는지도 함께 보인다.

Part II · §10.1.1–§10.1.2

output은 움직이지만,
feature는 배우지 않는다

No wiring and no representation learning are not incidental defects; they are structural consequences of the infinite-width limit.

No wiring

output layer에서 update는

Output update · Eq. 10.3

\[\Delta z^{(L)}_{i;\delta}=-\eta\sum_{\alpha\in A}\Theta^{(L)}_{\delta\alpha}\,\varepsilon_{i;\alpha}.\]

로 줄어든다. frozen NTK mean이 neural index에서 diagonal이므로 \(i\)-th output은 \(i\)-th error component만 본다. MSE에서도 그렇고, softmax cross-entropy에서 error factor가 \(q_i-p_i\)가 되는 경우에도 output component 사이의 새로운 correlation이 생성되지 않는다. 책은 이를 no wiring이라 부른다.

No representation learning

마지막 hidden layer에서는 개별 network의 representation이 첫 step에서 조금 움직이는 것처럼 보인다. 하지만 ensemble 평균 update는 interlayer correlation 때문에 \(1/n\)으로 억제되고, update covariance도 \(O(1/n)\)이다.

Hidden representation update statistics · Eqs. 10.11–10.13

\[\mathbb E[\Delta z^{(L-1)}]=O(1/n),\qquad \mathrm{Cov}(\Delta z^{(L-1)},\Delta z^{(L-1)})=O(1/n).\]

strict infinite width에서는 둘 다 0이 된다. 따라서 training 전후 hidden representation distribution이 같다. 이 결론은 한 step에만 국한되지 않는다. 뒤의 fully-trained solution에서도 같은 limitation이 유지된다.

Output space

label은 전달된다

training examples의 error가 frozen NTK의 sample similarity를 통해 test output까지 전달된다.

Feature space

feature는 고정된다

data가 hidden feature map 자체를 재구성하지 못한다. deep architecture는 feature generator로만 남는다.

Part III · §10.2

많은 작은 걸음 대신
한 번의 giant leap로 minimum에 간다

Newton's method is used as a theoretical shortcut to the exact fully-trained infinite-width solution.

완전히 학습된 network를 분석하려면 보통 많은 gradient step을 따라가야 한다. 10장은 반대로 간다. training set에서 output이 target과 정확히 같아지는 조건을 먼저 쓰고, 그 조건을 한 step에 만족시키는 sample-space metric을 설계한다.

scalar learning rate만으로는 frozen NTK의 sample mixing을 되돌릴 수 없다. 그래서 parameter-space learning-rate tensor에 이어 sample-space의 symmetric matrix \(\kappa\), 즉 Newton tensor를 도입한다. 핵심 선택은 training-set frozen NTK submatrix의 inverse다.

Newton tensor choice · Eq. 10.25

\[\eta\,\kappa_{AA}=\bigl(\Theta^{(L)}_{AA}\bigr)^{-1}.\]

이 선택을 넣으면 network는 한 이론적 step만에 training set을 완전히 memorization한다. 그리고 임의 입력 \(\delta\)에 대한 fully-trained output은 다음처럼 닫힌형식으로 결정된다.

Giant-leap solution · Eq. 10.28

\[z^{(L)}_{i;\delta}(T)=z^{(L)}_{i;\delta}(0)-\Theta^{(L)}_{\delta A}\bigl(\Theta^{(L)}_{AA}\bigr)^{-1}\left[z^{(L)}_{i;A}(0)-y_{i;A}\right].\]

Algorithm independence

이 식은 Newton method만의 해가 아니다. 같은 initialization과 frozen NTK가 주어지고 training이 minimum에 도달한다면, 그 전에 gradient descent를 했든 SGD를 했든, learning-rate schedule이나 intermediate loss가 달랐든 최종 output은 같은 식으로 정리된다. 중간 경로의 정보가 inverse-NTK projection에 의해 소거되기 때문이다.

다만 이 주장은 조건부다. “모든 optimizer가 현실에서 똑같이 잘 수렴한다”는 뜻이 아니다. 책이 보이는 것은 infinite-width function-space minimum에 도달했을 때의 output solution이 algorithm path에 독립적이라는 사실이다. Newton method는 실제 구현 권고가 아니라 그 minimum을 한 번에 보여주는 이론적 도구다.

Cross-entropy도 같은 minimum 구조에 들어간다

cross-entropy는 classification에 자연스럽고, softmax target distribution과 model distribution이 같아질 때 최소화된다. finite target representation을 쓰면 giant-leap solution과 같은 구조가 적용된다. hard one-hot target은 logit을 무한대로 보내므로 실제 training에서 정확한 minimum에 도달하지 않으며, 책은 early stopping이나 label smoothing 같은 regularization의 필요성을 지적한다.

Part IV · §10.2.4

훈련을 끝내면 남는 것은
초기 output, frozen NTK, training set이다

The ensemble of fully-trained networks forms a closed-form generalized posterior over test predictions.

test input \(x_\beta\)에 대한 prediction은 초기 output의 Gaussian randomness를 선형변환한 값이다. 따라서 fully-trained ensemble의 prediction도 Gaussian이며, mean과 covariance를 정확히 계산할 수 있다.

Mean kernel prediction · Eq. 10.40

\[m^{\infty}_{i;\beta}=\Theta^{(L)}_{\beta A}\bigl(\Theta^{(L)}_{AA}\bigr)^{-1}y_{i;A}.\]

covariance는 Bayesian kernel \(K\)와 frozen NTK \(\Theta\)가 함께 들어가는 식이다. 이 ensemble distribution을 책은 generalized posterior라고 부른다. 그러나 exact Bayesian posterior와 epistemic meaning은 다르다. 여기서 covariance는 서로 다른 initialization이 training loss의 다른 minimum으로 가면서 생기는 model-instantiation variation이다. Bayesian posterior covariance는 unseen data에 대한 posterior uncertainty다. 둘을 같은 uncertainty라고 무심히 부르면 의미가 섞인다.

Gradient descent가 exact Bayesian inference와 만나는 한 지점

frozen NTK가 Bayesian kernel과 같아지도록 training hyperparameter를 고를 수 있다. output layer에서 \(\lambda_b^{(L)}=C_b^{(L)}\), \(\lambda_W^{(L)}=C_W^{(L)}\)로 두고, hidden layer의 learning rate를 모두 0으로 두면

Bayesian special case · Eqs. 10.46–10.49

\[\lambda_b^{(\ell)}=\lambda_W^{(\ell)}=0\ (\ell

이때 gradient-trained ensemble의 generalized posterior가 infinite-width exact Bayesian posterior와 일치한다. 해석은 명확하다. hidden layers에서 만들어진 penultimate random feature는 고정하고, 마지막 linear layer만 학습하는 random-feature model이다.

이 동일성은 gradient descent와 Bayesian inference가 일반적으로 같은 알고리즘이라는 뜻이 아니다. 오히려 반대다. 특정 learning-rate configuration에서만 두 kernel이 같아진다는 사실이 평소에는 둘이 다른 learning algorithm임을 선명하게 보여준다.

Part V · §10.3–§10.3.1

memorization 이후의 질문은 하나다.
보지 못한 입력에 무엇을 예측하는가

Generalization is read as a bias–variance tradeoff over model initializations.

infinite-width network는 finite training set을 완전히 memorization할 수 있으므로 training loss를 0으로 만들 수 있다. 따라서 이 장의 setting에서 generalization error \(\mathcal E=L_B-L_A\)는 test loss \(L_B\)와 같다.

Generalized bias–variance decomposition · Eqs. 10.52–10.55

\[\mathbb E[L_B]\approx L_B(m^\infty)+\frac12\,\mathrm{Tr}\!\left[\nabla_z^2L_B\big|_{m^\infty}\;\mathrm{Cov}(z(T))\right].\]

첫 항은 ensemble mean prediction의 bias, 둘째 항은 initialization 간 prediction fluctuation에 해당한다. 표준 bias–variance decomposition이 training set sampling에 대한 expectation을 쓰는 것과 달리, 여기서는 model initialization ensemble에 대한 decomposition이라는 점이 중요하다.

가까운 test point 하나가 보여주는 robustness

training point \(+\)와 nearby test point \(-\)를 두면 mean prediction bias는 frozen NTK ratio로 정리된다. 특히

Local robustness measure · Eqs. 10.57 and 10.62

\[\frac{\Theta_{-+}}{\Theta_{++}}-1\simeq -2\frac{\delta\delta\Theta_{[2]}}{\Theta_{00}}.\]

이 값이 0에 너무 가까우면 nearby inputs를 거의 같은 것으로 보는 지나치게 rigid한 model이 되고, 크기가 지나치면 작은 input perturbation에도 prediction이 민감해진다. 한편 ensemble variance는 leading order에서 \(4\,\delta\delta K_{[2]}\)로 정리된다.

여기서 criticality의 generalization 의미가 다시 나온다. \(\chi_\perp\)가 1보다 크면 variance와 sensitivity가 폭주할 수 있고, 1보다 작으면 kernel perturbation과 frozen-NTK perturbation이 함께 소실되어 constant-function에 가까운 inflexibility가 생긴다. \(\chi_\perp=1\)은 양쪽 극단을 피하는 natural balance point가 된다. \(\chi_\parallel=1\)은 여러 layer contribution이 한쪽에 쏠리지 않도록 feature pool을 유지한다.

두 universality class에서 확인한 결과

Class	Critical behavior	Robustness / variance	해석
\(K^\star=0\)	criticality + learning-rate equivalence	robustness \(\propto L^{1-p_\perp}\)	order-one robustness는 \(p_\perp=1\)을 고르며 odd tanh, sin이 여기에 해당한다.
Nonlinear scale-invariant	finite-angle critical solution	asymptotically robustness \(-3/4\), variance \(9K_d/16\)	올바른 critical/equivalence scaling에서 bias와 variance가 depth-independent order-one으로 남는다.
Deep linear	angle preserved	input- and hyperparameter-dependent constant	generalization의 근본적 제약은 다음 subsection의 linear interpolation에서 드러난다.

위 상수들은 Chapter 10의 특정 asymptotic setting에서 얻은 이론값이다. 일반적인 dataset benchmark 성능 수치가 아니다. 또한 \(K^\star=0\) 분석의 one-training/one-test 근사는 local generalization을 보기 위한 제한된 setting이다.

Part VI · §10.3.2

두 점 사이를 어떻게 잇는지가
activation의 inductive bias를 보여준다

Interpolation and extrapolation expose what kinds of functions the kernel predictor prefers.

두 training input \(x_+\), \(x_-\)를 잇는 선 위에서 \(x_{2s-1}=sx_+ +(1-s)x_-\)를 생각하자. \(0\le s\le1\)이면 interpolation, 바깥이면 extrapolation이다. 책은 둘을 함께 “*-polation”이라고 부른다.

Deep linear network: 언제나 선형으로 잇는다

linear activation을 쓰면 input의 linear combination이 모든 layer에서 그대로 보존된다. 그래서 fully-trained output도

Deep-linear *-polation · Eq. 10.104

\[z^{(L)}_{i;2s-1}(T)=s\,y_{i;+}+(1-s)\,y_{i;-}.\]

가 된다. target function 자체가 nonlinear이면 이 inductive bias는 구조적으로 틀릴 수밖에 없다. depth를 늘려도 linear activation network가 nonlinear input function을 만들 수 없는 이유가 training prediction 식에 그대로 드러난다.

Smooth nonlinear network: curvature가 생긴다

nonlinear activation에서는 frozen NTK의 local expansion에 \(\delta\delta\Theta_{[0]}\) term이 추가되고, \(s(1-s)\) factor와 함께 prediction curvature를 만든다. ensemble mean에서 initialization-specific nonlinear term은 사라지고, 평균 curvature는 dimensionless ratio

Local nonlinear inductive bias · Eqs. 10.114–10.116

\[\text{curvature scale}\ \propto\ \frac{\delta\delta\Theta_{[0]}}{\Theta_{00}}.\]

로 압축된다. 이 ratio는 architecture와 activation이 nearby training points 사이를 어떤 곡률로 잇는지를 나타낸다. 즉 generalization은 “training point와 비슷한가”만의 문제가 아니라 그 사이 공간을 어떤 함수 형태로 메우는가의 문제다.

책은 이 local result를 더 큰 training set으로 확장할 가능성도 언급한다. 하나의 nearby point가 있으면 single-neighbor approximation을 쓰고, nearby pair가 있으면 *-polation을 조합하는 방식이다. 또 network inductive bias를 알고 있다면 data manifold 위에서 training inputs를 어디에 배치할지 설계하는 문제에도 이 분석을 활용할 수 있다고 제안한다.

Part VII · §10.4

마지막에 남는 결론은 단순하다.
무한폭 신경망은 random-feature linear model이다

The kernel view is the dual form of a linear model; the NTK is the feature inner product.

Linear model과 kernel method의 duality

linear model은 input에 linear해야 하는 model이 아니다. parameter에 linear한 model이다. 미리 설계한 feature \(\phi_j(x)\)를 쓰면

Feature-based linear model · Eq. 10.119

\[z_i(x)=\sum_j W_{ij}\phi_j(x).\]

처럼 쓸 수 있고, MSE linear regression은 analytic solution을 가진다. 같은 solution은 feature를 직접 저장하는 primal form 대신 sample-space kernel

Kernel as feature inner product · Eq. 10.126

\[k(x,x')=\sum_j\phi_j(x)\phi_j(x')\]

만으로 표현할 수 있다. 그러면 prediction은

Kernel-machine prediction · Eq. 10.131

\[z_i(x_\beta)=k_{\beta A}\,k_{AA}^{-1}\,y_{i;A}.\]

가 된다. feature dimension이 매우 크거나 무한대여도 sample-space kernel 계산이 더 쉬울 수 있다. Gaussian kernel의 kernel trick이 대표적이다. 대신 kernel method는 prediction 때 training examples를 직접 참조하므로 memory-based method의 성격을 가진다.

Bayesian infinite-width network는 output-layer random feature model이다

hidden parameters를 initialization에서 고정하고 마지막 layer만 학습하면 penultimate activation이 random feature가 된다. infinite-width ensemble에서 이 stochastic feature kernel이 self-average하면 Bayesian kernel \(K^{(L)}\)가 된다.

Gradient-trained infinite-width network는 더 큰 random feature set을 쓴다

general gradient-based learning에서는 feature를 parameter derivative로 정의할 수 있다.

NTK random features · Eqs. 10.137 and 10.141

\[\widehat\phi_{i\mu}(x)=\left.\frac{\partial z_i^{(L)}(x)}{\partial\theta_\mu}\right|_{\theta_0},\qquad \Theta^{(L)}(x,x')=\sum_{\mu,\nu}\lambda_{\mu\nu}\widehat\phi_{i\mu}(x)\widehat\phi_{i\nu}(x').\]

이 feature는 모든 hidden layer parameter derivative를 포함하므로 last-layer Bayesian random-feature model보다 훨씬 풍부하다. 그러나 infinite width에서는 여전히 초기화에서 고정된 feature다. network가 deep해도 model complexity의 관점에서는 fixed random features의 linear combination을 학습하는 shallow kernel machine과 같다.

10장의 역설은 여기 있다. 무한폭 limit은 deep network를 가장 정확하게 풀 수 있게 해주지만, 바로 그 정확함 때문에 deep learning의 가장 중요한 성질 하나가 사라진다. data가 feature를 바꾸는 representation learning이다.finite width에서는 stochastic NTK 자체가 training 중 움직인다. 그래서 더 이상 엄밀한 의미의 고정 kernel이 아니며, 다음 장은 그 feature motion을 분석한다.

이 장에서 가져갈 일곱 문장

01infinite width에서는 output update의 higher-order \(\eta\) correction이 \(1/n\)으로 사라져 frozen NTK dynamics가 정확해진다.
02output components는 independently update되어 no wiring이 발생하고, hidden representation distribution도 움직이지 않는다.
03training-set NTK inverse를 쓰는 Newton construction은 fully-trained solution을 한 step에 보여주는 이론적 지름길이다.
04같은 initialization과 frozen NTK 아래 minimum에 도달하면 fully-trained output은 optimization path에 독립적이다.
05generalization은 initialization ensemble에 대한 generalized bias–variance tradeoff로 분석할 수 있고, criticality와 learning-rate equivalence가 그 균형에 연결된다.
06activation은 training points 사이를 어떤 곡률로 잇는지 결정하며, 그 local curvature가 inductive bias를 드러낸다.
07frozen NTK는 parameter-gradient random features의 inner product다. 따라서 infinite-width MLP는 fixed random-feature linear model이며 representation learning을 위해서는 finite width가 필요하다.

범위의 경계도 분명하다. 이 장은 infinite-width learning을 다루며 finite-width training dynamics 자체는 계산하지 않는다. local generalization 분석은 한두 개의 nearby training point를 중심으로 전개되고, 실제 대규모 dataset에서의 empirical performance를 보고하는 장도 아니다.

첫걸음은 작지만,무한폭에서는 그 식이 정확하다

output은 움직이지만,feature는 배우지 않는다