깊이는 힘이지만, 폭이 받쳐주지 않으면 통계가 흔들린다

말은 선형인데 통계는 선형적이지 않다

deep linear network는 MLP의 activation을 identity \(\sigma(z)=z\)로 둔 모델이다. 따라서 preactivation과 activation을 구분할 필요가 없다. Chapter 3에서는 algebra를 더 단순화하기 위해 모든 bias도 0으로 둔다.

여러 layer를 통과한 결과는 weight matrix들의 곱으로 쓸 수 있다.

따라서 network가 계산하는 함수 자체는 linear transformation이다. 저자들은 물리학 독자에게 deep linear network를 양자역학의 단순 조화진동자에 비유한다. 실제 현상을 모두 담지는 못하지만, 이후 theory를 푸는 방법을 연습하기 좋은 정확히 풀리는 모델이라는 의미다.

각 layer의 weight는 Gaussian이지만 그 곱은 Gaussian이 아니다

weight의 평균은 0이고 variance는 layer width에 맞춰 정규화한다. 이 장에서는 layer마다 같은 order-one variance coefficient를 사용해 \(C_W^{(\ell)}\equiv C_W\)로 둔다.

중요한 긴장은 여기서 생긴다. 개별 \(W_{ij}^{(\ell)}\)는 단순한 Gaussian random variable이지만 여러 matrix의 곱 \(\mathcal W^{(\ell)}\)은 일반적으로 non-Gaussian이다. 깊이는 함수의 비선형성을 만들지 못하지만, random-function ensemble의 통계에는 비가우시안 구조를 만든다.

깊은 linear network는 모든 linear map보다 오히려 더 작은 함수족을 나타낼 수 있다

hidden layer에 bottleneck이 있으면 표현 가능한 linear transformation은 제한된다. 예를 들어 두 layer 중 첫 hidden layer가 neuron 하나뿐이라면 input의 모든 정보가 하나의 scalar로 압축된 뒤 output vector로 다시 펼쳐진다. 입력·출력 차원이 둘 이상이라면 모든 가능한 matrix를 표현할 수 없다.

저자들은 이것이 반드시 나쁜 것은 아니라고 덧붙인다. CNN 역시 MLP보다 작은 함수족을 나타내지만 translational inductive bias와 sparse connectivity 덕분에 유용하다. 다만 deep linear network의 제한이 어떤 실용적 inductive bias를 주는지는 자명하지 않다고 선을 긋는다.

목표는 parameter를 추적하는 것이 아니라 preactivation distribution 전체를 구하는 것이다

이 장이 구하려는 대상은 dataset 전체를 통과한 layer-\(\ell\) preactivation의 분포

이다. Chapter 1에서 배운 대로 distribution은 모든 \(M\)-point correlator로 결정되므로, Chapter 3은 correlator recursion을 직접 계산하는 전략을 쓴다. zero-mean weights와 layer 간 독립성 때문에 preactivation mean은 모든 layer에서 0이고, 같은 논리로 모든 odd-point correlator도 0이다. 따라서 남는 문제는 even-point hierarchy다.

입력 두 개의 similarity가 layer를 지날 때 어떻게 변하는가

첫 layer의 two-point correlator를 계산하면 weight의 Wick contraction 때문에 neural index는 Kronecker delta로 분리되고, sample index에 대한 normalized input inner product가 남는다.

\(G^{(\ell)}\)는 두 input이 \(\ell\)-layer deep linear network를 지난 뒤 갖는 covariance, 혹은 평균 inner product로 해석할 수 있다. recursive calculation은 놀랄 만큼 짧은 식으로 끝난다.

Chapter 2에서 weight variance에 넣었던 \(1/n_\ell\) normalization이 여기서 정확히 width sum을 상쇄한다. width가 커진다고 covariance scale이 자동으로 커지지 않는 이유다.

\(C_W\)가 1보다 조금 큰지 작은지가 depth 때문에 지수적 차이로 증폭된다

저자들은 0이나 \(\infty\)처럼 observable이 지수적으로 수렴하는 값을 trivial fixed point라고 부른다. 반대로 \(C_W=1\)에서는 input structure가 depth를 지나도 지워지지 않는다.

criticality는 예쁜 수학적 대칭이 아니라 function approximation의 조건이다

output layer의 diagonal covariance

는 특정 input에 대한 typical output magnitude를 측정한다. target output은 보통 order-one scale인데 network output이 depth에 따라 지수적으로 커지거나 사라지면 원하는 function으로 학습하기 어렵다. 저자들은 이를 뒤에서 등장할 exploding/vanishing gradient problem의 “baby version”으로 부른다.

\(C_W=1\)은 두 phase의 경계다

covariance의 exponential behavior를 피하도록 initialization hyperparameter를 미세 조정한 상태를 critical initialization이라고 한다. deep linear network에서는 정확히 \(C_W=1\)이 critical point다. 저자들은 이 용어를 statistical physics의 phase transition에서 빌려온다. 자성체의 paramagnetic/ferromagnetic phase를 가르는 critical temperature가 특별한 self-similar behavior를 보이듯, 여기서도 covariance가 layer-to-layer로 자기 자신을 보존한다.

Gaussian이라면 two-point가 전부지만, deep finite-width network는 그렇지 않다

zero-mean Gaussian distribution은 covariance만 알면 완전히 정해진다. 만약 모든 layer의 preactivation이 Gaussian이라면 \(C_W=1\)로 covariance만 안정화하면 다른 observable도 자동으로 잘 behaved할 것이다. 그러나 deep linear network의 matrix product는 non-Gaussian이므로 higher-point connected correlator를 확인해야 한다.

algebra를 단순화하기 위해 §3.3과 §3.4에서는 input 하나만 보고 sample index를 생략한다. 이때

첫 layer는 Gaussian이지만, 두 번째 layer부터 작은 excess correlation이 누적된다

첫 layer의 four-point full correlator는 네 개 Gaussian weight의 세 Wick pairing으로 계산되며 정확히 Gaussian value를 가진다. 즉 first-layer preactivation은 four-point level에서 Gaussian이다. 이후 layer에서는 tensor structure를 분리해 scalar \(G_4^{(\ell)}\)만 추적할 수 있다.

recursion과 exact solution은

이다. infinite width에서는 곱의 각 factor가 1이 되어 \(G_4=(G_2)^2\)로 돌아가지만, finite width에서는 \(1+2/n\)이 depth마다 누적된다.

equal-width network의 첫 finite-width correction은 \(\ell/n\)으로 보인다

hidden width를 모두 \(n\)으로 두면 Gaussian value에서의 차이는

criticality에서는 \(G_2\)가 layer와 무관하므로 leading deviation은 width에 반비례하고 depth에 비례한다. 여기서 처음으로 depth-to-width ratio가 emergent scale로 등장한다.

non-Gaussianity, neuron interaction, network-to-network fluctuation은 서로 다른 현상이 아니라 같은 수학의 세 얼굴이다

layer 전체의 평균 activity magnitude도 finite width에서는 self-average하지 않는다

hidden layer에서

finite-width effect는 representation을 가능하게 하지만 지나치면 reliability를 무너뜨린다

저자들은 이 지점을 책의 반복되는 핵심 주제로 강조한다. finite-width contribution은 \(1/n\)으로 억제되지만 depth와 함께 누적된다. real network는 finite하므로 output distribution에 어느 정도 \(L/n\) effect를 반드시 갖는다.

흥미롭게도 저자들은 infinite-width Gaussian limit에서 layer 안 neuron들이 상관되지 않고 nontrivial representation을 학습할 수 없다고 뒤 장의 결론을 예고한다. 따라서 finite-width interaction 자체가 나쁜 것은 아니다. 다만 \(L\)이 \(n\)과 비슷해져 fluctuation이 지배하면, 같은 critical initialization에서도 어떤 draw는 signal이 커지고 다른 draw는 사라져 network가 불안정해진다.

\(2m\)-point correlator 전체가 Wick theorem의 Gaussian 값과 일치한다

first layer의 일반 \(2m\)-point full correlator를 계산하면 \((2m-1)!!\)개의 모든 pairing이 나타나고, 각 pairing은 \(G_2^{(1)}\)의 곱으로 정리된다. 따라서 first-layer preactivation distribution은 단지 four-point 수준이 아니라 완전히 Gaussian이다.

즉 first layer의 action은 quadratic이다. 비가우시안성은 depth가 쌓이며 생긴다.

15개의 Wick pairing이 세 종류의 index loop로 압축된다

six-point에서는 세 쌍의 Wick contraction이 가능한 경우가 15개다. layer recursion 안에서 index sum을 수행하면 이 15개가 세 종류로 묶인다. coefficient는 1개가 \(1\), 6개가 \(1/n_\ell\), 8개가 \(1/n_\ell^2\)를 만든다.

solution은 layer별 factor를 곱한 형태이며, covariance solution을 이용하면 \((G_2^{(\ell)})^3\)에 finite-width correction factor가 붙는 구조로 쓸 수 있다.

모든 higher moment가 하나의 combinatorial factor로 통일된다

일반 even-point correlator는 모든 neural-index pairing을 tensor structure로 떼어내고 scalar \(G_{2m}^{(\ell)}\)만 추적할 수 있다.

따라서 exact solution은

이다. 이 하나의 식이 single-input deep linear network의 모든 even-point statistics를 결정한다. mean과 odd correlator가 0이므로 initialization distribution 전체를 사실상 푼 셈이다.

\(n\to\infty\)를 먼저 보내면 depth는 통계적으로 지워진다

hidden width를 모두 같게 두고 depth \(L\)을 고정한 채 \(n\to\infty\)로 보내면 모든 \(c_{2m}(n)\to1\)이 된다.

모든 correlator가 Gaussian value가 되어 output distribution은 정확히 Gaussian이다. multiple input에서도 마찬가지다. 저자들은 이 distribution이 적절한 variance를 가진 one-layer network와 동등하므로, 이런 의미에서 infinite-width deep linear network는 “really deep”하지 않다고 해석한다.

\(L\to\infty\)를 먼저 보내면 higher correlator가 지수적으로 폭주한다

반대로 width \(n\)을 고정한 채 depth를 무한대로 보내면 \(m>1\)에 대해 \(c_{2m}(n)>1\)이므로

가 지수적으로 커진다. 이는 \(C_W=1\)로 two-point를 critical하게 고정해도 막을 수 없다. distribution은 극도로 non-Gaussian해지고 network draw마다 output이 크게 달라진다. 이 장에서 “chaos”는 training-time dynamical chaos를 엄밀히 정의한 말이라기보다, 초기화 ensemble에서 instantiation-to-instantiation fluctuation이 통제되지 않는 regime를 가리킨다.

폭을 먼저 무한대로 보낸 network와 깊이를 먼저 무한대로 보낸 network는 다른 이론이다

Chapter 3는 이 차이를 noncommuting limits로 명시한다. 한쪽은 Gaussian, 다른 쪽은 higher correlator explosion이다. 따라서 “large network”라는 말만으로는 충분하지 않다. width와 depth가 어떤 비율로 커지는지 함께 지정해야 한다.

둘을 함께 키우되 \(r=L/n\)을 고정하면 두 극한 사이를 잇는 해가 나온다

저자들은 width와 depth를 동시에 크게 보내면서

을 고정한다. combinatorial factor의 large-\(n\) expansion은

이므로 fixed \(m\)에서

를 얻는다. \(r\to0\)이면 Gaussian limit, \(r\to\infty\)이면 chaotic limit으로 이어진다. 이 식은 width와 depth 사이의 interpolation을 명시적으로 보여준다.

quartic interaction은 \(r\)에 선형으로 나타난다

criticality에서 \(G_2^{(L)}=G_2^{(0)}\)이므로 four-point excess는

가 된다. §3.3의 \(1/n\) expansion에서 보았던 running quartic coupling을 double-scaling solution이 그대로 재현한다.

더 높은 irreducible correlation은 더 높은 power로 억제된다

six-point connected combination은

이다. four-point가 \(O(r)\)인데 six-point는 \(O(r^2)\)다. Chapter 1에서 예고한 nearly-Gaussian hierarchy가 deep linear network에서 실제로 나타난다.

작은 \(r\)에서는 필요한 accuracy에 맞춰 distribution을 일관되게 truncate할 수 있다

higher connected correlator가 더 높은 power의 \(r\)로 억제되므로, \(r\ll1\)이면 원하는 order까지만 계산해도 된다. 이것이 perturbative effective theory의 핵심 장점이다. exact microscopic distribution 전체를 매번 다루지 않고, Gaussian leading term과 몇 개의 interaction correction만으로 finite-width statistics를 통제한다.

이 장의 논리를 한 표로 정리하면

criticality와 aspect ratio는 서로 다른 문제를 해결한다

\(C_W=1\)은 mean covariance가 depth를 지나며 폭주하거나 사라지는 것을 막는다. 하지만 higher-point correlator까지 안정시키지는 않는다. finite width에서는 non-Gaussianity와 fluctuation이 남고, 그 크기는 \(L/n\)이 정한다. 즉 initialization hyperparameter tuning과 architecture hyperparameter tuning은 별개의 축이다.

이 toy model의 장점은 이 구조를 exact하게 볼 수 있다는 데 있다. width를 먼저 무한대로 보내면 모든 interaction이 사라진 Gaussian theory가 되고, depth를 너무 빠르게 키우면 fluctuation이 통제되지 않는다. 그 사이, \(L/n\)이 작지만 0은 아닌 영역에서 network는 finite-width interaction을 가지면서도 perturbative하게 이해할 수 있다.