이 장은 딥러닝을 설명하는 공식 하나를 내놓지 않는다. 대신 어떤 이론이 쓸모 있으려면 무엇을 버리고 무엇을 남겨야 하는지 정한다. 출발점은 역설이다. 수십억 개의 microscopic component가 문제를 어렵게 만드는 것 같지만, 바로 그 거대한 수가 macroscopic regularity를 만들어 이론을 가능하게 한다.
저자들의 전략은 명확하다. parameter 하나하나를 추적하는 대신 trained network가 만드는 함수의 분포 \(p(f)\)를 이해한다. strict infinite-width limit에서 먼저 문제를 극단적으로 단순화하고, 그 모델이 실제 deep learning의 핵심인 representation learning과 algorithm dependence를 지워 버린다는 사실을 확인한 뒤, \(1/n\) perturbation으로 현실을 다시 복원한다.
딥러닝의 최소 이론은 무한폭 이론이 아니라 large-but-finite-width effective theory이다. 무한폭은 계산 가능성을 주지만 중요한 상호작용을 없앤다. 첫 \(1/n\) correction은 neuron interaction, learning-algorithm dependence, representation learning을 다시 살리면서도 분석 가능성을 유지한다.
이 글은 원서 Chapter 0 “Initialization”, printed pp. 1–10만을 대상으로 한다. 해당 범위의 Figure 0.1을 직접 확인했으며, 본문 hero SVG는 원 그림을 복제하지 않고 Chapter 0의 논리 구조를 새로 시각화한 개념도다.
딥러닝은 성공했는데,
왜 이론은 따라가지 못했는가
Practice advances by building; theory advances by deciding which details do not matter.
Chapter 0의 첫 문제의식은 기술적이지 않고 방법론적이다. deep learning은 거대한 artificial neural network를 data로 학습시켜 사람이 직접 instruction을 쓰기 어려운 function을 얻는다. 특히 여러 layer를 거치며 input을 task에 유용한 형태로 바꾸는 representation learning이 multilayer network의 성공에서 중요하다고 본다.
그런데 이 성공을 설명하는 이론은 practice를 따라가지 못했다. 저자들이 지적하는 핵심은 두 가지다. 하나는 현실적인 deep network와 거리가 먼 assumption을 둔 결과가 실제 system을 충분히 설명하지 못한다는 점이다. 다른 하나는 “deep”이라는 구조 자체, 즉 여러 layer를 거치며 representation이 형성되는 현상을 정면으로 다루는 이론이 부족하다는 점이다.
이 책의 목표는 그래서 단순한 closed-form solution을 얻는 데 있지 않다. 실제 deep network와 연결되는 principles을 찾는 데 있다. 계산이 아름답더라도 현실과 연결되지 않으면 우선순위가 낮다. Chapter 0에서 이 태도는 이후 모든 장의 기준이 된다.
이 관점에서 “많은 parameter”는 문제의 크기이면서 동시에 해결의 실마리다. 개별 neuron의 detail을 다 보려 하면 불가능해 보이지만, 거대한 수의 component가 모이면 오히려 collective regularity가 나타날 수 있다. 저자들은 이 지점에서 theoretical physics의 effective-theory 전통을 끌어온다.
증기기관에서 배운다:
미시 법칙보다 거시 규칙을 먼저 찾는 법
Thermodynamics and statistical mechanics provide the methodological metaphor.
저자들은 thermodynamics와 statistical mechanics를 deep learning theory의 모델로 삼는다. 증기기관은 엄청난 수의 molecule을 포함하지만, 엔진의 효율을 이해하기 위해 모든 molecule의 trajectory를 계산할 필요는 없다. thermodynamics는 temperature, pressure 같은 macroscopic observable로 system을 설명했고, statistical mechanics는 나중에 그 macroscopic law가 microscopic constituent의 statistical behavior에서 어떻게 emergent하는지 연결했다.
이 비교의 요점은 “neural network가 물리계와 똑같다”는 주장이 아니다. 방법이 비슷할 수 있다는 뜻이다. neural network의 microscopic law는 사실 이미 알고 있다. input이 weight와 nonlinear transformation을 거쳐 output으로 가는 computation rule은 사람이 직접 만들었다. 어려운 것은 왜 특정 training procedure를 거친 거대한 network가 어떤 function을 선택하는가이다.
즉 physics에서 atom의 존재를 추론해야 했던 것과 달리 neural network에서는 neuron과 parameter가 이미 주어져 있다. 우리의 과제는 아래에서 위로 모든 detail을 재현하는 것이 아니라, 많은 component의 statistics에서 어떤 macroscopic regularity가 생기는지 찾는 것이다.
어떻게 계산하는가
layer, neuron, weight, bias, activation이 input을 output으로 변환하는 rule이다. network를 정의하면 이미 알고 있다.
왜 그 함수를 선택하는가
random initialization, architecture, data, learning algorithm이 모여 어떤 trained-function distribution을 만드는지 묻는다.
저자들이 강조하는 또 하나의 원칙은 predictive accuracy와 tractability 사이의 tradeoff다. 계산 가능성을 위해 simplification은 필요하지만, empirical reality와의 연결이 짧아야 한다. 이때 effective theory는 모든 detail을 보존하는 theory가 아니라, 관측 가능한 behavior를 설명하는 데 필요한 detail만 남기는 theory이다.
Network를 하나의 함수로 놓고
문제를 다시 정의한다
The first abstraction is not “a model with layers,” but a random parameterized function.
Figure 0.1은 input \(x\)가 여러 hidden layer의 signal을 거쳐 output \(f(x;\theta)\)로 가는 simple multilayer network를 그린다. 그림의 white circle은 neuron, 연결선과 firing threshold에 숨어 있는 것이 parameter \(\theta\)다. 이 구조를 잠시 접어 두고 network 전체를 하나의 parameterized function으로 쓰면
가 된다. 여기서 \(x\)는 input이고, \(\theta\)는 function의 shape를 결정하는 고차원 parameter vector다.
실제 deep learning은 이 \(\theta\)를 두 단계로 다룬다. 먼저 computationally simple distribution에서 random initialization을 뽑는다.
그 다음 training data의 pair \((x,f_\star(x))\)를 이용해 parameter를 조정하여 target function을 approximate한다.
Chapter 0에서 저자들의 최종 target은 parameter 자체가 아니다. trained network function \(f(x;\bar\theta)\)와 그 function이 training data를 이용해 unseen input을 어떻게 approximate하는지 이해하는 것이다.
이 perspective는 중요한 방향 전환이다. parameter 하나하나의 의미를 해석하는 대신, initialization ensemble과 training을 거친 뒤 어떤 function들이 얼마나 자주 나오는지를 묻는다. 따라서 theory의 natural object는 결국 trained-function distribution \(p(f)\)가 된다.
이론을 막는 세 벽:
무한 Taylor hierarchy, randomness, nonlinear training
Chapter 0 makes the difficulty explicit before trying to simplify it.
trained parameter \(\bar\theta\) 주변의 function을 이해하려면 initialized parameter \(\theta\) 주위에서 Taylor expansion을 생각할 수 있다.
이 식은 동시에 세 가지 난점을 드러낸다.
끝없는 derivative
parameter change가 크면 \(f,df/d\theta,d^2f/d\theta^2,\ldots\)를 몇 차까지 남겨야 할지 알 수 없다.
random functions
\(\theta\sim p(\theta)\)이므로 function과 모든 derivative가 random object가 된다. joint distribution 전체를 알아야 한다.
training dynamics
\(\bar\theta\)는 initialization, data, algorithm, iterative nonlinear dynamics 전체에 복잡하게 의존한다.
Problem 2를 distribution mapping으로 쓰면 이 어려움이 선명해진다.
Problem 3에서는 trained parameter가 단순한 minimizer 하나가 아니라 initialization realization, function derivatives, training data, learning algorithm의 functional이다. 따라서 일반 parameterized function에 대해 이 문제를 정확히 풀려는 시도는 사실상 막힌다.
그래서 저자들은 generality를 버린다. 관심 대상이 “모든 parameterized function”이 아니라 neural network라는 구조적 사실을 적극 활용한다. 이때 등장하는 것이 principle of sparsity이다.
무한폭은 문제를 거의 다 푼다.
그래서 오히려 현실을 놓친다
The cleanest theory is also too clean.
neural network의 scale을 키우는 방법은 크게 두 가지다. width \(n\)을 늘리거나 depth \(L\)을 늘릴 수 있다. Chapter 0는 먼저 width를 무한대로 보내는 limit
을 선택한다. 이 limit는 실제 computer에서 구현할 수 없는 이상화지만 세 문제를 놀랄 만큼 정리한다.
- 01Derivative sparsity. \(k\ge2\)인 higher derivative contribution이 effective하게 사라져 \(f\)와 \(df/d\theta\)만 남는다.
- 02Statistical factorization. function과 derivative의 joint distribution이 단순한 marginal product로 factorize된다.
- 03Linearized training. training dynamics가 linear해지고 learning algorithm의 세부에 대한 dependence가 사라져 closed-form description이 가능해진다.
그 결과 trained function distribution은 nonzero mean을 가진 simple Gaussian description으로 내려간다. 많은 incoming signal이 law-of-large-numbers식 averaging을 거치면서 개별 interaction detail을 씻어 내기 때문이다. 저자들은 이 현상을 effective description의 sparsity로 해석한다.
그러나 중요한 현실도 함께 지워진다
문제는 strict infinite width가 multilayer deep learning을 너무 많이 단순화한다는 데 있다. 원문이 강조하는 mismatch는 두 가지다.
첫째, 실제 trained network의 behavior는 learning algorithm에 따라 달라질 수 있는데 infinite-width leading theory에서는 그 dependence가 사라진다. 둘째, hidden representation이 initialization에서 사실상 frozen되어 nontrivial representation learning이 일어나지 않는다.
이것은 치명적인 약점이다. deep network의 핵심을 hidden layer가 input을 바꾸는 능력으로 본다면, 그 능력을 제거한 limit는 계산하기 쉽지만 deep learning 자체를 충분히 설명하지 못한다.
따라서 infinite width는 최종 theory가 아니라 zeroth-order starting point가 된다. 이제 width를 아주 크지만 finite하게 되돌려, 지워졌던 interaction을 작은 correction으로 복원해야 한다.
현실은 무한폭에서 한 걸음 뒤에 있다
Treat finite width as a controlled interaction, not as an entirely new problem.
저자들의 선택은 perturbation theory다. small parameter를 inverse width로 두고 trained-function distribution을
로 전개한다. 이 책이 중심적으로 계산하는 것은 first correction까지다.
핵심은 interaction을 복원하면서도 세 문제가 다시 폭발하지 않는다는 점이다. sparsity가 완전히 사라지는 것이 아니라 약해진 형태로 남는다.
| Question | Infinite width | Finite width at O(1/n) |
|---|---|---|
| Taylor hierarchy | \(f,df/d\theta\)만 필요 | \(f,df/d\theta,d^2f/d\theta^2,d^3f/d\theta^3\)까지만 leading correction에 필요 |
| Initialization statistics | simple, factorized Gaussian structure | perturbatively tractable nearly-Gaussian joint distribution |
| Training dynamics | linear, algorithm-independent | dynamical perturbation으로 nonlinear effect를 다루며 algorithm dependence가 manifest하게 복원 |
| Representation learning | frozen / absent at leading theory | neuron interaction을 통해 nontrivial representation learning이 가능 |
Chapter 0가 이 truncation을 “theoretical minimum”으로 보는 이유가 여기에 있다. 너무 단순한 \(n=\infty\)는 중요한 phenomenon을 없애고, full finite network는 직접 다루기 너무 복잡하다. 첫 \(1/n\) correction은 그 사이에서 현실성과 tractability를 동시에 확보하는 가장 낮은 order라는 것이다.
이 order의 trained distribution은 nearly Gaussian이다. Gaussian core를 유지하되 finite-width interaction이 perturbative non-Gaussian correction으로 들어온다. 이후 책 전체의 effective theory는 이 구조를 구체화한다.
진짜 expansion parameter는
1/n이 아니라 L/n이다
Width controls each interaction; depth determines how many times it accumulates.
Chapter 0의 마지막 전환은 quantitative하다. 단순히 width가 크면 \(1/n\) correction이 작을 것 같지만, network가 깊으면 작은 correction이 layer마다 누적될 수 있다. 그래서 truncation error의 실제 scale은 width \(n\) alone이 아니라 depth \(L\)과의 ratio
가 된다. 이 ratio는 “deep”을 절대적인 layer 수가 아니라 width에 대한 상대적인 depth로 다시 정의한다.
| Regime | Interaction | Effective-theory interpretation |
|---|---|---|
| \(r\to0\) | neuron interaction off | infinite-width description이 괜찮다. 그러나 relative depth가 0이므로 effectively deep하지 않다. |
| \(0<r\ll1\) | nontrivial but perturbative | first \(1/n\) correction이 현실적인 finite-width network를 정확히 설명할 수 있는 effectively-deep regime이다. |
| large \(r\) | strong coupling and large fluctuations | instantiation-to-instantiation variation이 커져 simple effective description이 깨지는 overly-deep regime이다. |
이 구분은 later chapter 전체를 예고한다. Chapter 0에서는 정확한 optimal boundary를 계산하지 않지만, finite-width interaction의 누적이 depth와 결합해 theory의 validity range를 정한다는 구조를 미리 제시한다. 뒤의 Appendix A는 information-theoretic criterion으로 optimal aspect ratio를 추정하고, Appendix B는 residual connection이 그 scale을 더 큰 값으로 이동시킬 수 있음을 보인다.
이 장에서 이미 결정된 연구 프로그램
- 01Object: individual trained parameter가 아니라 trained-function distribution \(p(f)\)를 계산한다.
- 02Baseline: \(n\to\infty\)에서 Gaussian·linear·sparse theory를 얻는다.
- 03Correction: \(1/n\) expansion으로 finite-width neuron interaction을 복원한다.
- 04Phenomena: learning-algorithm dependence와 representation learning을 theory 안으로 다시 넣는다.
- 05Control parameter: accumulated interaction을 \(r=L/n\)로 추적한다.
무엇을 아직 말하지 않는가
Chapter 0는 programmatic chapter다. 여기서는 later chapter의 detailed derivation을 수행하지 않는다. infinite-width factorization, Gaussian trained distribution, derivative truncation, algorithm independence, \(1/n\) restoration의 구체적인 mathematical mechanism은 이후 장에서 증명되고 계산된다.
따라서 이 장의 가장 중요한 결과는 numerical prediction이 아니다. 문제를 어떻게 자를 것인가에 대한 설계다. theory는 microscopic parameter를 모두 보존하지 않고 observables와 distributions로 올라간다. 먼저 solvable limit를 만든 뒤, 현실과 어긋나는 phenomenon을 perturbatively 복원한다. 그리고 depth와 width를 하나의 effective scale로 묶는다.