신경망은 무엇을 배우는가 — 함수, 구조, 그리고 확률분포의 관점

함수의 난이도는 값 계산보다 “규칙을 적는 일”에서 생긴다

항등함수 \(f(x)=x\)는 거의 설명이 필요 없다. 지수함수도

처럼 간결한 규칙으로 쓸 수 있다. 반면 픽셀 벡터 \(x\)를 받아 고양이 이미지면 1, 아니면 0을 출력하는 함수는 인간이 실제로 계산할 수 있음에도 그 규칙을 elementary operation의 짧은 목록으로 적기 어렵다. 이 장은 AI가 주로 이런 종류의 함수를 다룬다고 설명한다.

해결책은 목표 함수 \(f(x)\)를 직접 쓰지 않고, 조정 가능한 parameter \(\theta\)를 가진 flexible family \(\{f(x;\theta)\}\)를 만든 뒤

가 되도록 \(\theta\)를 조정하는 것이다. 이것이 function approximation이며, parameter를 조정하는 절차가 learning algorithm이다.

규칙을 쓰는 대신 예를 보여 준다

입력 데이터는 \(N_D\)개의 \(n_0\)-차원 벡터로

처럼 표기한다. \(\alpha\)는 sample index, \(i\)는 input-vector component index이다. 고양이 예제에서는 \(x_{i;\alpha}\)가 \(\alpha\)번째 이미지의 \(i\)번째 pixel에 해당한다. training은 이런 sample들을 이용해 model parameter를 조정하고 정답에 가까운 출력을 내도록 하는 과정이다.

저자들은 이것을 전통적인 von Neumann식 프로그래밍과 대비한다. 기계학습은 사람이 규칙을 완전히 명시하지 않고 데이터를 통해 parameter를 맞추는 방식이다. 이 책은 그중에서도 많은 유사한 layer를 쌓는 neural network를 function approximator로 삼는 deep learning에 집중한다.

한 neuron은 증거를 합친 뒤 비선형 규칙으로 반응한다

입력 signal \(s_j\)에 weight \(W_{ij}\)를 곱해 더하고 bias \(b_i\)를 더한 값이 preactivation이다.

그다음 activation function \(\sigma\)를 componentwise로 적용한다.

\(n_{\mathrm{out}}\)개의 neuron이 모인 한 layer는 \(n_{\mathrm{in}}\)-차원 signal을 \(n_{\mathrm{out}}\)-차원 activation으로 바꾼다. layer의 learnable parameter는 bias vector와 weight matrix이고, activation function 자체는 여기서는 고정된 설계 선택이다.

layer의 output을 다음 layer의 input으로 보내면 깊이가 생긴다

첫 layer와 이후 layer의 preactivation은 다음 recursion으로 정의된다.

최종 layer의 preactivation이 network function의 출력이 된다.

layer 수 \(L\)이 depth이고 hidden layer의 neuron 수 \(n_1,\ldots,n_{L-1}\)가 width다. 입력·출력 dimension인 \(n_0,n_L\)은 task가 정하지만 hidden width와 depth는 architecture hyperparameter다.

dense connectivity의 대가는 parameter 수로 지불한다

모든 layer의 weights와 biases를 하나의 vector \(\theta\)로 모으면 parameter 수는

이다. width에는 대략 quadratic, depth에는 linear하게 늘어난다. 원문 Figure 2.1의 예시는 \(L=4\), input dimension \(n_0=4\), output dimension \(n_4=1\), hidden width \(n_1=n_2=n_3=5\)인 MLP이며 총 \(P=91\)개의 parameter를 갖는다. 연결 graph는 signal이 한 방향으로만 흐르는 directed acyclic graph이므로 MLP를 feedforward network라고도 부른다.

Figure 2.1의 오른쪽은 neuron 내부를 세 단계로 확대한다. weighted signal과 bias를 합쳐 preactivation을 만들고, activation을 계산한 뒤, 다음 layer로 넘어갈 때 다시 weight를 곱한다. 이 반복이 network 전체의 계산을 만든다.

hidden variable은 임시 계산값이면서 동시에 representation이다

중간 layer의 preactivation과 activation은 최종 output에 직접 노출되지 않기 때문에 hidden layer라고 부른다. 형식적으로는 더 유연한 함수족을 만들기 위한 intermediate variable이다. 하지만 학습 관점에서는 입력에 대한 유용한 정보를 encoding하는 representation으로 해석할 수 있다. 고양이 예제라면 어떤 neuron은 꼬리, 수염, 털 무늬 같은 feature에 반응할 수 있다는 직관을 제시한다.

모든 함수족이 같아 보여도 학습하기 쉬운 함수는 다르다

dataset의 구조를 알고 있다면 architecture에 inductive bias를 넣어 target function에 더 적합한 함수족을 만들 수 있다. Chapter 2는 computer vision과 NLP를 대표 예로 든다.

convolution layer를 MLP 관점에서 보면 sparse connection과 shared weight를 강제로 부여한 특수한 layer로 볼 수 있다. 같은 weight를 여러 spatial location에 사용하기 때문에 물체가 이미지 어디에 있든 동일한 feature를 검출하도록 translation-related inductive bias를 심는다.

원문은 이 식을 MLP iteration equation을 architecture-specific equation으로 바꿔 끼우는 한 예로 사용한다. 책의 effective-theory formalism도 같은 방식으로 다른 architecture에 확장할 수 있다는 주장이다.

단순하기 때문에 선택한 것이지, 다른 architecture를 무시해서가 아니다

MLP는 모든 neuron이 다음 layer의 모든 neuron과 연결되기 때문에 fully-connected network(FCN)라고도 한다. 책은 dense connectivity보다 layer stacking과 depth에 초점을 맞추기 위해 MLP라는 명칭을 주로 사용한다.

저자들의 의도는 MLP에서 발견한 원리가 layer를 반복해서 쌓는 다양한 architecture에 일반화될 것이라는 데 있다. CNN은 iteration rule을 바꿔 넣고, residual network는 Appendix B에서 다루며, 마지막에는 ResNet과 transformer까지 formalism을 확장할 수 있는 방향을 설명한다고 예고한다.

각 함수는 정보 전달, 비선형성, scale 특성에서 다른 대가를 치른다

ReLU 계열의 중요한 특징은 input scale이 바뀌어도 모양이 바뀌지 않는다는 것이다

scale-invariant activation은 모든 양의 \(\lambda\)에 대해

를 만족한다. Chapter 2는 이 조건을 만족하는 activation이 본질적으로 origin 양쪽에서 서로 다른 일정한 slope를 갖는 piecewise-linear 형태뿐임을 짧게 보인다.

linear, ReLU, leaky ReLU가 여기에 속한다. 반대로 tanh는 작은 \(|z|\)에서는 거의 linear이지만 큰 \(|z|\)에서 saturate하기 때문에 \(|z|\sim1\)이라는 intrinsic scale이 생긴다. softplus, SWISH, GELU도 ReLU를 smooth하게 만드는 대신 intrinsic scale을 도입해 strict scale invariance를 깨뜨린다.

Figure 2.2의 시각적 메시지도 여기에 있다. plot을 확대·축소해도 linear/ReLU 계열은 형태가 유지되지만 perceptron, sigmoid, tanh 같은 non-scale-invariant 함수는 특정 scale을 기준으로 모양이 달라진다.

ReLU의 kink는 작지만, layer를 쌓으면 그 비선형성이 누적된다

scale-invariant family 중 linear activation만 예외다. ReLU와 leaky ReLU는 origin에서 slope가 바뀌는 kink 때문에 nonlinear하다. 이러한 activation을 여러 layer에 반복해 합성하면 network의 input-output 관계가 점점 더 복잡한 nonlinear function이 된다. 저자들은 이후 §5와 §9에서 signal propagation, §10에서 training 관점으로 activation의 적합성을 다시 평가할 것이라고 예고한다.

모든 neuron을 똑같이 시작시키면 width가 있어도 사실상 하나처럼 움직인다

모든 bias와 weight를 0으로 초기화하면 같은 hidden layer의 neuron 사이 permutation symmetry가 깨지지 않는다. 각 neuron이 같은 계산을 수행하므로 넓은 layer를 만들어도 실질적으로는 hidden layer마다 neuron 하나만 있는 것처럼 행동한다.

가장 간단한 symmetry-breaking 전략은 각 bias와 weight를 어떤 probability distribution에서 독립적으로 샘플링하는 것이다. 문제는 아무 distribution이나 고르는 것이 아니라, function approximation에 유리한 ensemble을 만드는 distribution을 고르는 데 있다.

Gaussian은 계산하기 쉽고 샘플링하기 쉬워 이론과 실무의 공통 출발점이 된다

책은 zero-mean Gaussian으로 bias와 weight를 독립 초기화한다. covariance는

로 정한다. \(C_b^{(\ell)}\)와 \(C_W^{(\ell)}\)는 layer별 initialization hyperparameter다. weight variance의 \(1/n_{\ell-1}\) normalization은 neuron 하나가 이전 layer의 많은 random weighted signal을 합칠 때 scale이 width와 함께 폭주하지 않도록 한다. weight 자체의 전형적 크기로 보면 \(1/\sqrt{n_{\ell-1}}\)에 해당한다.

학습은 초기 parameter에서 시작하므로 초기 ensemble의 통계가 난이도를 바꾼다

대부분의 학습 알고리즘은 initialization에서 시작해 parameter를 반복적으로 수정한다. 따라서 초기 network output의 분포가 너무 작게 붕괴하거나 너무 크게 폭주하면 target function으로 이동하기 어렵다. Chapter 2는 여기서 구체적인 “좋은 값”을 아직 결정하지 않고, 이후 effective theory가 initialization hyperparameter를 설정하는 prescription을 제공할 것이라고 예고한다.

같은 architecture와 dataset이라도 초기 parameter를 다시 뽑으면 다른 function이 나온다

dataset \(D\)에서 MLP output은 \(z_{i;\alpha}^{(L)}=f_i(x_\alpha;\theta)\)이다. \(\theta\)를 initialization distribution \(p(\theta)\)에서 다시 샘플링할 때마다 output도 달라지므로 \(z^{(L)}\) 자체가 random variable이 된다.

따라서 관심 대상은 parameter density를 그대로 보는 것이 아니라 parameter를 적분해 얻는 output distribution이다.

실무적으로는 이 초기 output distribution의 성질이 training difficulty와 연결되고, 이론적으로는 단순한 Gaussian parameter distribution이 network의 nonlinear composition을 통과한 뒤 어떤 output statistics를 만드는지 계산해야 한다.

parameter와 input을 알면 output은 확정적이다 — Dirac delta가 그 사실을 확률식으로 쓴다

\(\theta\)와 \(D\)가 주어지면 MLP iteration equation으로 output은 완전히 결정된다. 이 deterministic relation \(z=s\)를 probability distribution으로 표현하는 도구가 Dirac delta다.

이 정의에는 normalization \(\int dz\,\delta(z-s)=1\), mean \(s\), zero variance가 모두 포함된다. 원문은 Dirac delta를 variance가 0으로 가는 Gaussian의 극한으로도 보여 준다.

그리고 계산에 유용한 Fourier-type representation을 도출한다.

책은 Dirac delta가 엄밀히는 function이 아니라 distribution이며, continuous variable에 대한 Kronecker delta의 대응물이라고 덧붙인다. 또한 \(\mathbb E[f(z)]=f(\mathbb E[z])\)가 성립하는 deterministic distribution을 self-averaging이라는 말로 설명한다.

network equation을 delta constraint로 바꾸면 parameter를 적분할 수 있는 문제로 변한다

한 layer network에서는 모든 sample과 output neuron에 대해 MLP equation을 만족시키는 Dirac delta를 곱하고 bias·weight distribution과 함께 적분한다. 일반 layer transition도 같은 방식으로

처럼 쓸 수 있다. Chapter 2는 이를 더 일반화해 어떤 parameterized model \(f_i(x_\alpha;\theta)\)에도 다음 표현을 준다.

이 식이 Chapter 1의 Gaussian integration과 perturbation theory를 neural network에 연결한다. 책이 “pretraining”에서 준비한 계산법은 바로 이런 적분을 수행하기 위한 것이었다.

Chapter 2는 신경망을 설명하는 장이 아니라, 무엇을 이론적으로 설명해야 하는지 정하는 장이다

표면적으로 이 장은 neuron, MLP, activation, initialization을 소개하는 입문 장처럼 보인다. 그러나 책 전체의 관점에서 더 중요한 내용은 마지막에 있다. microscopic parameter를 random variable로 정의한 뒤, 그 randomness가 neural activity와 output에 어떤 distribution을 유도하는지 묻는 순간 신경망은 단순한 computation graph에서 statistical object로 바뀐다.

Chapter 1이 Gaussian과 nearly-Gaussian distribution을 계산하는 언어를 준비했다면, Chapter 2는 그 언어를 어디에 적용할지 정한다. parameter 자체가 아니라 preactivation, representation, output의 통계다. 다음 장 이후에는 width와 depth, initialization hyperparameter가 이 통계를 어떻게 바꾸는지가 본격적인 연구 대상이 된다.