깊은 신경망은 언제
깊어져도 무너지지 않는가

왜 deep이 좋은가라는 질문에 “parameter가 많기 때문”이라고 답하면 곧 막힌다. 같은 parameter 수를 더 넓은 한 층에 몰아넣을 수도 있기 때문이다. 5장은 질문을 바꾼다. 한 층을 더 추가했을 때 observable이 어떻게 변하는가를 본다. 이 관점에서 깊이는 숫자가 아니라 동역학이다.

출발점은 이전 장에서 얻은 infinite-width kernel recursion이다. layer-independent bias variance \(C_b\)와 rescaled weight variance \(C_W\)를 두면, 두 입력 \(x_\alpha,x_\beta\) 사이의 kernel은 다음처럼 갱신된다.

선형 activation에서는 Gaussian expectation이 kernel 자체가 되므로 recursion을 곧바로 풀 수 있다. 비선형 activation에서는 두 문제가 생긴다. 첫째, expectation이 \(K\)의 비선형 함수가 된다. 둘째, off-diagonal element \(K_{\alpha\beta}\)가 diagonal element \(K_{\alpha\alpha},K_{\beta\beta}\)와 섞인다. 실전에서는 이 mixing이 표현력을 만드는 자산이지만, 이론에서는 coupled nonlinear recursion이라는 부채가 된다.

먼저 한 입력만 본다

한 입력 \(x_0\)만 고르면 diagonal kernel은 스스로 닫힌 recursion을 이룬다.

이 값은 해당 입력에 대한 preactivation의 평균 제곱 크기다. 일반적인 초기화에서는 깊이가 증가할수록 이 크기가 지수적으로 폭발하거나, 반대로 trivial fixed point로 빠르게 수축한다. 둘 다 좋지 않다. 따라서 fixed point \(K_{00}^{\star}\)를 찾고 그 주위에서 recursion을 선형화한다.

\(\chi_{\parallel}>1\)이면 perturbation이 지수적으로 커지고, \(\chi_{\parallel}<1\)이면 지수적으로 줄어든다. 그래서 첫 번째 criticality condition은 \(\chi_{\parallel}=1\)이다. 말로 바꾸면, 입력 신호의 norm을 “너무 키우지도 너무 죽이지도 않는” 경계에 초기화를 놓는 것이다.

하지만 한 입력만 안정적이어서는 부족하다

분류든 회귀든 학습은 하나의 입력을 오래 보존하는 것만으로 되지 않는다. 서로 다른 입력을 구별해야 한다. 그래서 두 입력 \(x_+,x_-\)를 놓고 full \(2\times2\) kernel을 본다. 두 입력이 같은 점으로 수렴하는 coincident limit에서는 모든 kernel component가 \(K_{00}^{\star}\)로 같아진다.

저자들은 이 kernel을 세 방향으로 분해한다. 전체 평균 크기 \(K_{[0]}\), 두 입력 norm의 차이를 측정하는 \(K_{[1]}\), 그리고 두 입력 자체의 차이를 측정하는 \(K_{[2]}\)다. 각각은 center-of-mass, parallel perturbation, perpendicular perturbation이라는 기하학적 의미를 가진다.

이 분해의 장점은 세 개의 coupled nonlinear recursion을 한꺼번에 풀 필요가 없다는 데 있다. 먼저 midpoint kernel을 풀고, 그 결과로 parallel perturbation을 풀고, 마지막으로 그 둘을 이용해 perpendicular perturbation을 푼다. 일종의 bootstrap이다.

두 입력을 coincident fixed point 주변에서 전개하면 재귀식은 세 줄로 정리된다. midpoint kernel, parallel perturbation, perpendicular perturbation이다.

새 주인공은 perpendicular susceptibility다.

\(\chi_{\parallel}\)가 입력 신호의 평균 크기에 대한 민감도라면, \(\chi_{\perp}\)는 입력을 조금 움직였을 때 preactivation이 얼마나 민감하게 달라지는지 측정한다. 실제로 작은 입력 perturbation \(\delta x\)에 대한 Jacobian norm과 연결되므로, 뒤 장에서 exploding/vanishing gradient 문제와도 만난다.

따라서 criticality는 두 조건을 동시에 요구한다.

첫 조건만 맞추면 한 입력의 크기는 안정적일 수 있지만, 서로 다른 두 입력 사이의 거리가 빠르게 사라지거나 폭발할 수 있다. 둘째 조건만 맞추어도 반대 문제가 생긴다. deep signal propagation은 norm 보존과 relational geometry 보존을 함께 요구한다.

criticality가 나타나는 세 가지 방식

fixed point 근처에서 지수적 변화가 사라졌다고 해서 모든 activation이 똑같이 행동하지는 않는다. 원문은 크게 세 유형을 제시한다.

여기서 ‘nontrivial’은 fixed point가 0인지 아닌지로 구분되지 않는다. 중요한 것은 perturbation이 generic hyperparameter에서처럼 지수적으로 trivial attractor로 무너지는가, 아니면 critical tuning으로 더 완만한 asymptotic behavior를 얻는가이다.

scale-invariant activation은 양의 상수 \(\lambda\)에 대해 \(\sigma(\lambda z)=\lambda\sigma(z)\)를 만족한다. 이 조건을 만족하는 함수는 양수와 음수 구간에서 각각 기울기 \(a_+,a_-\)를 가진 piecewise linear 형태다. linear activation과 ReLU가 모두 이 가족에 들어간다.

이 가족에서는 Gaussian expectation이 정확히 \(g(K)=A_2K\)가 되고, 두 susceptibility도 동일한 상수로 줄어든다.

즉 kernel에 따라 susceptibility가 변하지 않는다. scale이 없으니 특정 kernel scale에 의존할 수도 없다. 복잡했던 nonlinear recursion이 선형 recursion으로 변하고, 세 경우가 명확히 갈린다.

따라서 scale-invariant family의 critical initialization은 깔끔하다.

ReLU에서는 \(a_+=1,a_-=0\)이므로 \(A_2=1/2\)이고 \((C_b,C_W)=(0,2)\)가 된다. 이는 잘 알려진 Kaiming initialization과 일치한다.

그런데 ‘보존’에는 함정이 있다

infinitesimal perturbation analysis만 보면 scale-invariant activation에서는 perpendicular component도 constant처럼 보인다. 하지만 ReLU는 원점에서 매끄럽지 않다. 이 비매끄러움 때문에 finite angle에서는 다른 asymptotic law가 나타난다. 5장은 이 문제를 마지막 §5.5에서 다시 돌아와 해결한다. 즉 여기서의 완벽한 보존은 선형 activation에는 정확하지만, nonlinear scale-invariant activation에는 작은-angle perturbation 범위의 결과다.

물리학의 universality는 미시적인 재료가 달라도 임계점 근처의 거시적 법칙이 같아지는 현상을 가리킨다. 5장은 이 언어를 activation function에 적용한다. 깊은 층으로 representation group flow를 반복했을 때 같은 limiting behavior를 보이면 같은 universality class로 묶는다.

이 관점의 이득은 크다. activation function을 하나씩 외우지 않고, class별 effective theory를 이해하면 된다. 물론 어떤 activation이 어느 class에 들어가는지 먼저 판정해야 한다.

일반 activation에서 critical point를 찾는 알고리즘

가장 직접적인 방법은 \((C_b,C_W)\) 평면을 훑으면서 fixed point를 찾고, 그 점에서 \(\chi_{\parallel}=\chi_{\perp}=1\)이 되는 교점을 찾는 것이다. 하지만 계산이 번거롭다. 저자들은 fixed-point kernel \(K_{00}^{\star}\)를 직접 스캔하는 더 간단한 절차로 바꾼다.

이렇게 하면 fixed-point equation과 \(\chi_{\perp}=1\)을 자동으로 만족시킨다. 남은 것은 \(\chi_{\parallel}=1\) 하나다. 결국 hyperparameter와 무관한 scalar condition을 만족하는 \(K_{00}^{\star}\)를 찾고, 그 값을 위 식에 넣으면 된다. tanh에서는 \(K_{00}^{\star}\to0\)에서 조건이 맞고, critical initialization은 \((C_b,C_W)=(0,1)\)이 된다.

criticality 자체가 불가능한 activation도 있다

이 장은 activation을 무조건 평등하게 취급하지 않는다. 특정 criticality criterion 아래에서 아예 물리적으로 허용되는 해가 없는 함수도 있음을 보인다.

원문은 이 결과를 바탕으로 이런 activation의 사용을 강하게 경계한다. 다만 이를 모든 architecture·optimizer·normalization·residual connection을 포함한 현대 딥러닝 전반의 경험적 순위로 곧바로 일반화해서는 안 된다. 이 장이 직접 증명한 것은 해당 MLP 초기화 이론에서 두 susceptibility를 동시에 critical하게 만들 수 있는가이다.

K=0 universality class: tanh와 sin

analytic activation을 원점 주변에서 Taylor expand하면, smooth activation이 \(K_{00}^{\star}=0\)에 nontrivial fixed point를 가지기 위한 핵심 조건이 나온다.

tanh와 sin이 대표적이다. 이 class에서는 midpoint kernel이 fixed point 0으로 지수적으로 떨어지는 대신 power law로 접근한다. generic한 경우

이다. leading critical exponent \(p_0=1\)은 activation 세부와 무관하다. subleading coefficient는 Taylor coefficient와 입력 norm의 영향을 받지만, 깊이가 커질수록 activation의 세부 정보는 점점 덜 중요해진다. 바로 이 점이 universality의 내용이다.

parallel perturbation은 더 빠르게 \(1/\ell^2\)로 감소해 \(p_{\parallel}=2\)가 된다. odd activation으로 class를 제한하면 perpendicular perturbation은 \(1/\ell\)로 감소해 \(p_{\perp}=1\)이 된다. 따라서 nearby input 사이의 angle은 leading order에서 보존된다.

SWISH와 GELU: half-stable fixed point

SWISH와 GELU는 ReLU를 부드럽게 만든 함수지만 scale invariance를 정확히 갖지는 않는다. 이들의 criticality condition에는 \(K=0\) 이외에 유한한 \(K^{\star}\) 해가 하나 더 생긴다. 문제는 stability가 양쪽에서 같지 않다는 점이다.

저자들의 해석은 분명하다. 둘 다 ReLU-like이지만 특정 scale을 도입하기 때문에 scale invariance가 깨지고, fixed point가 한쪽에서만 안정적이다. 다만 이것 역시 이 장의 초기화 및 signal-propagation 기준에 따른 이론적 판단이며, 현대 모델의 총체적 성능 서열을 의미하지는 않는다.

여기까지는 infinite-width network를 criticality에 맞추는 법을 다뤘다. 그러나 실전에서 쓰는 것은 ensemble의 평균도, 무한폭 모델도 아니다. 유한한 폭을 가진 한 개의 network realization이다. 그래서 5.4는 다시 현실로 돌아온다.

finite width가 중요한 이유는 세 가지다. 첫째, 한 network instance는 ensemble mean에서 벗어날 수 있다. 둘째, infinite width에서는 한 층의 뉴런들이 서로 독립이지만 finite width에서는 interaction이 생긴다. 셋째, mean 자체에도 \(1/n\) correction이 붙어 infinite-width critical tuning을 어긋나게 할 수 있다.

한 입력으로도 핵심 scale은 보인다

모든 hidden layer 폭을 \(n\)으로 통일하고 single-input case를 보면 kernel \(K\), four-point vertex \(V\), NLO metric \(G^{\{1\}}\)의 세 recursion을 추적할 수 있다. 이 가운데 vertex는 instantiation-to-instantiation fluctuation과 neuron interaction의 leading finite-width signal이다.

scale-invariant class: kernel은 멈추고 vertex는 자란다

critical ReLU family에서는 kernel이 깊이에 따라 constant다. NLO metric은 첫 층에서 0이고 recursion이 이를 그대로 보존하므로 모든 층에서 사라진다. 반면 four-point vertex는 선형으로 증가한다.

계수는 activation마다 다르다. linear activation에서는 2, ReLU에서는 5다. 즉 critical exponent는 같은 class에서 공유되지만 fluctuation의 강도까지 universal한 것은 아니다.

K=0 class: vertex는 줄어도 상대적 correction은 커진다

tanh 계열에서는 kernel 자체가 \(K\sim1/\ell\)로 감소하고 vertex도 \(V\sim1/\ell\)로 감소한다. 얼핏 보면 finite-width effect가 사라지는 듯하다. 하지만 관측해야 할 것은 dimensionless ratio다.

scale-invariant class와 K=0 class 모두 같은 \(\ell/n\) scaling을 보인다. 각각의 raw kernel과 raw vertex는 전혀 다르게 움직이는데, 상대적 finite-width correction은 같은 법칙으로 묶인다. 이 장에서 universality가 가장 설득력 있게 드러나는 대목이다.

구체적인 leading coefficient는 다르다. ReLU는 5, tanh는 \(2/3\)이다. 같은 깊이와 폭이라면 scaling law는 같지만 fluctuation의 절대 강도는 activation마다 다를 수 있다.

NLO metric: bare하게 보면 relevant, 다시 tune하면 marginal

K=0 class에서 subleading metric correction을 아무 추가 tuning 없이 계산하면 \(G^{\{1\}}\)이 constant에 가까워지고, kernel이 \(1/\ell\)로 작아지므로 상대 correction \(G^{\{1\}}/(nK)\)가 \(\ell/n\)으로 커진다. 그러나 5장은 여기서 한 번 더 물리학적 사고를 적용한다. infinite-width에서 정한 \(C_b,C_W\)도 finite-width order마다 보정해야 하지 않는가.

그래서 초기화 hyperparameter를 \(1/n\) series로 확장하고 NLO order에서 추가 tuning을 허용한다. K=0 class에서는

로 맞추면 NLO metric은 깊이에 대해 다시 억제되고, kernel 대비 correction은 leading order에서 깊이에 따라 커지지 않는 marginal quantity가 된다. 반면 four-point vertex correction은 여전히 relevant다.

이 차이는 중요하다. 모든 finite-width correction이 똑같이 위험한 것이 아니다. 일부는 더 정교한 initialization tuning으로 제어할 수 있지만, neuron interaction에서 오는 fluctuation은 깊이와 함께 계속 누적된다.

왜 깊이와 폭을 비슷하게 키우면 어려워지는가

\(L\)이 \(n\)에 가까워지면 higher-order \(1/n\) correction까지 critical tuning에 포함해야 한다. 필요한 precision이 점점 미세해져 결국 floating-point representation보다 더 작은 수준의 tuning을 요구할 수 있다. 책은 이런 큰 square network를 실제로 criticality에 맞추는 일이 사실상 불가능해진다고 지적한다.

앞선 analysis에는 한 가지 약점이 있었다. ReLU처럼 원점에 kink가 있는 activation을 매끄러운 함수처럼 작은 perturbation으로 Taylor expand했다는 점이다. infinitesimal analysis에서는 perpendicular perturbation이 constant처럼 보였지만, 실제 finite angle에서는 그렇지 않다.

이를 해결하기 위해 5.5는 두 입력의 norm을 같게 두고, 두 preactivation 사이의 polar angle \(\psi^{(\ell)}\)를 직접 dynamical variable로 선택한다.

scale-invariant criticality에서는 diagonal kernel \(K_d\)가 정확히 constant다. 따라서 남는 문제는 angle 하나의 recursion이다. ReLU의 Gaussian expectation을 quadrant별로 정확히 적분하면 널리 알려진 arc-cosine 구조가 나오고, 일반적인 scale-invariant activation까지 확장하면 activation의 ‘kinkiness’를 하나의 상수 \(\rho\)로 압축할 수 있다.

linear activation은 \(a_+=a_-\)이므로 \(\rho=0\), ReLU는 \(\rho=1/\pi\)다. criticality에서 angle recursion은

가 된다. 선형 activation에서는 \(\rho=0\)이므로 angle이 모든 깊이에서 정확히 보존된다. 하지만 nonlinear scale-invariant activation에서는 angle이 변한다. 작은 angle limit에서 recursion을 풀면

이다. 따라서 perpendicular kernel component는 \(1/\ell^2\)로 감소해 진짜 critical exponent가 \(p_\perp=2\)가 된다. 앞의 infinitesimal analysis가 constant를 예측한 것과 다르다.

왜 perturbation theory는 이 crossover를 못 봤는가

두 입력이 처음부터 아주 가까우면 일정한 듯 보이는 regime이 오래 지속되고, 충분히 깊어진 뒤에야 \(1/\ell^2\) regime으로 넘어간다. 초기 angle이 작을수록 crossover depth는 더 멀어진다. infinitesimal limit에서는 initial separation 자체를 0으로 보내므로 crossover가 사실상 무한대로 밀려난다.

더 직접적인 이유도 있다. angle recursion을 작은 separation의 kernel component로 다시 쓰면 correction에 \((\delta\delta K_{[2]})^{3/2}\) 같은 비정수 power가 등장한다. 평범한 Taylor series는 이런 항을 생성할 수 없다. 그래서 smooth activation에서는 안전했던 perturbative machinery가 ReLU kink에서는 중요한 term을 놓친다.

표면적으로만 보면 5장은 activation별 critical initialization을 계산하는 장처럼 보인다. ReLU에는 \((0,2)\), tanh에는 \((0,1)\), SWISH와 GELU에는 half-stable fixed point가 있다. 그러나 이 장의 더 큰 성과는 숫자 목록이 아니다. 깊이를 따라 어떤 정보가 보존되고 어떤 correction이 커지는지를 분류하는 언어를 만든 데 있다.

연구자 관점에서 읽으면 세 가지 원리가 남는다

• 01depth는 dynamical variable이다. layer recursion을 fixed-point problem으로 바꾸면 “깊어질수록”이라는 말을 수학적으로 다룰 수 있다.
• 02criticality는 relational condition이다. signal norm만 지키는 것이 아니라 서로 다른 입력의 separation도 지켜야 한다. 그래서 \(\chi_{\parallel}\)와 \(\chi_{\perp}\)가 모두 필요하다.
• 03finite width는 nuisance가 아니라 relevant interaction이다. normalized correction이 \(L/n\)으로 커진다는 사실은 깊이를 늘릴수록 infinite-width theory에서 체계적으로 멀어진다는 뜻이다.

이론의 적용 범위도 분명히 해야 한다

이 장의 분석은 기본적으로 Gaussian initialization을 가진 deep MLP의 preactivation statistics를 다룬다. residual connection, normalization, attention, convolution, optimizer dynamics를 직접 포함하지 않는다. 또한 §5.1–§5.3의 주된 criticality 결과는 infinite-width limit에서 먼저 도출되고, §5.4에서 finite-width correction을 추가한다.

따라서 “ReLU가 softplus보다 항상 낫다”거나 “SWISH와 GELU가 실전에서 열등하다”는 식으로 넓혀 말하는 것은 이 장의 증거 범위를 넘어간다. 원문이 보여주는 것은 특정 effective-theory criterion 아래의 critical signal propagation과 fixed-point stability다. 실제 empirical performance는 architecture, training rule, normalization, data distribution 등 추가 요인의 영향을 받는다.

그럼에도 5장의 메시지는 강하다. deep learning에서 initialization을 단순한 시작값으로 보면 핵심을 놓친다. 초기화는 network가 깊이를 따라 어떤 dynamical phase에 놓일지를 결정한다. 그리고 폭이 유한한 순간부터 depth와 width는 독립적인 knob가 아니다. 그 비율 \(L/n\)이 새로운 scale을 만든다.

그리고 이제야 ‘learning’으로 넘어갈 준비가 된다

5장까지의 주인공은 아직 training이 아니다. 초기화된 network ensemble의 effective distribution이다. 하지만 이 준비가 필요한 이유는 분명하다. 학습 중 gradient와 representation이 어떤 식으로 움직이는지 설명하려면, 먼저 학습이 시작되기 전 network가 깊이를 따라 신호를 어떻게 전달하고 어떤 fluctuation을 품고 있는지 알아야 한다. 다음 장부터 이 preactivation distribution은 prior로 해석되고, Bayesian learning과 gradient-based learning을 연결하는 기반이 된다.