깊이는 분포를
어떻게 바꾸는가

이론은 복잡한 곳에서 시작하지 않는다. 가장 단순한 기준점을 정확하게 세운다. 데이터셋 \(D=\{x_{i;\alpha}\}\)가 있고, 첫 층의 preactivation은 입력의 선형결합과 bias의 합이다.

초기화된 bias와 weight를 서로 독립인 평균 0의 Gaussian으로 잡으면, 선형결합인 \(z^{(1)}\) 역시 Gaussian이다. 여기까지는 놀랍지 않다. 중요한 것은 저자들이 그 사실을 상관함수의 언어와 action의 언어 두 방식으로 다시 세운다는 점이다. 이후 유한폭 보정을 계산하려면 ‘가우시안이다’라는 말만으로는 부족하기 때문이다.

Wick contraction이 보여주는 것

평균이 0이므로 one-point correlator는 0이고, 홀수 개의 preactivation을 곱한 모든 odd-point correlator도 0이다. 두 점 상관은 하나의 data-dependent metric으로 정리된다.

여기서 \(G^{(1)}_{\alpha\beta}\)는 단순한 숫자 하나가 아니다. 서로 다른 두 입력이 첫 층에서 얼마나 상관된 preactivation을 만드는지를 기록한다. 네 점 상관을 계산하면 모든 항이 두 점 상관의 pairwise product로 분해된다. 따라서 connected four-point correlator는 정확히 0이다. 같은 이유로 모든 higher connected correlator도 사라진다. 이것이 Gaussian 분포의 지문이다.

확률분포를 action으로 다시 쓰기

가우시안 분포는 quadratic action으로 표현된다. 표본 인덱스에 대한 역행렬 \(G^{-1}\)를 위첨자 형태로 쓰면 다음 구조다.

저자들은 이것을 Wick contraction으로만 끝내지 않고 Hubbard–Stratonovich 변환을 이용해 다시 유도한다. Dirac delta로 네트워크의 forward relation을 강제한 뒤 auxiliary variable을 도입하고 Gaussian weight와 bias를 적분해 없애면 같은 quadratic action이 남는다. 두 유도는 목적이 다르다. Wick 방식은 correlator를 잘 보여주고, algebraic 방식은 이후 층을 적분해 effective action을 얻는 절차와 자연스럽게 이어진다.

두 번째 층의 식은 첫 층과 비슷해 보인다. 차이는 입력 대신 첫 층의 activation \(\sigma(z^{(1)})\)가 들어간다는 사실뿐이다. 그런데 바로 그 작은 차이가 분포의 성격을 바꾼다.

첫 층의 preactivation을 고정해 놓고 보면 두 번째 층의 조건부 분포는 여전히 Gaussian이다. 그러나 그 Gaussian의 분산 \(\widehat G^{(2)}\) 자체가 첫 층의 확률변수에 의존한다. 즉 Gaussian들의 혼합이 된다. 조건부로는 단순하지만, 이전 층을 적분해 버린 marginal distribution은 일반적으로 Gaussian이 아니다.

평균 metric과 fluctuation을 분리한다

저자들은 stochastic metric을 평균과 요동으로 나눈다. 평균은

이고, \(\Delta\widehat G^{(2)}=\widehat G^{(2)}-G^{(2)}\)는 평균 0의 fluctuation이다. 흥미로운 것은 이 fluctuation의 variance다. 서로 다른 뉴런의 항은 독립이라 대부분 상쇄되고 같은 뉴런에서 나온 항만 남아 전체 크기가 \(1/n_1\)로 줄어든다. 그 계수를 four-point vertex \(V^{(2)}\)라고 부른다.

폭이 넓어질수록 여러 뉴런의 평균이 self-averaging을 일으켜 이 fluctuation이 줄어든다. \(n_1\to\infty\)이면 사라진다. 하지만 유한한 \(n_1\)에서는 남는다. 그리고 그 잔여분이 두 번째 층의 connected four-point correlator를 만든다.

이 한 식이 4장의 문을 연다. 비가우시안성은 막연한 ‘복잡성’이 아니라 폭의 역수로 정량화되는 구조적 효과다. 네트워크가 넓으면 작지만 0은 아니다. 무한폭 이론은 이 항을 없애고 얻는 leading approximation인 셈이다.

quadratic만으로는 안 된다: quartic action

connected four-point correlator가 0이 아니므로 quadratic action만으로는 분포를 재현할 수 없다. 첫 번째 비가우시안 보정을 표현하는 가장 낮은 차수의 항은 quartic이다.

여기서 \(g\)는 quadratic coupling, \(v\)는 quartic coupling이다. 중요한 점은 둘 다 입력 데이터에 의존한다는 것이다. 같은 네트워크라도 어떤 입력 집합을 보느냐에 따라 effective interaction이 달라진다. 또한 \(v=O(1/n_1)\)이므로 충분히 넓은 네트워크에서는 Gaussian 주위의 perturbation으로 다룰 수 있다.

저자들은 이 결과도 두 번 유도한다. 하나는 correlator를 직접 계산해 action의 coupling을 맞추는 combinatorial 방법이고, 다른 하나는 stochastic metric을 평균 주변에서 전개하고 Schwinger–Dyson식 조작으로 이전 층을 적분하는 algebraic 방법이다. 두 경로가 같은 quartic action에 도달한다는 것은 이 구조가 계산 요령의 산물이 아니라 분포 자체의 성질이라는 뜻이다.

둘째 층까지 계산했다면 셋째 층부터는 원리가 같다. 다만 이전 층이 더 이상 정확한 Gaussian이 아니라 nearly-Gaussian이라는 점이 추가된다. 저자들은 복잡성을 세 단어로 정리한다. recursion, action, large-width expansion이다.

인접 층의 joint distribution은 \(p(z^{(\ell+1)},z^{(\ell)}|D)=p(z^{(\ell+1)}|z^{(\ell)})p(z^{(\ell)}|D)\)로 분해된다. 현재 층을 적분하면 다음 층이 나온다. 이 반복 구조가 깊이를 ‘계산 가능한 시간축’처럼 바꾼다.

가장 일반적인 action은 짝수 차수로 전개된다

Gaussian weight와 bias 초기화의 대칭성 때문에 odd-point correlator는 사라진다. 따라서 action은 quadratic, quartic, sextic처럼 짝수 차수 항으로 전개할 수 있다.

이제 폭이 큰 경우 \(n_1,\ldots,n_{L-1}\sim n\gg1\)를 생각한다. 귀납적으로 metric \(G^{(\ell)}\)과 vertex \(V^{(\ell)}\)가 \(O(1)\)이라고 두면 quartic coupling은 \(v^{(\ell)}=O(1/n)\)이 된다. 그러면 higher-order interaction은 더 높은 \(1/n\) 차수로 밀려나고, 원하는 정밀도에서 action을 잘라낼 수 있다.

두 점과 네 점의 flow

leading order에서 두 점 상관은 familiar한 kernel recursion을 따른다.

네 점 vertex의 재귀에는 두 종류의 항이 나타난다. 첫째, 같은 뉴런 안에서 activation의 네 점 상관 때문에 새 비가우시안성이 생성된다. 둘째, 이전 층에 이미 있던 \(V^{(\ell)}\)가 서로 다른 뉴런 사이의 covariance를 통해 다음 층으로 전달된다. 그래서 deeper layer의 비가우시안성은 매 층 새로 생기면서 동시에 과거의 상호작용을 물려받는다.

따라서 infinite-width theory와 finite-width theory의 관계는 경쟁 관계가 아니라 perturbative hierarchy다. 전자는 leading order이고, 후자는 현실적 폭에서 무엇이 빠졌는지 순서대로 복구한다.

marginalization은 이 장의 계산 기법이면서 동시에 철학이다. 우리가 관심 있는 observable이 몇 개의 샘플과 몇 개의 뉴런에만 의존한다면, 나머지 변수는 끝까지 들고 갈 이유가 없다. 적분해 없애도 observable은 변하지 않는다.

샘플을 줄이면 고차원 적분이 저차원 적분이 된다

전체 데이터셋에 \(N_D\)개 샘플이 있더라도 두 점 correlator에 필요한 Gaussian integral은 해당 두 샘플의 \(2\times2\) metric submatrix만 알면 된다. 네 점 vertex라면 최대 네 샘플이면 된다. 전체 데이터셋 차원의 적분을 매번 수행할 필요가 없다. 다만 제한된 subspace에서 metric의 inverse를 다시 계산해야 한다.

뉴런을 줄이면 ‘quartic도 O(n)’이라는 착시가 사라진다

겉으로 보면 quadratic term에는 뉴런 합이 하나, quartic term에는 두 개 있으므로 둘 다 \(O(n)\)처럼 보일 수 있다. 그렇다면 quartic interaction이 작은 perturbation이라는 주장이 흔들린다. 하지만 실제 observable 하나가 동시에 무한히 많은 뉴런을 참조하지는 않는다.

관심 observable에 등장하는 뉴런이 \(m_\ell\ll n_\ell\)개라면 나머지 spectator neuron을 marginalize할 수 있다. 그러면 quadratic contribution은 \(O(m_\ell)=O(1)\), quartic contribution은 \(O(m_\ell^2/n_{\ell-1})=O(1/n)\)가 된다. perturbative counting이 회복된다.

coupling은 변하지만 observable은 변하지 않는다

부분 marginalization을 하면 action의 coupling 값은 바뀐다. 한 입력만 보는 예에서 뉴런을 \(n_\ell\)개에서 \(m_\ell\)개로 줄이면 quadratic coupling \(g^{(\ell),m_\ell}\)도 달라져야 한다. 그래야 같은 metric \(G^{(\ell)}\), 즉 같은 observable을 재현한다. 이것이 ‘running coupling’의 가장 작은 모형이다.

유한폭에서는 모든 correlator에 끝없는 보정이 붙는다. 그렇다고 이론이 무너지지는 않는다. 폭이 충분히 크면 그 보정은 정돈된 급수로 배열된다.

leading metric에 새 이름이 붙는다. 바로 kernel \(K\)이다. strict infinite-width limit에서 preactivation distribution을 완전히 기술하는 두 점 구조다. 그 다음 항 \(G^{\{1\}}\)은 NLO(next-to-leading-order) metric이다.

NLO recursion을 얻으려면 두 효과를 동시에 추적해야 한다. 하나는 quadratic coupling 자체의 \(1/n\) 보정이고, 다른 하나는 quartic interaction이 Gaussian expectation을 변형하는 효과다. 저자들은 두 항을 분리해 계산한 뒤 다시 합쳐 \(G^{\{1\}(\ell+1)}\)의 재귀식을 얻는다. 이 과정에서 spectator neuron이 만드는 겉보기 큰 항이 정확히 상쇄되는 것도 marginalization rule과 일치한다.

원하면 더 멀리 갈 수 있다

이 방법은 quartic에서 끝나는 근사가 아니라 체계적인 expansion이다. \(1/n^2\) 수준으로 가면 leading sextic coupling이 등장하고 connected six-point correlator를 설명한다. 더 높은 정밀도가 필요하면 더 높은 짝수 차수 interaction을 추가하면 된다.

마지막 절에서 저자들은 앞의 계산을 한 문장으로 다시 읽는다. 층이 바뀔 때 preactivation의 통계가 흐른다. 첫 층의 독립 뉴런에서 시작해 둘째 층에서 interaction이 생기고, deeper layer에서는 그 interaction이 새로 만들어지면서 이전 층에서 전달된다.

네 점 vertex \(V\)에도 대응하는 recursion이 있고, 이것이 finite-width interaction의 depth dependence를 추적한다. 이 두 재귀식은 분포를 매 층 직접 고차원 적분하는 대신, 소수의 effective objects가 어떻게 변하는지 계산하게 해준다.

Representation Group Flow

저자들은 한 뉴런을 입력의 scalar function이라는 뜻에서 feature, 한 층의 뉴런 묶음을 vector-valued function이라는 뜻에서 representation이라 부른다. 얕은 층의 fine-grained feature를 차례로 marginalize하면 더 깊은 층의 coarse-grained representation만 남는다. 이 층별 흐름을 representation group flow, 줄여서 RG flow라고 이름 붙인다.

이것은 흔히 말하는 ‘초기 층은 edge 같은 낮은 수준 특징을, 중간 층은 texture와 part를, 마지막 층은 object 수준 표현을 만든다’는 직관을 확률분포의 변환으로 바꾸려는 시도다. 학습된 네트워크의 실제 feature hierarchy는 별개의 경험적 문제지만, 여기서는 coarse-graining의 수학적 골격이 명확해진다.

Renormalization Group Flow

물리학에서 renormalization group은 미시적인 자유도를 순서대로 적분해 없애며 거시적인 유효이론을 만든다. field를 high-frequency mode \(\phi_+\)와 low-frequency mode \(\phi_-\)로 나누고, 관심 없는 fine mode를 marginalize한다.

신경망에서도 구조가 같다. 전체 preactivation \(z^{(1)},\ldots,z^{(L)}\)의 joint distribution을 생각하고, 출력 \(z^{(L)}\)만 관심 있다면 hidden-layer preactivation을 차례로 적분한다.

물리학에서는 scale이 바뀔 때 coupling이 달라지고, 신경망에서는 depth가 바뀔 때 effective coupling이 달라진다. 둘 다 fine-grained variable을 버리는 비가역적 변환이다. 그래서 엄밀히 말하면 역원이 없는 semigroup이라는 점까지 닮았다.

‘deep’이라는 말을 수식으로 묻기

여기서 관점을 한 번 더 바꿀 수 있다. 지금까지는 고정된 깊이 \(L\)에서 입력이 1층, 2층, …, \(L\)층으로 이동하는 과정을 보았다. 같은 recursion을 네트워크 자체의 깊이를 \(L\)에서 \(L+1\)로 늘렸을 때 output distribution이 어떻게 달라지는가라는 질문으로도 읽을 수 있다.

이때 물리학의 언어가 유용해진다. flow를 따라 커지는 coupling은 relevant, 작아지는 coupling은 irrelevant, 크기가 유지되는 것은 marginal이다. finite-width coupling이 irrelevant라면 깊어질수록 현실의 네트워크가 infinite-width Gaussian model에 가까워질 것이다. 반대로 relevant라면 깊어질수록 작은 유한폭 효과가 중요해진다.

이 장이 실제로 남긴 것

• 01Gaussian baseline. 첫 층의 정확한 Gaussian 구조와 data-dependent metric을 출발점으로 세웠다.
• 02Controlled finite-width correction. 두 번째 층부터 나타나는 비가우시안성을 \(1/n\) 크기의 four-point vertex로 정량화했다.
• 03Recursive effective theory. 임의 깊이에서 kernel과 vertex를 층별로 갱신하는 계산 절차를 만들었다.
• 04Marginalization discipline. 관측에 필요 없는 샘플과 뉴런을 제거해 perturbative counting과 계산 가능성을 동시에 확보했다.
• 05Systematic accuracy. quartic, sextic, higher couplings로 이어지는 \(1/n\) hierarchy를 제시했다.
• 06RG interpretation. deep network의 representation flow를 물리학의 coarse-graining과 구조적으로 연결했다.

읽을 때 지켜야 할 경계

이 장의 매력은 강하지만 적용 범위를 넓혀 말하면 곤란하다. 기본 유도는 Gaussian-initialized MLP를 중심으로 한다. 다른 architecture에서는 conditional distribution을 만드는 forward relation이 달라진다. 저자들은 action과 marginalization의 큰 틀이 확장될 수 있다고 보지만, 자동으로 같은 식이 성립하는 것은 아니다.

또한 여기서 다루는 핵심 대상은 초기화 시점의 ensemble statistics다. 실제 gradient descent가 representation을 어떻게 바꾸는지, 왜 어떤 critical initialization이 좋은지, finite-width fluctuation이 학습 성능에 어떤 영향을 주는지는 이후 장에서 본격적으로 연결된다. 4장의 역할은 그 질문을 다룰 수 있는 언어와 계산기를 만드는 것이다.