딥러닝의 깊이를 “층의 개수”로만 세면 중요한 것을 놓친다. 더 본질적인 질문은 깊은 층으로 갈수록 무엇이 독립적으로 남고, 무엇이 서로 얽히며, 입력을 구별하는 정보가 얼마나 보존되는가이다. Appendix A는 이 질문을 entropy와 mutual information이라는 언어로 다시 쓴다.
이 부록의 묘미는 정보이론을 장식처럼 붙이지 않는 데 있다. infinite width에서는 neuron 간 mutual information이 정확히 0이 되어 “비상호작용”을 다시 확인한다. finite width에서는 nearly-Gaussian interaction 때문에 mutual information이 생기고 깊이에 따라 커진다. 그리고 한 order 더 계산하면, 너무 깊어질 때 higher-order correction이 성장을 꺾으면서 activation-function-dependent optimal depth-to-width ratio가 나타난다.
infinite width는 정보를 깔끔하게 분리하지만 neuron끼리 상호작용하지 않는다. finite width는 독립성을 깨뜨려 representation을 묶는다. 이 상호작용의 크기는 normalized four-point vertex를 통해 측정되며, 최종 층에서는 대략 \(q\equiv \nu L/n\)으로 정리된다. 작은 nonzero \(L/n\)은 정보를 공유하게 하지만 너무 커지면 perturbative control을 잃는다.
이 글은 원서 Appendix A “Information in Deep Learning”, printed pp. 399–424만을 대상으로 한다. 해당 범위에서 별도의 Figure/Table 표기는 확인되지 않았으며, 본문의 SVG와 표는 원문의 수식 관계를 설명하기 위해 새로 구성한 개념 시각화다.
통계역학의 질문을
정보이론으로 다시 묻다
Entropy is the bridge between physical coarse-graining and digital information.
책은 처음부터 deep learning을 theoretical physics의 관점에서 다뤘다. 많은 microscopic parameter가 모여 kernel, variance, critical exponent 같은 macroscopic object를 만든다고 보았다. Appendix A는 이 물리학의 언어를 정보이론과 직접 연결한다. 통계역학과 정보이론은 태어난 시대와 대상은 다르지만, 둘 다 entropy를 중심으로 확률분포의 구조를 요약한다.
여기서 entropy는 단순히 “무질서의 크기”가 아니다. 어떤 관측을 했을 때 평균적으로 얼마나 새로운 정보를 얻게 되는지를 나타내는 양이고, mutual information은 두 관측 사이에 공유된 정보가 얼마나 되는지를 나타낸다. 이 관점은 deep layer에서 neuron들이 독립적인지, 입력 두 개가 representation 안에서 서로 구별되는지, finite width가 neuron 간 통계적 의존성을 어떻게 만드는지를 한 언어로 묶는다.
Appendix A의 전개는 세 단계다. §A.1에서 entropy와 mutual information을 준비한다. §A.2에서 infinite-width Gaussian prior에 적용해 criticality를 정보 보존 관점에서 재해석한다. §A.3에서 finite-width interaction을 maximum-entropy perturbation으로 다루고, mutual information을 최대화하는 depth-to-width scale을 계산한다.
특히 이 부록은 대부분 prior distribution at initialization을 분석한다. 따라서 여기서 얻는 optimal aspect ratio는 supervised test accuracy를 직접 최적화한 결과가 아니다. 저자들이 선택한 auxiliary unsupervised/InfoMax-like criterion에 기반한 architecture-level heuristic이라는 점을 끝까지 기억할 필요가 있다.
Entropy는 놀라움의 평균이고,
Mutual Information은 공유된 놀라움이다
The definitions are simple; the subtleties begin when variables become continuous.
Entropy: 분포 전체의 성질
discrete random variable \(x\in\mathcal X\)에 대해 entropy는
완전히 확정된 분포에서는 0이고, \(|\mathcal X|\)개의 outcome이 균등하면 \(\log|\mathcal X|\)로 최대가 된다. 로그 밑을 2로 쓰면 bit, 자연로그를 쓰면 nat이 된다. 이 부록은 Gaussian 계산과 잘 맞는 자연로그를 사용한다.
개별 outcome의 정보량은 surprisal
로 정의된다. 드문 사건일수록 surprisal이 크다. entropy는 이 surprisal의 평균이다. 그래서 “무질서”와 “기대 정보량”이라는 두 해석이 같은 식에서 만난다.
독립이면 더하고, 의존하면 덜 더한다
두 variable이 독립이면 joint entropy는 정확히 합으로 분해된다.
반대로 의존성이 있으면 joint entropy는 그 합보다 작다. 두 1TB 저장장치가 완전히 독립이면 2TB의 상태 공간을 만들지만, 하나가 다른 하나의 mirror라면 실질 자유도는 1TB에 가깝다. 상관관계가 degrees of freedom을 줄인다는 물리적 직관이다.
원문은 이 subadditivity를 Jensen inequality와 KL divergence의 positivity로 연결한다. KL divergence
를 joint distribution과 marginal product에 적용하면 mutual information이 바로 나온다.
Mutual information: independence에서 얼마나 멀리 떨어져 있는가
따라서 \(I=0\)은 정확히 statistical independence를 뜻한다. 이 성질 때문에 Appendix A에서는 mutual information을 “neuron interaction이 실제로 생겼는가”를 측정하는 자연스러운 지표로 사용한다.
Continuous entropy에는 단위가 들어오지만 mutual information은 살아남는다
continuous variable에서 entropy를 적분으로 쓰면 한 가지 섬세한 문제가 생긴다. 좌표를 \(x\to x'(x)\)로 바꾸면 probability density에 Jacobian이 붙고 entropy는 additive constant만큼 변할 수 있다. 단위를 inch에서 meter로 바꾸는 것만으로 continuous entropy의 절대값이 달라질 수 있다는 뜻이다.
이를 물리적으로 처리하는 한 방법은 측정 가능한 최소 정밀도를 cutoff로 두어 다시 discrete probability처럼 해석하는 것이다. deep learning이라면 floating-point precision이 하나의 후보가 될 수 있다. 다만 이 measurement cutoff와 책 전체의 effective-theory cutoff \(L/n\)은 전혀 다른 개념이다.
반면 mutual information은 coordinate transformation의 Jacobian이 ratio 안에서 정확히 상쇄되어 invariant하다.
그래서 이 부록은 entropy의 절대값보다 mutual information처럼 cutoff-independent한 조합을 최종 물리량으로 삼는다.
세 variable의 정보: redundancy와 synergy
tripartite information은
로 정의된다. 양수이면 세 variable 사이에 information redundancy가 있다는 뜻이다. 하나를 알고 나면 다른 둘 사이에서 새로 배울 정보가 줄어든다. 음수이면 세 variable을 함께 봐야 드러나는 synergy가 있다. 이 부호가 §A.3의 finite-width representation 해석에서 중요한 역할을 한다.
Infinite Width에서는 neuron이 독립이고,
criticality가 입력 정보를 지킨다
A Gaussian prior turns entropy into a direct count of independent degrees of freedom.
Entropy가 neuron 수에 정확히 비례한다
infinite-width MLP의 한 layer에서 \(m\)개의 preactivation을 뽑으면 zero-mean Gaussian distribution을 따른다. dataset covariance를 kernel \(K\)라 하면 entropy는
이다. \(m\)에 정확히 linear하다. 이것은 entropy가 degrees of freedom을 세는 quantity라는 점과 동시에, infinite width에서 서로 다른 neuron이 independent하다는 사실을 보여준다.
실제로 서로 겹치지 않는 두 neuron group \(M_1,M_2\)를 잡으면
이다. infinite-width layer에서 한 neuron group의 activity를 알아도 다른 group의 activity에 대한 정보는 하나도 늘지 않는다. Chapter 5와 10에서 보아 온 “noninteracting theory”를 정보이론이 같은 결론으로 확인한다.
Neuron끼리는 독립이어도 input끼리는 아니다
같은 neuron 하나에 서로 다른 두 input \(x_+,x_-\)를 통과시키면 상황이 달라진다. 두 preactivation은 kernel covariance를 통해 correlated되므로 mutual information이 finite하다.
equal-norm nearby input에서는 이 식이 \(K_{[2]}/K_{[0]}\)라는 dimensionless angle-like ratio 하나로 정리된다. 이 ratio가 0으로 가면 두 representation이 거의 같아져 mutual information이 커진다. 반대로 off-diagonal kernel이 0이 되는 limit에서는 mutual information도 0이 된다.
둘 중 어느 extreme도 일반적인 classification prior로는 이상적이지 않다. 같은 class의 input이라면 지나치게 독립적인 representation이 불리할 수 있고, 다른 class의 input이라면 지나치게 같은 representation이 불리할 수 있다. 저자들은 이 균형을 정보이론적으로 해석하며 \(\chi_{\parallel}=1\)과 \(\chi_{\perp}=1\)의 criticality가 input distinguishability를 depth에 걸쳐 보존하는 자연스러운 조건이라고 본다.
원문은 이 분석을 trained infinite-width network에도 확장할 수 있다고 지적한다. Gaussian posterior의 entropy는 mean shift에 무관하므로 kernel 대신 Bayesian posterior covariance 또는 gradient-based generalized posterior covariance를 넣으면 된다. 이 경우 mutual information은 generalization의 bias–variance 구조를 정보이론적으로 다시 볼 수 있는 통로가 된다.
Finite Width를 계산하는 열쇠는
Maximum Entropy이다
Keep the exact low-order moments, then choose the least-committal nearly-Gaussian distribution consistent with them.
finite width에서는 neuron들이 상호작용하므로 entropy와 mutual information 계산이 곧바로 어려워진다. 다행히 책의 effective theory가 이미 한 가지 강력한 사실을 제공한다. wide-but-finite layer의 preactivation distribution은 Gaussian에서 조금 벗어난 nearly-Gaussian distribution이다. 그렇다면 perturbation theory를 쓸 수 있다.
한 input에 대해 \(m\)개의 preactivation 분포를 action으로
로 쓴다. \(S_F\)는 Gaussian core, \(S_I\)는 작은 interaction이다. 그런데 Gaussian core를 단순히 bare quadratic coefficient로 정하지 않는다. 실제 finite-width distribution의 exact two-point metric \(G\)를 그대로 갖게 잡는다.
그리고 full distribution이 exact two-point correlator와 connected four-point vertex를 만족하도록 interaction coupling을 정한다.
왜 이 choice가 Maximum Entropy인가
entropy를 \(S_I\)에 대해 perturbatively expand하면 놀라운 cancellation이 일어난다. \(S_I\)에 linear한 term이 사라진다. 이는 fixed covariance를 가진 분포 중 Gaussian이 entropy를 최대화한다는 maximum-entropy principle의 perturbative 표현이다.
첫 correction이 음수라는 사실도 우연이 아니다. 같은 mean과 covariance를 고정하면 Gaussian보다 더 구조적인, 즉 higher-order interaction을 가진 분포의 entropy는 작아야 한다.
원문은 이 variational organization 덕분에 effective preactivation distribution을 낮은 order까지만 알아도 entropy를 더 높은 order까지 계산할 수 있음을 강조한다. Appendix A에서는 distribution의 effective interaction을 이용해 entropy와 information을 \(1/n^3\)까지 밀어 올린다.
Finite Width가 neuron 사이에
정보를 만든다
The first nonzero mutual information is quadratic in the finite-width interaction.
Entropy의 첫 finite-width correction
leading variational action에는 running quadratic coupling과 quartic coupling이 들어간다. exact metric \(G\)와 four-point vertex \(V\)로 coupling을 정하고 Gaussian expectation을 계산하면 entropy는
가 된다. correction은 반드시 음수다. 중요한 것은 크기가 \(V/n\)에 linear하지 않고 square로 시작한다는 점이다. quartic interaction의 부호가 positive이든 negative이든 Gaussian에서 벗어나면 entropy는 줄어야 하므로 leading term이 square여야 한다.
또 하나의 변화는 \(m\) dependence다. infinite width에서는 entropy가 \(m\)에 정확히 linear했지만 finite width에서는 \(m^2\)가 생긴다. neuron을 하나씩 독립된 degree of freedom으로 세던 그림이 깨진 것이다.
두 neuron group의 mutual information이 처음으로 nonzero가 된다
겹치지 않는 두 group \(M_1,M_2\)의 entropy를 조합하면
이다. infinite width의 정확한 0이 finite width에서 양수가 된다. 한 neuron group의 activity를 관찰하면 다른 group의 activity에 대한 불확실성이 줄어든다. 저자들은 이를 finite-width Hebbian effect의 information-theoretic generalization으로 해석한다.
깊이와 함께 \(L^2/n^2\)로 자란다
criticality에서 normalized four-point vertex의 RG scaling을 넣으면
가 된다. deeper layer로 갈수록 neuron group 사이의 mutual information이 커진다. RG language로는 relevant quantity다. coarse-graining을 진행할수록 fine-grained feature의 일부를 없애는 대신 남은 neuron들 사이에는 더 강한 correlation이 생긴다고 읽을 수 있다.
다만 “mutual information이 클수록 무조건 좋은 representation”이라는 주장은 이 계산 자체가 증명하지 않는다. 여기서는 이를 desirable auxiliary criterion으로 가정한다. 원문도 unsupervised learning objective, 특히 representation 간 mutual information을 최대화하는 InfoMax 계열의 직관과 연결해 이 선택을 정당화한다.
“더 깊을수록 좋다”는 결론을
다음 order가 꺾는다
The cubic correction bends the information curve and produces a local optimum in r=L/n.
leading order만 보면 mutual information은 depth squared로 계속 증가하므로 “더 깊게 만들라”는 결론이 나온다. 그러나 perturbation series는 바로 이런 단순한 결론을 경계하기 위해 존재한다. depth가 커질수록 higher-order term도 커진다.
Sextic interaction을 넣되, 최종 answer에는 남지 않는다
NLO 계산에서는 variational action에 \(O(1/n^2)\) sextic coupling \(u_m\)까지 추가한다. exact metric과 four-point vertex constraint를 \(O(1/n^2)\)까지 만족시키도록 running quadratic coupling \(g_m\)과 quartic coupling \(v_m\)을 다시 풀어야 한다.
흥미롭게도 final entropy와 mutual information을 정리하면 sextic coupling의 explicit dependence는 사라진다. maximum-entropy organization 덕분에 six-point vertex를 별도로 계산하지 않아도 원하는 NLO information을 얻는 것이다.
NLO entropy와 mutual information
dimensionless interaction을
라고 쓰면 entropy는
이고 두 group의 mutual information은
가 된다. quadratic term은 mutual information을 키우고 cubic term은 줄인다. 이 부호 경쟁이 local optimum을 만든다.
RG scaling을 넣으면 q = νr로 압축된다
final layer에서 normalized four-point vertex는
로 쓸 수 있다. \(\nu\)는 activation function의 정보를 모은 constant다. 원문의 두 universality class에서는
| Activation class | \(\nu\) | Interpretation |
|---|---|---|
| \(K^\star=0\) universality | \(\nu=2/3\) | 이 class에서는 세부 activation 형태와 무관한 universal coefficient다. tanh가 대표 예다. |
| Scale-invariant | \(\nu=3A_4/A_2^2-1\) | activation slope moments에 의존한다. linear activation은 \(\nu=2\), ReLU는 \(\nu=5\)이다. |
따라서 mutual information은
이고 이를 local하게 maximize하면
가 된다. activation-dependent \(\nu\)가 클수록 optimal \(r\)은 작다. 같은 information criterion을 목표로 한다면 \(\nu=2/3\)인 tanh 계열은 \(\nu=5\)인 ReLU보다 더 큰 depth-to-width ratio를 허용한다는 뜻이다.
원문은 partition 자체도 maximize해 layer 전체를 두 equal group으로 나누는 선택 \(m_1=m_2=n_L/2\)을 자연스럽다고 본다. 그러면
이다. 이 숫자를 empirical architecture prescription으로 바로 가져가면 안 된다. 첫째, prior distribution에 대한 auxiliary objective다. 둘째, perturbative derivation이므로 \(\nu r\)이 충분히 작아야 한다. 셋째, \(O(r^4)\) 이상의 correction이 local optimum을 이동시킬 수 있다. 원문도 이 optimum을 a posteriori perturbative validity 아래에서 해석한다.
Deep layer의 정보는
중복되어 공유된다
Tripartite information makes the coarse-graining picture more concrete.
세 neuron group을 동시에 보면 positive redundancy가 나온다
Appendix A의 마지막 계산은 서로 겹치지 않는 세 group \(M_1,M_2,M_3\)의 tripartite information이다. entropy의 cubic \(m\) dependence가 생겨야 비로소 nonzero 값이 나온다.
critical scaling을 넣으면 \(I_3\propto \ell^3/n^3\)이다. 부호는 leading order에서 양수다. 즉 이 finite-width prior에서는 세 group 사이의 정보가 synergy보다는 redundancy 형태로 저장된다.
쉽게 말해 group 하나를 이미 관찰했다면 나머지 두 group 사이에서 새롭게 얻을 수 있는 정보가 줄어든다. deep layer가 input information을 여러 neuron에 복제해 저장한다는 뜻으로 읽을 수 있다. 저자들은 이 현상을 RG coarse-graining의 관점에서 더 깊게 이해할 여지가 있다고 본다.
이 결과가 말하는 것과 말하지 않는 것
- 01말한다 — infinite-width neuron independence. 같은 layer의 서로 다른 neuron group은 Gaussian factorization 때문에 mutual information이 0이다.
- 02말한다 — finite width creates interactions. four-point vertex가 nonzero이면 mutual information이 \(1/n^2\)에서 생기고 depth와 함께 relevant하게 성장한다.
- 03말한다 — criticality has an information interpretation. nearby input representation이 지나치게 collapse하거나 decorrelate하지 않도록 kernel geometry를 보존한다.
- 04말한다 — a heuristic optimal aspect ratio exists. NLO InfoMax-like objective에서 \(r^*\propto1/\nu\)의 local optimum을 얻는다.
- 05말하지 않는다 — universal test-accuracy optimum. 이 optimum은 initialization prior와 auxiliary unsupervised criterion에 기반하며 dataset label, optimizer, trained posterior 전체를 직접 최적화한 결과가 아니다.
- 06말하지 않는다 — arbitrary large-r validity. perturbative expansion은 \(\nu r\)이 작을 때 신뢰할 수 있으며 overly-deep strong-interaction regime은 이 approximation의 바깥이다.
Appendix A의 연구적 의미
이 부록은 deep learning을 information bottleneck 하나로 환원하지 않는다. 오히려 더 일반적인 길을 제시한다. effective theory로 얻은 low-order correlator를 maximum entropy와 결합하면, architecture가 information dependence와 redundancy를 어떻게 만드는지 계산할 수 있다.
또한 앞으로 계산할 수 있는 것이 명확하다. 원문이 직접 제안하듯 multi-input mutual information을 구하면 four-point vertex의 dataset dependence를 볼 수 있고, posterior나 fully-trained distribution에 같은 toolkit을 적용하면 learning 이후의 representation과 generalization을 information language로 분석할 수 있다. 다만 이것들은 Appendix A에서 완료된 결과가 아니라 후속 연구 방향이다.