잔차 연결의 힘을 “gradient가 잘 흐른다”는 한 문장으로 끝내면 절반만 설명한 셈이다. Appendix B는 한 걸음 더 간다. residual path가 왜 더 깊은 network를 허용하는지, criticality와 finite-width fluctuation이라는 두 scale의 언어로 다시 설명한다.
출발점은 degradation이다. layer를 더 붙이면 parameter가 늘어나는데도 training error가 나빠질 수 있다. microscopic하게는 hidden layer가 identity map에 가깝게 스스로를 조정하기 어렵기 때문이다. residual architecture는 이를 바꾼다. 새 layer가 identity를 직접 학습하게 하지 않고, identity는 skip path가 보존하고 residual block은 차이만 학습하게 한다.
residual connection은 단순한 우회도로가 아니다. criticality를 다시 맞춘 상태에서 identity branch의 비중을 키우면 finite-width four-point interaction coefficient \(\nu(\gamma)\)가 줄어든다. 그러면 같은 정보이론적 기준에서 허용되는 optimal depth-to-width ratio \(r^*(\gamma)\)가 커진다. 즉 residual connection은 effective-theory의 ‘안전한 깊이’ 자체를 이동시킨다.
이 글은 원서 Appendix B “Residual Learning”, printed pp. 425–438만을 대상으로 한다. 원문 Figure B.1은 일반 residual block과 residual MLP의 skip 구조를 보여준다. 본문의 hero SVG는 그 기능적 아이디어를 새로 단순화한 개념도이며 원 그림을 복제한 것이 아니다.
더 깊은데 왜 더 못 배우는가
Degradation is not merely overfitting; training itself can become worse.
깊은 network가 더 복잡하니 test error가 나빠질 수 있다는 설명은 익숙하다. parameter가 많아지면 generalization이 어려워질 수 있다. 그러나 training error까지 나빠진다면 이야기가 다르다. layer를 하나 더 붙였으면, 적어도 그 layer가 identity map을 구현해 기존 network와 똑같이 행동할 수 있어야 한다. 이론적으로는 그렇다. 실제 optimization은 그렇게 친절하지 않다.
원문이 부르는 degradation은 바로 이 간극이다. 충분히 깊어진 network에서는 더 많은 parameter가 있는데도 shallower counterpart보다 training과 test error가 함께 나빠질 수 있다. 저자들은 이를 두 관점으로 본다.
identity를 학습하기 어렵다
generic nonlinear layer 전체를 identity map으로 조정하는 것은 optimization에 부담이 된다.
finite-width fluctuation이 누적된다
critical hyperparameter를 맞춰도 network가 지나치게 깊어지면 instantiation-to-instantiation fluctuation이 커져 typicality와 criticality가 흔들린다.
residual connection은 두 문제를 동시에 겨냥한다. generic layer
대신
를 쓴다. identity는 architecture에 이미 들어 있다. 따라서 새 block이 아무것도 하지 않아야 할 때 \(\mathcal R\approx0\)이면 충분하다. standard neural block은 parameter가 0 근처일 때 output도 0 근처가 되기 쉬워, generic nonlinear function 전체를 identity로 만드는 것보다 훨씬 간단하다.
저자들은 이 microscopic 설명에 macroscopic 가설을 덧붙인다. residual connection이 undegraded signal copy를 깊은 층까지 전달한다면, vanilla MLP에서 너무 커졌던 finite-width fluctuation의 해로운 효과를 누르면서 깊이가 제공하는 representation association은 유지할 수 있다. 그렇다면 optimal aspect ratio \(r=L/n\)도 더 큰 값으로 이동해야 한다. Appendix B의 계산은 이 가설을 검토한다.
Residual MLP는 두 신호의 합이다
One branch transforms, the other remembers.
가장 단순한 분석 대상은 residual connection을 가진 MLP이다. 원문 Figure B.1의 오른쪽은 adjacent layer의 두 neuron을 그리며, 한쪽 경로에서는 bias와 weighted activation이 새 signal을 만들고 다른 경로에서는 preactivation 자체가 skip되어 다음 층에서 더해지는 모습을 보여준다. 일반 residual block의 경우에도 같은 논리가 유지된다.
두 residual hyperparameter의 역할이 분명하다. \(\xi\)는 nonlinear MLP branch의 크기를, \(\gamma\)는 identity branch의 크기를 조절한다. 직접 더하려면 hidden width가 맞아야 하므로 이 단순 model에서는 \(n_\ell=n_{\ell+1}=n\)을 둔다.
그런데 residual MLP에서는 \(\xi\)가 사실상 중복 parameter다. \(\xi\)를 바꾸는 효과를 weight/bias initialization variance와 training learning-rate rescaling으로 흡수할 수 있기 때문이다. 따라서 분석에서는
로 두고 \(\gamma\)만 남긴다. \(\gamma\to0\)이면 vanilla MLP로 돌아간다. 흔히 직관적으로 쓰는 \(\gamma=1\)은 skip과 transformed signal을 그대로 더한다는 뜻이지만, 이 simplified residual MLP에서는 criticality 관점에서 그대로 두면 문제가 생긴다.
Figure B.1이 보여 주는 세 가지
- 01두 경로의 동시 존재. residual block은 새 representation을 만들고, identity branch는 이전 preactivation을 보존한다.
- 02다음 층에서의 합성. 두 signal은 독립적인 network가 아니라 한 preactivation으로 합쳐져 이후 dynamics를 함께 결정한다.
- 03일반성. 오른쪽의 MLP block은 하나의 예일 뿐이며 왼쪽의 generic residual block으로 바꾸면 convolutional block이나 attention block 같은 더 복잡한 architecture도 같은 schematic으로 다룰 수 있다.
이후의 핵심 질문은 “skip을 얼마나 강하게 둘 것인가”이다. 답은 무조건 1이 아니다. block branch의 variance와 skip branch의 variance를 함께 보고 criticality를 다시 맞춰야 한다.
Skip connection은 criticality 조건 자체를 바꾼다
Identity propagation adds a \(\gamma^2\) channel to the kernel flow.
residual MLP의 two-point correlator recursion에는 vanilla MLP에 없던 항이 하나 더 들어간다. identity branch가 이전 layer의 metric을 그대로 다음 layer로 운반하기 때문이다.
이 결과는 parallel susceptibility와 perpendicular susceptibility 모두에 \(\gamma^2\)를 더한다.
criticality는 여전히
을 요구한다. 하지만 이제 identity branch가 이미 \(\gamma^2\)만큼 signal propagation을 담당하므로 nonlinear branch의 weight variance는 그만큼 줄여야 한다.
| Universality class | Critical bias | Critical weight variance | Meaning |
|---|---|---|---|
| Scale-invariant | \(C_b=0\) | \(C_W(\gamma)=\frac{1-\gamma^2}{A_2}\) | identity branch가 커질수록 residual MLP branch의 variance를 비례해 줄인다. |
| \(K^\star=0\) | \(C_b=0\) | \(C_W(\gamma)=\frac{1-\gamma^2}{\sigma_1^2}\) | 같은 tradeoff가 zero-kernel critical class에서도 성립한다. |
여기서 중요한 제한이 나온다. 이 simplified one-layer-skip residual MLP에서는 \(\gamma=1\)이면 critical condition이 \(C_W=0\)을 요구한다. 그러나 hidden neuron permutation symmetry를 깨려면 trivial zero initialization만으로는 충분하지 않다. 따라서 이 model의 direct critical family는
에 놓인다. 원문은 이 결론이 “현대 residual architecture에서 skip weight는 절대 1이면 안 된다”는 일반 법칙이 아님을 분명히 한다. normalization 같은 추가 heuristic, 여러 층을 건너는 skip, 더 복잡한 block에서는 이야기가 달라진다. Appendix B의 결론은 특정 residual MLP effective theory 안에서의 것이다.
Finite Width에서 중요한 것은 four-point fluctuation이다
Infinite width cannot explain degradation across depth; the four-point vertex can.
infinite width에서는 모든 critical tuning이 fluctuation을 억제하므로 \(0<\gamma^2<1\) 안에서 어느 \(\gamma\)를 골라도 본질적으로 비슷해 보인다. 문제는 degradation이 바로 finite-width phenomenon이라는 데 있다. \(r=L/n\to0\)인 infinite width만 봐서는 “왜 너무 깊으면 나빠지는가”를 설명할 수 없다.
Appendix A에서 저자들은 initialization에서 서로 다른 neuron group 사이 mutual information을 auxiliary unsupervised criterion으로 사용했다. 그 계산을 residual MLP에 옮기려면 output layer의 normalized four-point vertex coefficient \(\nu\)만 다시 구하면 된다.
residual connection 때문에 four-point recursion에는 vanilla term 외에 \(\gamma^2\)와 \(\gamma^4\) channel이 추가된다. 이 항들이 transformed branch와 identity branch가 higher-order correlation을 어떻게 나눠 가지는지를 표현한다.
Scale-invariant class
criticality에서 kernel이 고정될 때 계산은 단순한 additive recursion으로 내려가며
\(\gamma\to0\)이면 Appendix A의 vanilla MLP coefficient로 돌아간다. 허용된 critical range에서는 양수이고 \(\gamma\)가 커질수록 monotonically 감소해 formal limit \(\gamma\to1\)에서 0으로 간다.
\(K^\star=0\) class
이 class에서는 kernel 자체의 deep asymptotic도 residual strength에 의해 느려진다. 결과적으로
를 얻는다. 역시 \(\gamma=0\)에서 vanilla value \(2/3\)로 시작해 \(\gamma\)가 증가하면 0을 향해 감소한다.
representation association
깊이는 nonlinear association과 representation structure를 강화하는 방향으로 작용할 수 있다.
finite-width fluctuation
깊이는 four-point vertex와 여러 finite-width fluctuation을 키워 individual network의 criticality를 흔들 수도 있다.
residual connection은 이 경쟁에서 후자의 coefficient를 줄인다. 저자들의 macroscopic interpretation에서 이것이 degradation 완화의 핵심이다.
Skip을 강하게 할수록 ‘안전한 깊이’가 늘어난다
The information-theoretic optimum shifts from vanilla MLPs toward larger aspect ratios.
Appendix A의 equal-partition mutual-information optimum을 그대로 쓰면 residual MLP의 optimal aspect ratio는
이다. 앞 절에서 \(\nu(\gamma)\)가 \(\gamma\)와 함께 줄어든다는 것을 보았으므로 \(r^*(\gamma)\)는 반대로 커진다. vanilla MLP인 \(\gamma=0\)에서 출발해 skip strength를 높이면 같은 auxiliary criterion 아래 더 깊은 network를 optimal regime 안에 둘 수 있다.
이 결과는 원문이 처음에 제시한 macroscopic hypothesis를 지지한다. residual path가 finite-width fluctuation의 effective strength를 줄이기 때문에 degradation이 나타나는 depth scale이 뒤로 밀린다는 해석이다.
“여러 얕은 network의 ensemble” 해석과 연결된다
원문은 기존 연구에서 제안된 residual network의 path-ensemble 관점도 끌어온다. 매우 깊은 residual network를 통과하는 gradient는 모든 residual block을 거치는 path보다 많은 block을 건너뛰는 shallower path에 의해 크게 지배될 수 있다. 저자들은 이것이 자신의 식과 잘 맞는다고 본다.
깊이 자체가 주는 neural association은 유지하면서, 실제 gradient path는 많은 block을 skip해 fluctuation accumulation을 줄일 수 있기 때문이다. 이 해석은 Appendix B가 새 empirical result로 입증한 것이 아니라, effective-theory scaling과 기존 residual-path intuition을 연결한 분석이다.
반대로 고정된 depth에서는 optimal \(\gamma\)를 물을 수 있다
식 B.36을 \(r^*(\gamma)\)가 아니라 \(\gamma^*(r)\)로 읽을 수도 있다. 이 관점에서 아주 얕은 network는 residual connection을 켜는 것이 오히려 불리하다.
| Aspect ratio regime | Criterion-level recommendation | Reason |
|---|---|---|
| \(r<r^*(0)\) | \(\gamma^*(r)=0\) | vanilla MLP 자체가 이미 auxiliary mutual-information optimum보다 얕다. skip을 켜면 criterion이 더 나빠진다. |
| \(r>r^*(0)\) | \(\gamma^*(r)>0\) | 너무 깊어진 network의 effective interaction을 줄이기 위해 identity branch 비중을 높인다. |
| very large \(r\) | \(\gamma^*(r)\to1\) | formal asymptotic에서 \(1-\gamma^2\sim1/r\), 따라서 critical block variance도 함께 줄어든다. |
특히 large-\(r\) limit에서는
이다. 여기서 놓치면 안 되는 것이 있다. \(\gamma\)만 올리면 안 된다. criticality를 유지하려면 \(C_W(\gamma)\)도 함께 다시 맞춰야 한다.
왜 큰 r에서도 perturbation이 버틸 수 있는가
겉으로 보면 \(r\to\infty\)는 effective theory가 무너질 것 같다. 그러나 physical expansion parameter는 \(r\) 자체가 아니라
이다. optimal \(\gamma(r)\)를 함께 조절하면 이 product가 finite하게 유지될 수 있다. 저자들은 이 의미에서 residual connection이 effective-deep regime을 이론적으로 매우 큰 depth-to-width ratio까지 연장할 수 있다고 해석한다.
복잡한 residual block은 측정하고, 그 위를 이론으로 닫는다
Appendix B ends with a hybrid theoretical-empirical tuning recipe.
마지막 절은 MLP를 벗어난다. generic residual block을
로 놓는다. \(R\)은 convolutional block일 수도 있고 attention-based block일 수도 있다. 이 정도 abstraction이면 ResNet이나 transformer의 residual pattern을 schematic하게 담을 수 있다.
문제는 generic block의 내부 criticality를 closed form으로 구하기 어려울 수 있다는 점이다. 저자들은 여기서 이론을 포기하지 않고, 측정 가능한 observable을 effective theory의 입력으로 쓰는 hybrid recipe를 제안한다.
Step 1 — block 내부의 signal propagation을 먼저 맞춘다
block output의 diagonal two-point magnitude와 block input의 magnitude를 측정한다.
block가 내부적으로 \(L_R\)개의 layer를 가진다면 \(G_{RR}/G_{zz}\)가 \(L_R\)에 따라 exponential하게 폭발하거나 사라지지 않도록 block initialization을 조정해야 한다. ideal하게는 block 구조 자체를 분석해 critical condition을 얻는 것이 좋고, black-box라면 small network measurement로 대신한다.
다음 단계에 필요하므로 block output과 input의 cross correlator도 측정한다.
Step 2 — 전체 residual layer의 criticality를 맞춘다
generic forward equation에서 diagonal metric recursion은
이다. 다음 layer에서도 signal magnitude를 보존하려면 \(G_{zz}^{(\ell+1)}=G_{zz}^{(\ell)}\)로 놓아
를 얻는다. 이미 \(G_{zz},G_{RR},G_{Rz}\)를 측정했으므로 \(\gamma\)와 \(\xi\) 사이의 admissible critical relation을 해석적으로 풀 수 있다.
왜 generic block에서는 \(\xi\)를 없앨 수 없는가
single-layer residual MLP에서는 \(\xi\)를 weight variance rescaling에 흡수할 수 있었다. 하지만 deep residual block에서는 그렇지 않을 수 있다. 예를 들어 block 내부의 ReLU MLP를 먼저 자체 criticality에 맞춘 뒤, network-level skip balance를 위해 block output 전체에 붙는 \(\xi\)를 따로 조정하는 편이 자연스럽다.
원문의 권장 순서는 명확하다. block 내부 criticality를 먼저 고정하고, 그 다음 각 \(\gamma\)에 대해 \(\xi(\gamma)\)를 B.45로 맞춘다. 이후 각 critical pair \((\gamma,\xi)\)의 optimal aspect ratio는 적절한 four-point connected correlator를 small-model에서 측정하고 §B.3의 논리를 적용해 추정할 수 있다.
이 recipe는 완전한 black-box solution은 아니다
원문은 diagonal correlator만으로 설명을 단순화했지만, 더 일반적으로는 different input pair의 off-diagonal component도 확인해야 한다고 명시한다. 또한 layer normalization 같은 heuristic이 실용적인 완충 장치가 될 수 있으나, 가능하면 block을 완전한 black box로 취급하지 말고 구조적 분석을 이용해 criticality condition을 찾는 것이 더 바람직하다고 본다.
small block statistics
\(G_{zz}\), \(G_{RR}\), \(G_{Rz}\)와 필요하면 off-diagonal correlator를 측정한다.
critical manifold
B.45를 이용해 \((\gamma,\xi)\)의 network-level critical relation을 구한다.
estimate deep regime
four-point interaction을 측정·분석해 large model의 admissible aspect-ratio scale을 추정한다.
Residual Learning을 architecture design 원리로 읽기
The appendix closes the book by turning effective theory into a measurable design loop.
핵심은 “identity 추가”가 아니라 “interaction budget 재배분”이다
Appendix B를 통과하면 residual connection을 보는 눈이 조금 달라진다. skip path는 단순히 old signal을 복사하는 wire가 아니다. criticality를 만족하도록 block variance와 함께 조정될 때 transformed path와 identity path가 전체 signal-propagation budget을 나누어 가진다.
finite width에서는 이 배분이 four-point interaction coefficient까지 바꾼다. \(\gamma\)가 커지면 \(\nu(\gamma)\)가 작아지고, 그 결과 same auxiliary criterion 아래 optimal \(r=L/n\)이 커진다. residual architecture는 deeper model을 trainable하게 만드는 법을 “더 큰 depth”가 아니라 “더 작은 effective interaction”의 문제로 바꾸는 셈이다.
이 부록에서 실제로 입증한 범위
- 01Residual MLP의 critical family. one-layer skip을 가진 simplified residual MLP에서 \(0<\gamma^2<1\)에 대응하는 critical weight variance family를 해석적으로 얻는다.
- 02Finite-width coefficient의 monotonic reduction. 두 universality class 모두에서 \(\nu(\gamma)\)가 residual strength와 함께 감소한다.
- 03Auxiliary optimum의 이동. Appendix A의 mutual-information objective를 적용하면 \(r^*(\gamma)\)가 증가한다.
- 04General block tuning recipe. small-model correlator measurement와 analytical criticality equation을 결합하는 hybrid method를 제시한다.
이 부록이 직접 입증하지 않은 것
- 01모든 residual architecture에서 \(\gamma=1\)이 나쁘다는 주장. 원문의 criticality obstruction은 simplified direct-skip residual MLP에 대한 결과이며 normalization, multi-layer skip, complex block에서는 별도 분석이 필요하다.
- 02task별 empirical test accuracy의 보편적 optimum. \(r^*(\gamma)\)는 initialization prior의 mutual-information criterion에 기반한 theoretical estimate이다.
- 03generic block의 완전한 analytical solution. §B.4는 일부 observable을 실제로 측정해야 하는 hybrid blueprint이며 off-diagonal statistics와 block-specific structure를 추가로 다뤄야 한다.
- 04residual connection만으로 모든 optimization issue가 해결된다는 주장. Appendix B는 exploding/vanishing signal, finite-width fluctuation, degradation의 일부를 effective-theory 관점에서 연결한다.
이 책의 마지막 부록이 남기는 방법론
가장 흥미로운 부분은 특정 식보다 연구 방법이다. 복잡한 architecture를 처음부터 끝까지 microscopic하게 풀 수 없다면, 작은 model에서 macroscopic observable을 측정한다. 그리고 그 observable을 effective theory의 coupling이나 recursion에 넣어 larger model의 scale을 추정한다.
이 접근은 pure theory도 pure hyperparameter search도 아니다. 이론이 어떤 값을 측정해야 하는지 정하고, 측정값이 이론을 닫으며, 닫힌 이론이 다시 어떤 scale의 architecture를 시도할지 알려 준다. Appendix B가 “residual learning”을 넘어서 보여 주는 것은 바로 이 theory–measurement–design loop이다.