학습이란 믿음을
어떻게 바꾸는가

Bayesian 관점은 언제나 가설 \(H\)에서 시작한다. 가설은 세상에 관한 명제 \(A\)마다 \(p(A\mid H)\)라는 숫자를 부여하는 장치다. 이 숫자를 “같은 실험을 무한히 반복했을 때의 빈도”로만 읽지 않는다. 가설 H를 받아들였을 때 A가 얼마나 그럴듯한가라는 믿음의 강도로 읽는다.

이 해석은 앞선 장의 ensemble probability와 모순되지 않는다. 질문이 다르기 때문이다. parameter를 random initialization에서 뽑아 전형적 network의 통계를 알고 싶을 때는 ensemble 해석이 자연스럽다. 이미 하나의 가설을 세워 놓고 새로운 관측을 통해 그 가설 안의 믿음을 갱신하거나 여러 가설을 비교하려 할 때는 Bayesian 해석이 자연스럽다.

모든 것은 product rule과 sum rule에서 시작한다

첫 식은 joint belief를 conditional belief와 marginal belief로 분해하고, 둘째 식은 관심 없는 변수 \(B\)를 합하거나 적분해 없앤다. 앞 장에서 marginalization이라 불렀던 조작이 Bayesian language에서는 sum rule이 된다. 같은 수학이 다른 질문을 해결한다.

product rule을 한 번 재배열하면 Bayes' rule이 나온다. 이때 각 항은 이름만 붙은 기호가 아니라 학습 과정의 역할을 갖는다.

posterior가 자동으로 1로 정규화되는 것도 sum rule과 product rule의 결과다. 이 장의 관점에서는 Bayesian update가 임의의 heuristic이 아니라, 주어진 가설 안에서 새 정보를 논리적으로 일관되게 반영하는 규칙이다.

신경망에서 가장 자연스러운 parameter prior는 이미 익숙한 초기화 분포다. bias와 weight를 zero-mean Gaussian으로 두었던 ensemble distribution을 그대로 \(p(\theta\mid H)\)로 해석한다.

여기서 가설 \(H\)는 단순히 “Gaussian prior를 쓴다”는 문장보다 훨씬 크다. architecture가 MLP인지 CNN인지 transformer인지, 깊이 \(L\), 각 층 폭 \(n_\ell\), activation \(\sigma\), bias variance \(C_b\), weight variance \(C_W/n\) 같은 선택이 모두 가설의 일부다. 책이 농담처럼 “H is for Hyperparameters”라고 부르는 이유다.

parameter prior를 적분하면 특정 층의 preactivation prior가 된다. hidden layer에서는 입력의 feature representation에 대한 초기 믿음이고, output layer에서는 함수 \(f(x;\theta)\)가 어떤 값을 낼지에 대한 초기 믿음이다.

출력에 대한 가설이 likelihood를 결정한다

parameter \(\theta\)가 주어지면 network output이 정확히 \(f(x;\theta)\)라고 믿는 deterministic hypothesis에서는 conditional distribution이 Dirac delta가 된다. 반대로 관측 noise \(\sigma_\varepsilon^2\)를 인정하면 output은 \(f(x;\theta)\) 주변의 Gaussian이 된다. 이 작은 차이가 loss function의 형태를 결정한다.

관측 dataset을 \(A=\{(x_{\tilde\alpha},y_{\tilde\alpha})\}\)라 하면 parameter posterior는

가 된다. deterministic likelihood는 관측을 정확히 맞추는 parameter만 남기고 나머지는 버린다. noisy Gaussian hypothesis에서는 hard constraint가 부드러워지고 negative log-likelihood가 familiar한 MSE loss로 변한다.

classification에서 softmax를 likelihood로 택하면 negative log-likelihood가 cross-entropy가 된다. 따라서 loss는 Bayesian 관점에서 별도의 외부 장치가 아니다. 우리가 출력 noise와 label generation을 어떻게 가정했는지를 로그 공간에 쓴 것이다.

MAP와 MLE는 거대한 적분을 한 점으로 바꾸는 근사다

Bayesian prediction은 posterior 전체를 parameter 공간에서 적분해야 한다. 문제는 parameter가 수백만, 수십억 개면 이 적분이 사실상 불가능하다는 점이다. 가장 흔한 탈출구는 posterior 또는 likelihood의 mode 하나가 전체 분포를 대표한다고 보는 saddle-point approximation이다.

wide neural network에서는 MLE optimum이 하나가 아니라 연속적인 집합일 수 있다. 어떤 optimum에 도달하는지는 initialization, gradient descent인지 SGD인지, learning rate 같은 training hyperparameter에 의존한다. 그래서 point estimate를 쓴다고 해도 사실상 “optimum의 ensemble”이 다시 등장한다. 뒤 장들이 바로 이 문제를 다룬다.

effective theory는 parameter를 이미 적분해 놓았다

이 장의 독특한 장점은 앞선 1/n effective theory 덕분에 parameter marginalization을 다시 처음부터 할 필요가 없다는 데 있다. 관측한 subsample을 \(A\), 예측하고 싶은 입력을 \(B\), 둘의 합집합을 \(D=A\cup B\)라 두고 output joint prior \(p(y_A,z_B^{(L)}\mid H)\)를 계산하면 posterior는 단순한 조건부 분포로 얻어진다.

이 식은 parameter posterior를 먼저 만든 뒤 다시 output을 적분하는 방식과 정확히 동등하다. 차이는 계산의 관점이다. micro-level parameter를 계속 들고 가지 않고, 이미 적분된 output effective distribution 위에서 바로 inference한다.

posterior mean은 prediction이 되고 posterior covariance는 confidence를 표현한다. 그러나 정확한 Bayesian prediction은 결국 dataset sample 사이의 covariance 구조를 역행렬로 다뤄야 하므로, 계산비용의 문제는 사라지지 않는다. 단지 무엇을 계산해야 하는지가 더 선명해진다.

model fitting에서는 evidence가 posterior를 정규화하는 분모처럼 보인다. parameter에 무관하므로 MLE나 MAP의 argmax에도 영향을 주지 않는다. 그러나 질문을 “이 가설 안에서 어떤 parameter가 좋은가”에서 “여러 가설 가운데 무엇이 좋은가”로 바꾸면 evidence가 주인공이 된다.

서로 다른 architecture와 hyperparameter 설정을 \(H_a\)라는 가설로 보면 Bayes' rule은 가설 자체에 적용된다.

두 가설의 posterior odds를 비교하면 공통 normalization \(p(y_A)\)가 사라지고, 관측이 두 가설의 상대적 믿음을 얼마나 바꾸었는지는 Bayes factor로 결정된다.

Occam's razor는 prior로 억지로 넣지 않아도 된다

복잡한 모델에 낮은 prior를 주면 단순한 모델을 선호하도록 만들 수 있다. 하지만 이 장은 더 중요한 사실을 강조한다. 정규화된 evidence 자체가 Occam's razor를 자동으로 구현한다.

복잡한 hypothesis는 가능한 outcome의 매우 넓은 영역에 probability mass를 퍼뜨린다. 따라서 어떤 특정 관측 \(y_A\)에 주는 density는 작아질 수밖에 없다. 반대로 지나치게 단순한 hypothesis는 소수의 outcome에 강한 probability를 주지만 실제 data를 빗나갈 위험이 크다. evidence는 “충분히 넓어서 데이터를 설명하되, 필요 이상으로 넓지 않은” 모델을 자연스럽게 선호한다.

이 점은 infinite-width neural network에서 특히 중요하다. microscopic parameter는 무한히 많아도 output distribution은 finite한 data-dependent coupling, 특히 kernel로 기술된다. model comparison의 거시적 관점에서는 raw weight 개수보다 effective theory를 기술하는 coupling의 복잡도가 더 직접적인 model complexity가 된다.

inductive bias는 prior에 숨은 세계관이다

Bayesian language에서 inductive bias는 관측 전에 desired function에 대해 이미 깔려 있는 가정이다. architecture뿐 아니라 hypothesis와 learning algorithm도 각자의 bias를 갖는다. 어떤 명제에 prior probability 0을 주면 아무리 강한 data가 들어와도 posterior는 그 명제를 되살릴 수 없다. 좋은 bias와 나쁜 bias의 차이는 결국 ground truth와 task에 달려 있다.

CNN의 locality·translation bias처럼 architecture가 data structure와 잘 맞는지 여부도 원칙적으로 Bayes factor로 비교할 수 있다. MLP, CNN, transformer의 evidence를 계산할 수 있다면 “어떤 architecture가 이 dataset에 더 적합한가”를 같은 probabilistic language로 평가할 수 있다는 것이 이 절의 큰 그림이다.

infinite width에서 output prior는 zero-mean Gaussian이다. covariance는 앞 장의 output kernel \(K^{(L)}(x,x')\)이고, hypothesis의 영향은 \(C_b,C_W,L\)을 통해 kernel에 들어간다. 이 덕분에 evidence와 posterior를 모두 닫힌 형태로 계산할 수 있다.

6.3.1 — evidence는 criticality를 선호한다

한 입력만 보면 evidence는 scalar kernel \(K_A\)의 함수가 된다.

이 식은 왜 criticality가 좋은지 Bayesian 언어로 설명한다. \(K_A\to\infty\)이면 prior가 지나치게 넓어져 거의 모든 output norm을 허용한다. 특정 관측에 주는 density가 polynomial하게 0으로 간다. 반대로 \(K_A\to0\)이면 zero output에만 probability가 몰리고 generic한 nonzero observation의 evidence는 exponential하게 0으로 간다.

evidence는 그 중간, 즉 finite하고 order-one인 kernel을 선호한다. deep network에서 바로 그 상태를 유지시키는 것이 앞 장의 parallel criticality condition \(\chi_{\parallel}=1\)이었다. Occam의 언어로 보면 \(K\to\infty\)는 너무 복잡하고, \(K\to0\)는 너무 단순하다. critical hypothesis는 둘 사이에서 관측 가능한 output scale에 probability mass를 집중시킨다.

두 입력으로 확장하면 evidence는 평균 방향과 차이 방향에 해당하는 \(K_{[0]}\), \(K_{[2]}\) 두 요소로 분리된다. generic한 두 output의 평균과 차이가 모두 order one이라면 evidence를 높이려면 두 kernel component도 모두 order one이어야 한다. 그 조건이 곧

이다. 5장에서 signal propagation을 안정화하기 위해 얻은 두 조건을, 6장에서는 model evidence를 최대화하는 관점에서 다시 얻는다. 서로 다른 논리가 같은 critical initialization을 가리킨다.

원문은 polynomial하게 천천히 vanishing하는 kernel에서는 유한한 현실적 depth에서 Bayesian-optimal \(C_W\)가 strict critical value보다 아주 조금 클 수 있다는 미묘한 예외도 지적한다. 핵심 결론은 asymptotically deep regime에서 criticality가 evidence에 의해 선호된다는 것이다.

6.3.2 — posterior는 Gaussian이고, prediction은 kernel regression이다

dataset을 observed set \(A\)와 prediction set \(B\)로 나누고 Gaussian prior를 conditioning하면 posterior도 Gaussian이다. posterior covariance는 familiar한 Schur complement가 된다.

posterior mean은

형태다. 관측 전 mean이 0이었다면 데이터가 mean을 nonzero로 이동시키는 것 자체가 learning의 신호다. covariance가 작아질수록 posterior가 mean 주변에 더 날카롭게 모여 prediction confidence가 높아진다.

그러나 이 우아한 식에는 계산 비용이 숨어 있다. naive하게는 \(N_A\times N_A\) kernel matrix를 invert해야 하며 Gauss–Jordan elimination의 cost는 대략 \(N_A^3\)로 증가한다. matrix-vector product만 필요하다는 점을 활용해 개선할 수 있어도 대규모 dataset에서 gradient-based learning과 경쟁하기에는 여전히 부담이 크다.

output component들은 서로 배우지 못한다

더 심각한 문제는 계산량보다 inductive bias다. \(m_{i,B}^{\infty}\)는 같은 output component \(i\)의 observation \(y_{i,A}\)만 본다. 다른 component \(j\neq i\)의 정보는 prediction \(i\)에 전혀 들어오지 않는다. posterior 자체가 component별로 factorize한다.

이 독립성은 posterior가 새로 만든 것이 아니다. infinite-width prior에서부터 output neuron들이 통계적으로 독립이었고, Bayesian update가 그 prior의 zero-probability structure를 깨지 못한 결과다. 데이터를 아무리 많이 보여도 서로 다른 output feature는 “wire together”하지 않는다.

6.3.3 — hidden representation은 더 놀랍게도 전혀 바뀌지 않는다

penultimate layer \(z_D^{(L-1)}\)의 posterior를 직접 계산하면 infinite width에서 likelihood가 그 hidden preactivation에 의존하지 않는다. stochastic metric이 deterministic kernel로 self-average되어 버리기 때문이다. Bayes' rule의 likelihood와 evidence가 정확히 상쇄되어

가 된다. posterior와 prior가 같다는 것은 관측을 본 뒤에도 hidden feature distribution이 하나도 바뀌지 않았다는 뜻이다. 이 성질은 penultimate layer에만 국한되지 않고 모든 hidden layer에 이어진다. infinite width에서는 interlayer correlation이 사라지기 때문이다.

finite width로 돌아오면 prior는 더 이상 완전한 Gaussian이 아니다. quadratic action에 \(1/n\)-suppressed quartic coupling이 생기고, 서로 다른 neuron 사이의 connected four-point correlation이 나타난다. 6.4는 이 작은 interaction을 단순한 오차가 아니라 학습 가능한 inductive bias의 씨앗으로 읽는다.

한 입력을 넣었을 때 neuron 1의 preactivation \(z_1\)이 평소보다 비정상적으로 큰 값을 보였다고 하자. 그 조건 아래 neuron 2의 분포를 묻는다. infinite width라면 neuron들이 독립이므로 \(p(z_2\mid z_1)=p(z_2)\)다. finite width에서는 quartic interaction 때문에 달라진다.

책이 분석하는 critical regime에서는 \(\check z_1^2\)가 평균 \(G\)보다 크면 neuron 2의 variance도 커지고, 작으면 함께 작아지는 방향의 association이 생긴다. 한 neuron의 atypical firing이 다른 neuron의 atypical firing 가능성을 높이는 셈이다.

이 association의 강도를 정하는 것은 normalized four-point vertex \(V/(nG^2)\)다. 5장에서 보았듯 criticality에서는 서로 다른 universality class에 걸쳐 이 양이 대체로 \(\ell/n\)으로 커진다. 따라서 깊은 층일수록 finite-width association bias가 더 강해진다.

Hebbian learning의 유명한 요약은 “함께 발화하는 neuron은 함께 연결된다”이다. 여기서 주목할 점은 책이 weight update rule을 따로 손으로 넣지 않는다는 것이다. finite-width feedforward network의 prior 자체에 “함께 발화할” 통계적 성향이 이미 들어 있다. 다음 절에서 Bayesian posterior가 이 성향을 실제 “wire together”로 바꾼다.

이 결과는 모든 neuron이 반드시 함께 큰 값을 갖는다는 보장이 아니다. conditional variance가 바뀐다는 것은 propensity가 달라진다는 뜻이다. 실제 realization에서는 그 확률적 성향을 따라 일부 neuron이 더 강한 association을 형성한다.

finite-width output prior는 quadratic term과 quartic term을 함께 가진 nearly-Gaussian action이다. quadratic term만 놓고 conditioning하면 infinite-width와 비슷한 Gaussian posterior mean과 covariance가 나온다. 그러나 이것은 “naive” posterior다. quartic term이 \(O(1/n)\) correction을 추가한다.

관측된 output을 \(y_A\), 예측할 output을 \(z_B\)로 나누고 quadratic part가 만드는 naive mean 주변에서 \(z_B=m_B+w_B\)로 전개하면 quartic action은 \(w\)에 대한 linear, quadratic, cubic, quartic 항을 모두 만든다. Gaussian expectation과 Wick contraction을 사용하면 true posterior mean에 \(v\)-dependent correction이 붙는다.

수식 전체는 길지만 물리적 내용은 명료하다. correction에는

같은 항이 들어간다. 여기서 \(k\)는 output component를 돈다. 따라서 component \(k\)에서 관측한 정보가 component \(i\)의 posterior mean correction에 영향을 준다. infinite width에서 정확히 0이었던 cross-component information flow가 finite width에서 열린다.

이것이 “wire together”다. prior에서 quartic interaction이 fire-together propensity를 만들고, posterior에서는 관측을 통해 output component들이 서로의 정보를 사용하도록 연결된다.

대가는 계산복잡도다

finite-width exact Bayes는 infinite-width보다 더 비싸다. kernel matrix만 다루는 것이 아니라 four-point vertex를 표현해야 하는데, observed sample 수가 \(N_A\)라면 일반적으로 \(N_A\times N_A\times N_A\times N_A\) tensor가 필요하다. 여기에 inverse kernel과 여러 contraction이 붙는다.

즉 finite width는 표현력을 회복하지만 exact Bayesian computation을 더 어렵게 만든다. 이 장은 이 난점을 숨기지 않는다. 오히려 바로 이 지점이 다음 장의 gradient-based learning으로 넘어가는 이유다.

output component가 서로 연결된다고 해서 hidden representation까지 바뀌는 것은 자동이 아니다. 6.4.3은 penultimate layer의 observable \(O(z_D^{(L-1)})\)가 관측 전후 얼마나 달라지는지를 직접 계산한다.

infinite width에서는 이 값이 정확히 0이었다. finite width에서는 마지막 층의 stochastic metric \(\widehat G^{(L)}\)가 penultimate preactivation에 의존한다. 따라서 likelihood가 hidden representation에 의존하게 되고, 관측 \(y_A\)가 Bayes' rule을 통해 hidden layer의 posterior를 바꿀 수 있다.

stochastic metric을 mean과 fluctuation으로

분리하고 likelihood를 fluctuation에 대해 전개하면 leading finite-width update는 metric fluctuation과 hidden observable의 covariance에 비례한다.

이 식은 representation learning의 원인을 두 조각으로 보여준다. 첫째, hidden observable이 output-layer stochastic metric과 상관되어 있어야 한다. 둘째, 실제 관측의 correlation structure \(y_Ay_A\)가 prior prediction \(K_A\)와 달라야 한다. 관측이 prior와 완전히 일치한다면 바꿀 이유가 적고, 불일치할수록 representation update를 유도한다.

구체적 예: hidden activation norm이 바뀐다

가장 단순한 observable로 penultimate activation의 평균 pairwise norm을 택하면 그 fluctuation은 stochastic metric fluctuation에 직접 비례한다. 그러면 update는 four-point vertex \(V^{(L)}\)로 표현되고 앞에 명시적인 \(1/n_{L-1}\)이 붙는다.

따라서 output observation이 hidden representation으로 뒤로 전파된다. 이것은 아직 gradient backpropagation을 계산한 것이 아니지만, 정보가 output에서 hidden layer로 역방향으로 전달된다는 구조적 의미를 갖는다. 한 층 더 뒤인 \(L-2\) layer로 가면 update는 다시 interlayer interaction을 한 번 더 거쳐 \(O(1/n^2)\)로 더 억제된다.

6장의 역설: 이론적으로 가장 정확한 Bayes가 실전에서는 가장 비싸다

이 장은 Bayesian learning을 이상적인 기준점으로 사용한다. prior, evidence, posterior를 모두 정확하게 다루면 어떤 정보가 어디로 흘러야 하는지 매우 명확하게 보인다. 그러나 dataset이 커지면 kernel inversion조차 부담스럽고 finite width에서는 four-point tensor가 폭발적으로 커진다. exact Bayes는 이론적 현미경으로는 탁월하지만, 실용적 optimizer로는 버겁다.

그래서 다음 장부터 gradient descent가 등장한다. MLE와 MAP 같은 point-estimate method는 posterior 전체를 적분하는 대신 optimization trajectory를 따라 한 solution 또는 solution ensemble을 찾는다. 6장의 역할은 그 실용적 알고리즘들이 무엇을 근사하고, finite width에서 어떤 구조를 반드시 회복해야 하는지 기준선을 세우는 데 있다.

이 장이 세운 네 개의 연결고리

• 01Initialization → Prior. random initialization의 분포는 함수와 representation에 대한 Bayesian prior로 다시 해석할 수 있다.
• 02Loss → Likelihood. MSE와 cross-entropy는 output noise·label hypothesis가 정한 negative log-likelihood다.
• 03Criticality → Evidence. deep network에서 vanishing·exploding kernel을 피하는 critical initialization은 Bayesian model comparison에서도 선호된다.
• 04Finite width → Learning structure. \(1/n\) interaction은 Hebbian association, cross-output coupling, hidden representation update를 만든다.

읽을 때 지켜야 할 경계

이 장의 구체 계산은 주로 Gaussian parameter prior를 가진 MLP, deterministic 또는 Gaussian-noise output hypothesis, 그리고 large-width \(1/n\) expansion을 기반으로 한다. CNN·transformer·normalization·residual architecture에 같은 식이 그대로 적용된다고 말할 수는 없다. categorical/softmax hypothesis와 cross-entropy의 연결은 소개되지만 이후 장에서 더 체계적으로 다뤄진다.

또한 “infinite width에는 representation learning이 없다”는 결론은 이 장의 exact Bayesian ensemble에서 엄밀하게 도출되며, 책은 뒤에서 infinite-width gradient-based ensemble에도 유사한 문제가 나타남을 분석한다고 예고한다. 반대로 finite width에서 representation learning이 가능하다는 사실이 곧 특정 finite-width architecture의 경험적 성능을 보장하는 것은 아니다. 여기서 입증된 것은 그런 학습을 가능하게 하는 상호작용이 finite width에서 처음 나타난다는 구조적 사실이다.