메모가 직접 설명하는 기술적 내용
aleatoric/epistemic uncertainty 구분, prior-likelihood-posterior 업데이트, semantic entropy, posterior-to-prior continual learning, uncertainty-aware decision support.
Central Thesis
첨부 메모의 주장은 단순하다. 다음 AI의 병목은 parameter 수가 아니라 자신이 얼마나 모르는지를 표현하고, 새로운 증거가 들어오면 믿음을 갱신하는 능력이라는 것이다.
메모는 오늘날 LLM 중심 AI의 위험을 “압도적인 권위와 낮은 신뢰도의 결합”으로 묘사한다. 잘못된 답을 내면서도 확신하는 brittle behavior를 자기 의심의 부재로 해석하고, 해결 실마리를 aleatoric/epistemic uncertainty, Bayesian updating, semantic entropy, continual learning, resource efficiency에서 찾는다.
다만 “스케일링 법칙이 한계에 도달했다”거나 “베이지안 아키텍처가 AGI의 유일한 경로”라는 문장은 메모의 전략적 주장이다. 아래 글은 그 비전과 메모가 직접 설명하는 기술적 메커니즘을 구분해 읽는다.
좋은 지능은 항상 자신감이 높은 지능이 아니다. 어떤 불확실성이 줄어들 수 있고, 어떤 불확실성은 받아들여야 하는지 구분하는 지능이 더 합리적이다.
Part I · Brittle Intelligence
정확도보다 먼저 드러나는 문제는 확신의 품질이다
모델이 틀릴 때조차 확신한다면 오류는 의사결정의 오류로 증폭된다.
§1 · Overconfidence
보정되지 않은 probability는 고위험 환경에서 별도의 위험요소가 된다
메모는 미세한 pixel perturbation 뒤에도 사람이 같은 물체로 보는 이미지를 신경망이 다른 class로 높은 confidence로 분류할 수 있는 사례를 든다. 핵심은 adversarial example 자체보다 모델의 confidence가 실제 error 가능성과 일치하지 않을 수 있다는 calibration 문제다.
자율주행이나 의료진단에서는 이 차이가 치명적이다. 평균 정확도가 높더라도 failure region에서 자신감을 낮추지 못하면 시스템은 “모르는 상태”를 행동정책에 반영할 수 없다.
§2 · Beyond Scale
더 큰 모델과 더 합리적인 agent는 같은 목표가 아니다
첨부 메모는 scaling law 중심의 발전만으로 자기한계 인식이 자동으로 생기지 않는다고 본다. 따라서 다음 아키텍처의 핵심목표를 accuracy maximization과 uncertainty calibration의 동시 설계로 이동시킨다.
Part II · Two Uncertainties
랜덤한 것과 모르는 것을 같은 uncertainty로 다루지 않는다
§3 · Aleatoric vs Epistemic
구분이 필요한 이유는 대응행동이 다르기 때문이다
| 구분 | Aleatoric Uncertainty | Epistemic Uncertainty |
|---|---|---|
| 정의 | 데이터 자체의 내재적 무작위성 | 모델의 지식 부족이나 미학습 상황에서 생기는 불확실성 |
| 메모의 사례 | 혼잡한 도로에서 보행자가 어느 방향으로 움직일지 알 수 없는 상황 | 폭풍 속 도로에서 학습경험이 거의 없는 말을 처음 보는 상황 |
| AI의 대응 | 확률분포를 받아들이고 expected risk를 계산한다 | “모른다”고 답하거나 추가 정보·검색·센싱·인간 개입으로 uncertainty를 줄인다 |
aleatoric uncertainty는 더 많은 관측만으로 완전히 사라지기 어려운 변동성이다. epistemic uncertainty는 추가 정보로 줄일 수 있다. 따라서 abstention과 human handoff, 추가 정보획득 자체가 rational agent의 행동이 된다.
Epistemic uncertainty가 높을수록 “답하기”보다 “더 알아보기”의 가치가 커진다.
Part III · Bayesian Updating
새 증거는 답을 바꾸는 것이 아니라 믿음의 분포를 바꾼다
§4 · Prior → Likelihood → Posterior
형사 추리 비유로 읽는 합리적 지식갱신
메모는 Bayes' Rule을 새로운 evidence가 들어올 때 기존 belief를 체계적으로 갱신하는 원리로 설명한다. 증거를 보기 전의 prior, 각 가설 아래서 그 증거가 나타날 가능성인 likelihood, 그리고 evidence를 반영한 posterior가 연결된다.
중요한 것은 새 데이터를 받을 때 모든 지식을 버리는 것이 아니라 기존 belief state 위에 evidence를 누적한다는 점이다.
§5 · Information in Bits
정보를 uncertainty reduction으로 생각한다
메모는 1 bit를 불확실성을 factor-of-two 수준으로 줄이는 정보량이라는 직관으로 설명한다. 이 관점은 epistemic uncertainty가 큰 상황에서 “어떤 관측을 추가로 해야 가장 많은 uncertainty를 줄이는가?”라는 information-acquisition problem을 만든다.
§6 · Semantic Entropy
token probability보다 의미수준의 분산을 본다
“에펠탑은 어디에 있는가?”라는 질문에서 여러 sample이 표현만 다르고 모두 파리를 뜻한다면 uncertainty는 낮다. 반대로 파리·라스베이거스·뉴욕처럼 서로 다른 의미집단으로 답이 퍼진다면 지식불확실성이 높다. 메모는 이런 semantic entropy를 LLM의 진짜 확신을 읽는 지표로 강조한다.
Part IV · Three AGI Challenges
지속학습, 에너지, 데이터 효율성을 belief 관리 문제로 다시 본다
§7 · Architecture Agenda
| 과제 | 메모가 지적한 현재 한계 | 베이지안 관점의 대안 |
|---|---|---|
| Continual Learning | 새 task 학습 중 과거지식을 잃는 catastrophic forgetting | 이전 task posterior를 다음 task prior로 이어 지식을 누적 |
| Energy Efficiency | 거대모델 학습·추론의 높은 계산 및 전력비용 | sparse activation과 selective computation, 새로운 hardware 구조를 결합 |
| Data Efficiency | 일반화를 위해 막대한 token/example에 의존 | 강한 prior를 활용해 small data에서도 빠르게 posterior를 형성 |
§8 · Continual Learning
Posterior-to-Prior라는 수학적 다리
메모가 제시하는 가장 직접적인 Bayesian 해법은 이전 task의 posterior를 다음 학습의 prior로 넘기는 것이다. 이것이 catastrophic forgetting을 자동 해결하는 것은 아니지만, 지식을 weight overwrite가 아니라 uncertainty-aware belief evolution으로 다루는 설계방향을 만든다.
§9 · Efficiency
20W 뇌와 데이터센터의 대비는 연구 agenda로 읽어야 한다
메모는 약 20W 수준으로 작동하는 인간 뇌와 대규모 AI infrastructure의 전력소모를 대비하며 sparse neural network와 새로운 hardware를 제안한다. 그러나 Bayesian inference가 곧바로 뇌 수준 에너지 효율을 만든다는 실험적 증거를 메모가 제시하는 것은 아니다. 이 부분은 선택적 계산을 강화하자는 전략적 방향이다.
Part V · Weather & Biology
불확실성을 보여주는 모델은 검증 자원을 더 잘 배분하게 한다
§10 · GenCast
단일 경로 대신 가능한 미래의 분포
메모는 GenCast를 probabilistic weather forecasting의 사례로 든다. 하나의 deterministic hurricane path가 아니라 ensemble을 제공하면 사용자는 평균적 예측뿐 아니라 tail risk와 uncertainty range를 함께 볼 수 있다. 메모는 Hurricane Melissa를 예시로 들어 재난대피에서 distributional forecast의 가치를 설명한다.
§11 · AlphaFold
confidence는 prediction과 experimental verification 사이의 인터페이스다
두 번째 사례는 AlphaFold의 구조예측 confidence visualization이다. 불확실성이 높은 region이 표시되면 연구자는 실험적 확인이 필요한 부분을 우선순위화할 수 있다. uncertainty를 공개하는 모델은 verification budget을 더 합리적으로 배분하게 한다는 것이 source의 실무적 메시지다.
Part VI · Evidence Boundary
지적 겸손을 아키텍처 요구사항으로 만들되 하나의 방법론을 절대화하지 않는다
§12 · Source Fact vs Strategic Thesis
메모가 제시하는 강한 비전
scaling law가 본질적 한계에 도달했다는 판단, Bayesian architecture가 AGI의 결정적 또는 유일한 경로라는 주장, 뇌 수준 효율을 직접 가져올 것이라는 기대.
두 번째 묶음은 비교실험으로 확정된 결론보다 전략적 thesis에 가깝다. 따라서 학술적 글에서는 “유일한 경로”보다 “AGI를 위한 유력한 설계축”으로 표현하는 편이 더 검증가능하다.
§13 · Rational-Agent Blueprint
메모가 남기는 여섯 가지 설계원칙
Calibrate · Decompose · Update
confidence를 실제 error와 맞추고, uncertainty 유형을 나누며, evidence에 따라 belief를 갱신한다.
Abstain · Acquire · Remember
모르면 멈추고, 필요한 정보를 더 얻고, posterior를 다음 learning의 prior로 이어간다.
§14 · Final Takeaway
신뢰는 confidence의 크기가 아니라 confidence를 수정할 수 있는 구조에서 나온다
첨부 메모의 마지막 메시지는 정확도에서 신뢰로의 이동이다. 증거가 부족하면 확신을 낮추고, 증거가 늘어나면 그 이유와 함께 belief를 수정하는 능력이 intellectual humility의 기술적 형태다.
스케일링은 더 많은 것을 맞히게 할 수 있다. 불확실성 관리는 언제 믿고, 언제 멈추고, 언제 더 알아봐야 하는지를 결정하게 한다.
Primary Source
기준 자료
01
스케일링 법칙을 넘어 AGI로: 베이지안 업데이트를 통한 AI 아키텍처의 혁신
Attached note · ai-uncertainty.md · 2026-08-31
본 게시물은 첨부 메모의 용어, 사례, 논리구조를 기준으로 재구성했다. GenCast, AlphaFold, semantic entropy 및 AGI 관련 강한 주장은 외부 문헌으로 추가 검증하거나 새로운 사실로 확장하지 않았다.