Article Source

• Deep Probabilistic Models with Tractable Inference

Deep Probabilistic Models with Tractable Inference

• Talk given by Robert Peharz from TU Graz at the DataLearning Seminars of Imperial College London. Recorded on October 31st 2023

Abstract

A key feature of artificial intelligence is reasoning under uncertainty. Here, probability emerges as the method of choice, as probabilistic inference is a consistent, rigorous and decision-theoretic optimal reasoning tool. Nonetheless, probabilistic reasoning poses significant computational challenges, which impact almost all recent deep learning-based probabilistic models, such as GANs, VAEs, Normalizing Flows, energy based models, etc. In this talk, I will introduce the framework of Probabilistic Circuits (PCs), an expressive type of deep probabilistic model, which, in contrast to most other models, allow a wide range of exact and efficient probabilistic inference routines. I will introduce the “structural grammar” of PCs and illustrate how their structural properties relate to tractable probabilistic inference. Furthermore, I will discuss recent work in the field of PCs and connections to neuro-symbolic reasoning.

불확실성 하의 추론: 확률 회로를 통한 효율적인 딥 러닝

인공지능의 핵심적인 특징 중 하나는 불확실성 하에서 추론하는 것입니다. 이러한 상황에서 확률론은 최적의 추론 도구로 자리 잡습니다. 확률 추론은 일관되고 엄격하며 의사 결정 이론적으로 최적이기 때문입니다. 하지만 확률 추론은 거의 모든 최신 딥 러닝 기반 확률 모델(GAN, VAE, 정규화 흐름, 에너지 기반 모델 등)에 영향을 미치는 중요한 계산 과제를 제기합니다.

이 발표에서는 다른 대부분의 모델과 달리 다양한 정확하고 효율적인 확률 추론 루틴을 허용하는 표현력이 풍부한 딥 확률 모델 유형인 확률 회로(PC) 프레임워크를 소개합니다. PC의 “구조적 문법”을 소개하고 이러한 구조적 특성이 어떻게 쉽게 다루어지는 확률 추론과 관련되는지 설명 드리겠습니다. 또한 최근 확률 회로 분야의 연구와 신경-심볼적 추론과의 연결에 대해 논의할 예정입니다.

• 주요 내용:
  • 불확실성 하에서의 추론의 중요성
  • 확률론: 최적의 추론 도구
  • 딥 러닝 기반 확률 모델의 계산 과제
  • 확률 회로 (PC) 프레임워크 소개
    • 구조적 문법
    • 효율적인 확률 추론
  • 최신 확률 회로 연구 및 신경-심볼적 추론과의 연결