# 概率图模型

# 动机

对于一个 KK 维随机向量 X=[X1,X2,,XK]X = [X_1, X_2, \dots, X_K]^{\top},一般难以直接建模。因为如果每个变量为离散变量并有 MM 个可能取值,在不作任何独立性假设的前提下,需要 MK1M^K -1 个参数才能表示其概率分布,参数数量会非常庞大。

一种减少参数数量的方法是独立性假设。把 XX 的联合概率分解为 KK 个条件概率的乘积:

p(X=x)=k=1Kp(xkx1,,xk1)p(X = x) = \prod_{k=1}^K p(x_k | x_1, \dots, x_{k-1})

xx 为随机向量 XX 的取值。可以看到,如果某些变量之间存在条件独立,参数数量量就可以大幅减少。

因此,概率图模型(Probabilistic Graphical Model,PGM)用图结构来描述多元随机变量之间的条件独立关系,从而为研究高维空间中的概率模型带来了很大的便捷性。

# 模型表示

概率图模型中,每个节点表示一个(或一组)随机变量,边表示这些随机变量之间的概率依赖关系。常见的概率图模型可以分为有向图模型和无向图模型。

  • 有向图模型(Directed Graphical Model),也称为贝叶斯网络(Bayesian Network)或,使用有向非循环图(Directed Acyclic Graph,DAG)来描述变量之间的关系。如果两个节点之间有连边,表示这两个变量之间有因果关系,即不存在其他变量使得这两个变量条件独立。

  • 无向图模型,也称为马尔可夫随机场(Markov Random Field,MRF),使用无向图来描述变量之间的关系。两个节点之间有连边代表这两个变量之间有概率依赖关系,但不一定是因果关系。

pcg

# 基本问题

  • 学习问题

    • 结构学习:学习出最优网络结构,即各节点之间的依赖关系
    • 参数学习:在给定网络结构时,确定网络参数,即参数估计问题
  • 推断问题:在已知部分变量时,计算其他变量的条件概率分布

# 参考