概率图模型

动机

对于一个 $K$ 维随机向量 $X=[X_1,X_2,\dots ,X_K{]}^{\top }$，一般难以直接建模。因为如果每个变量为离散变量并有 $M$ 个可能取值，在不作任何独立性假设的前提下，需要 $M^K-1$ 个参数才能表示其概率分布，参数数量会非常庞大。

一种减少参数数量的方法是独立性假设。把 $X$ 的联合概率分解为 $K$ 个条件概率的乘积：

$$p(X=x)=\prod _{k=1}^{K}p(x_k|x_1,\dots ,x_{k-1})$$

$x$ 为随机向量 $X$ 的取值。可以看到，如果某些变量之间存在条件独立，参数数量量就可以大幅减少。

因此，概率图模型（Probabilistic Graphical Model，PGM）用图结构来描述多元随机变量之间的条件独立关系，从而为研究高维空间中的概率模型带来了很大的便捷性。

模型表示

概率图模型中，每个节点表示一个（或一组）随机变量，边表示这些随机变量之间的概率依赖关系。常见的概率图模型可以分为有向图模型和无向图模型。

• 有向图模型（Directed Graphical Model），也称为贝叶斯网络（Bayesian Network）或，使用有向非循环图（Directed Acyclic Graph，DAG）来描述变量之间的关系。如果两个节点之间有连边，表示这两个变量之间有因果关系，即不存在其他变量使得这两个变量条件独立。

• 无向图模型，也称为马尔可夫随机场（Markov Random Field，MRF），使用无向图来描述变量之间的关系。两个节点之间有连边代表这两个变量之间有概率依赖关系，但不一定是因果关系。

基本问题

• 学习问题

  • 结构学习：学习出最优网络结构，即各节点之间的依赖关系
  • 参数学习：在给定网络结构时，确定网络参数，即参数估计问题

• 推断问题：在已知部分变量时，计算其他变量的条件概率分布

参考

• CMU: Probabilistic Graphical Models