不含隐变量的图模型的参数学习

如果图模型中不含隐变量（latent variable），即所有变量都是可观测的，那么网络参数一般可以直接通过最大似然来进行估计。

贝叶斯网络

给定 $N$ 个训练样本 $D=\{x^{(n)}{\}}_{n=1}^N$，其对数似然函数为：

$$\begin{array}{rl}L(D;\theta )& =\frac{1}{N}\sum _{n=1}^N\log p_{\theta }(x^{(n)})\\ & =\frac{1}{N}\sum _{n=1}^N\sum _{k=1}^K\log p_{{\theta }_k}(x_k^{(n)}\mid x_{{\pi }_k}^{(n)})\end{array}$$

其中 ${\theta }_k$ 为第 $k$ 个变量的局部条件概率的参数。第二步可以由贝叶斯网络的定义推出。

因为所有变量都是可观测的，所以在参数估计时，分别最大化每个变量的条件似然即可：

$${\theta }_k=\arg \max \sum _{n=1}^N\log p_{{\theta }_k}(x_k^{(n)}\mid x_{{\pi }_k}^{(n)})$$

马尔可夫随机场