# 不含隐变量的图模型的参数学习

如果图模型中不含隐变量(latent variable),即所有变量都是可观测的,那么网络参数一般可以直接通过最大似然来进行估计。

# 贝叶斯网络

给定 NN 个训练样本 D={x(n)}n=1ND=\{x^{(n)}\}^N_{n=1},其对数似然函数为:

L(D;θ)=1Nn=1Nlogpθ(x(n))=1Nn=1Nk=1Klogpθk(xk(n)xπk(n))\begin{aligned} L(D; \theta) &= \frac{1}{N} \sum_{n=1}^N \log p_{\theta}(x^{(n)}) \\ &= \frac{1}{N} \sum_{n=1}^N \sum_{k=1}^K \log p_{\theta_k}(x_k^{(n)} \mid x_{\pi_k}^{(n)}) \end{aligned}

其中 θk\theta_k 为第 kk 个变量的局部条件概率的参数。第二步可以由贝叶斯网络的定义推出。

因为所有变量都是可观测的,所以在参数估计时,分别最大化每个变量的条件似然即可:

θk=argmaxn=1Nlogpθk(xk(n)xπk(n))\theta_k = \arg \max \sum_{n=1}^N \log p_{\theta_k}(x_k^{(n)} \mid x_{\pi_k}^{(n)})

# 马尔可夫随机场