大師兄的貝葉斯網(wǎng)絡(luò)學(xué)習(xí)筆記（三十五）：貝葉斯網(wǎng)絡(luò)（九）
大師兄的貝葉斯網(wǎng)絡(luò)學(xué)習(xí)筆記（三十六）：貝葉斯網(wǎng)絡(luò)（十一）
七、缺值數(shù)據(jù)最大似然估計(jì)
1. EM算法的基本思想
1.1 例
- 設(shè)圖a是一個(gè)貝葉斯網(wǎng)絡(luò)N，其中所有變量均取二值，1或2。
- 設(shè)圖b是從N的聯(lián)合分布中抽樣而得到的一組數(shù)據(jù)，它由兩個(gè)完整樣本
和兩個(gè)缺值樣本
組成。
- 考慮用EM算法來近似計(jì)算N參數(shù)的MLE估計(jì)。
- EM首先選擇一組初始參數(shù)值
，如下所示：
- 從
- 由于
，所以
被如下兩個(gè)碎權(quán)樣本替換：
- 修補(bǔ)后得到如下的碎權(quán)完整數(shù)據(jù)：
- 第一次迭代完成后的估計(jì)
如下：
- EM接著進(jìn)入第二次迭代，先用
,
。
-
修補(bǔ)后的數(shù)據(jù)如下：
- 于是，在第二次迭代完成后得到的估計(jì)
如下：
- 如此迭代下去，可以看到這個(gè)過程快速地向如下結(jié)果收斂：
