p319 - p330
今天在寢室宅了一天
或者說(shuō)玩了一天：）
晚上好運(yùn)吧
進(jìn)入第14章
第14章 概率圖模型
14.1 隱馬爾科夫模型
概率模型提出了一種描述框架，將學(xué)習(xí)任務(wù)歸結(jié)于計(jì)算變量的概率分布。
生成式vs判別式
生成式考慮的是建立聯(lián)合分布P（Y,R,O）
判別式考慮條件分布P（Y,R|O）
概率圖模型是一類用圖來(lái)表達(dá)變量相關(guān)關(guān)系的概率模型。
節(jié)點(diǎn)表示一個(gè)或一組隨機(jī)變量。
節(jié)點(diǎn)之間的邊表示變量間的概率相關(guān)關(guān)系，即“變量關(guān)系圖”。
根據(jù)邊的性質(zhì)不同，分為兩類：
1）用DAG表示變量間的依賴關(guān)系，稱為有向圖或貝葉斯網(wǎng)
2）使用無(wú)向圖表示變量相關(guān)關(guān)系，稱為無(wú)向圖模型或馬爾科夫網(wǎng)。
隱馬爾科夫模型（HMM）是結(jié)構(gòu)最簡(jiǎn)單的貝葉斯網(wǎng)。有向圖模型、
狀態(tài)變量、觀測(cè)變量。
狀態(tài)轉(zhuǎn)移概率矩陣A，輸出觀測(cè)概率矩陣B，初始狀態(tài)概率π。
通過(guò)制定狀態(tài)空間、觀測(cè)空間、ABπ就能確定一個(gè)隱馬爾科夫模型。
產(chǎn)生觀測(cè)序列的過(guò)程：
1）選擇初始狀態(tài)。
2）選擇觀測(cè)變量取值。
3）選擇轉(zhuǎn)移
4）重復(fù)（1）-（3）
實(shí)際應(yīng)用中關(guān)注三個(gè)基本問(wèn)題：
1）給定模型，如何有效計(jì)算產(chǎn)生觀測(cè)序列的概率？即如何評(píng)估模型與觀測(cè)序列的匹配程度。
例：根據(jù)以往觀測(cè)序列計(jì)算當(dāng)前時(shí)刻最有可能的觀測(cè)值。
2）給定模型與觀測(cè)序列，如何找到與觀測(cè)最匹配的狀態(tài)序列。
例：語(yǔ)音識(shí)別中根據(jù)觀測(cè)信號(hào)推測(cè)狀態(tài)序列（對(duì)應(yīng)文字）
3）給定觀測(cè)序列，如何確定模型參數(shù)使出現(xiàn)此序列的概率最大。
例：人工指定模型參數(shù)不靠譜，怎么學(xué)出來(lái)最好的參數(shù)。
14.2 馬爾科夫隨機(jī)場(chǎng)
馬爾科夫隨機(jī)場(chǎng)（MRF）是典型的馬爾科夫網(wǎng)。
圖中每個(gè)節(jié)點(diǎn)表示一個(gè)或一組變量，節(jié)點(diǎn)之間的邊表示兩個(gè)變量之間的依賴關(guān)系。
馬爾科夫隨機(jī)場(chǎng)有一組勢(shì)函數(shù)，來(lái)定義概率分布函數(shù)。
馬爾科夫隨機(jī)場(chǎng)中，多個(gè)變量之間的聯(lián)合概率分布能基于團(tuán)分解成多個(gè)因子的乘積，每個(gè)因子僅與一個(gè)團(tuán)相關(guān)。
用團(tuán)太多了，所以只用極大團(tuán)。
對(duì)條件獨(dú)立性的定義：
見(jiàn)p32圖14.3 若從點(diǎn)集A到點(diǎn)集B中的結(jié)點(diǎn)必須經(jīng)過(guò)點(diǎn)集C中的結(jié)點(diǎn)，則稱A和B被C分離，C稱為“分離集”。
對(duì)馬爾科夫隨機(jī)場(chǎng)有：全局馬爾科夫性，即給定兩個(gè)變量子集的分離集，則這兩個(gè)變量子集條件獨(dú)立。
由全局馬爾科夫性可獲得兩個(gè)推論：局部馬爾科夫性，成對(duì)馬爾可夫性。詳細(xì)見(jiàn)p324-325。
對(duì)于勢(shì)函數(shù)，非負(fù)且在所偏好的變量取值上有較大函數(shù)值。
14.3 條件隨機(jī)場(chǎng)
隱馬爾科夫與HMM都是生成式
條件隨機(jī)場(chǎng)（CRF）是一種判別式，計(jì)算的是條件概率。
若圖G中的每個(gè)變量yv都滿足馬爾科夫性，則（y,x）構(gòu)成一個(gè)條件隨機(jī)場(chǎng)。
主要討論鏈?zhǔn)綏l件隨機(jī)場(chǎng)，結(jié)構(gòu)見(jiàn)p326圖14.6
14.4 學(xué)習(xí)與推斷
“條件分布”、“邊際分布”
參數(shù)確定：稱為參數(shù)估計(jì)或參數(shù)學(xué)習(xí)。
通常使用極大似然估計(jì)或最大后驗(yàn)概率估計(jì)。
若將參數(shù)視為待推測(cè)的變量，則參數(shù)估計(jì)很像“推斷”。
推斷問(wèn)題的目標(biāo)就是計(jì)算邊際概率與條件概率。
推斷方法大致分為兩類：精確推斷、近似推斷。
