夜桃密久九日,久久BL99精品

概率與統(tǒng)計

概率是已知模型、參數(shù)推數(shù)據(jù)，而統(tǒng)計是已知數(shù)據(jù)推模型和參數(shù)。
似然和概率是兩個意思很相似的詞，但含義不同。相當(dāng)于從不同視角理解同一個東西。
對于函數(shù) $P(x|\theta)$ ，其中x為數(shù)據(jù)， $\theta$ 為參數(shù)。

若參數(shù) $\theta$ 是確定的，數(shù)據(jù)x是未知的，則P叫概率函數(shù)。描述的是，對于不同的樣本x，其出現(xiàn)時的概率是多少；
若數(shù)據(jù)x是已知的，參數(shù) $\theta$ 是未知的，則P就叫似然函數(shù)。描述的是，對于不同的參數(shù) $\theta$ ，出現(xiàn)樣本點x的概率是多少；

貝葉斯公式

$P(A|B)=\frac{P(B|A)P(A)}{P(B)} = \frac{P(B|A)P(A)}{P(B|A)P(A)+P(B|~A)P(~A)}$

最大似然估計

已知一組樣本 $x_1,x_2,...,x_n$ ，和模型 $f(x|\theta)$ ，估計其參數(shù) $\theta$ 。
似然估計認(rèn)為，已經(jīng)出現(xiàn)的事件就是發(fā)生可能性最大的事件。
任一樣本 $x_i$ ，發(fā)生的概率為 $f(x_i|\theta)$ 。因此對于這組樣本，其整體發(fā)生的概率，即聯(lián)合分布概率為 $L(x_1;...;x_n|\theta)=\prod _{i=1}^{n}f(x_i|\theta)$
只需要對L求極大值即可，一般會根據(jù)情況取ln，求導(dǎo)。若不可導(dǎo)，則利用函數(shù)特性求解。

最大后驗概率估計

最大似然估計時，估計的是 $P(x|\theta)$ （P即f）。而最大后驗概率估計，估計的是 $P(x|\theta)P(\theta)$ ，即將參數(shù)本身的概率也考慮進(jìn)去，既希望概率最大，也希望參數(shù)自身先驗概率也最大，相當(dāng)于是一個期望更大值的正則項。舉例解釋見例子
$\frac{P(x|\theta)P(\theta)}{P(x)}=P(\theta|x)$ ，其中P(x)已知了，所以估計 $P(x|\theta)P(\theta)$ 就是估計 $P(\theta|x)$ ，即后驗概率。
在求解時可將 $P(\theta)$ 代入，同理求解最大值，得到得到最大后驗概率估計。