大鸡鸡探花,久久久品亚洲

重要性采樣在強(qiáng)化學(xué)習(xí)有著重要作用,它是蒙特卡洛積分的一種采樣策略.

概率論基礎(chǔ)

本文先補(bǔ)充兩條基礎(chǔ)的概率論公式,方便大家更好地看懂全文
假設(shè)某一連續(xù)型隨機(jī)變量 $X$ 的樣本空間為 $D$ ,其概率密度分布函數(shù)為 $p(x)$ ,則其數(shù)學(xué)期望為: $E(X) = \int_D xp(x)dx$
若另一連續(xù)隨機(jī)變量Y滿足Y = f(X),則Y的數(shù)學(xué)期望為: $E(Y) = \int_D f(x)p(x)dx$

蒙特卡洛積分

現(xiàn)在假如我們要計(jì)算一個(gè)定積分: $A = \int^b_a f(x)dx$
我們可以使用牛頓-萊布尼茨通過(guò)求原函數(shù)來(lái)算這個(gè)積分(F(x)是f(x)的原函數(shù)): $A = \int^b_a f(x)dx = F(b) - F(a)$
如果我們無(wú)法求得原函數(shù),那么我們就需要通過(guò)蒙特卡洛積分法:

首先我們可以在積分區(qū)間 $[a,b]$ 上進(jìn)行均勻采樣得到: ${X_1,\cdots,X_N}$ ,樣本對(duì)應(yīng)的函數(shù)值為: ${f(X_1),\cdots,f(X_N)}$
然后我們可以求和得到: $F(N) \approx \frac{b-a}{N} \sum^N_{i=1}f(X_i)$

這個(gè)方法和黎曼積分非常相似,可以借用黎曼積分的圖直觀理解: $\frac{b-a}{N}$ 即為我們?cè)谇€中近似的每一個(gè)矩形的寬,而 $f(X_i)$ 則為每一個(gè)矩形的高,所以我們用這個(gè)方法算出的 $F(N)$ 就可以作為A的近似值
這時(shí)讀者可能有疑問(wèn),上面這個(gè)方法是不是只能針對(duì)均勻分布的數(shù)據(jù)?如果我在區(qū)間上按照概率密度函數(shù) $p(x)$ 進(jìn)行采樣,那結(jié)論還成立嗎?讓我們來(lái)推導(dǎo)一下:

首先按照概率密度函數(shù) $p(x)$ 在區(qū)間 $[a,b]$ 上進(jìn)行采樣得到數(shù)據(jù) ${X_1,\cdots,X_N}$
再構(gòu)造新的 $F_N$ 函數(shù): $F_N =\frac{1}{N} \sum^N_{i=1} \frac{f(X_i)}{p(X_i)}$

$F_N$ 的數(shù)學(xué)期望:
到這里我們發(fā)現(xiàn)其實(shí)前面推導(dǎo) $p(x)$ 為均勻分布其實(shí)是一種特殊情況:
若 $p(x)$ 是 $[a,b]$ 上的均勻分布,則它的表達(dá)式為:
則 $F_N(x)$ 的表達(dá)式為:
和我們?cè)诰鶆蚍植枷碌慕Y(jié)果一致.

重要性采樣(Importance Sampling)

定義

通過(guò)對(duì)蒙特卡洛積分的講解,我們知道我們可以通過(guò)按照函數(shù)的分布進(jìn)行采樣求和來(lái)近似這個(gè)函數(shù).但是現(xiàn)實(shí)中往往我們不知道某個(gè)函數(shù)的分布或者已知某個(gè)函數(shù)的分布但我們很難按照這個(gè)分布采樣,那這個(gè)時(shí)候該怎么辦?這時(shí)候就要引入我們的重要性采樣了.
我們知道 $f(x)$ 在概率分布 $p(x)$ 的期望為: $E[Y] = \int_x f(x)p(x)dx$
因?yàn)槲覀儫o(wú)法直接對(duì)分布 $p(x)$ 進(jìn)行采樣,所以我們引入另一個(gè)容易采樣的分布 $q(x)$ :
$E[Y] = \int_x f(x)p(x)dx = \int_x q(x) \frac{p(x)}{q(x)}f(x)dx$
當(dāng)我們?cè)谛碌姆植?img class="math-inline" src="https://math.jianshu.com/math?formula=q(x)" alt="q(x)" mathimg="1">上進(jìn)行采樣的時(shí)候就可以估計(jì) $f(x)$ 的期望: $E[Y] = \frac{1}{N} \sum^N_{i=1} \frac{p(x_i)}{q(x_i)}f(x_i)$
我們可以看作是函數(shù) $\frac{p(x_i)}{q(x_i)}f(x_i)$ 在分布 $q(x)$ 上的期望.這里 $\frac{p(x_i)}{q(x_i)}$ 就是重要性權(quán)重

作用

我們知道重要性采樣就是引入一個(gè)新的分布來(lái)更好的估計(jì),這解決了原本分布難采樣的問(wèn)題.舉個(gè)例子.
假設(shè)我們要估計(jì)一個(gè)工廠里面產(chǎn)品的質(zhì)量,假設(shè)每個(gè)工廠里面有兩條生產(chǎn)線A和B,比例為2比1,通常來(lái)說(shuō)A生產(chǎn)線的質(zhì)量會(huì)比B生產(chǎn)線要好,這個(gè)時(shí)候我們要估計(jì)整個(gè)工廠的產(chǎn)品的質(zhì)量,但是由于生產(chǎn)線的限制,我們不能按照原來(lái)AB生產(chǎn)線2比1的比例采樣(無(wú)法按照原分布采樣),我們只能按照AB生產(chǎn)線1比2(新的分布)的比例采樣,如果我們直接采樣加和平均得到的估計(jì)值就是有問(wèn)題的(采樣B生產(chǎn)線的比例比真實(shí)的要多,所以得到的結(jié)果也比真實(shí)產(chǎn)品質(zhì)量要差),這時(shí)候在采樣的時(shí)候就需要加權(quán),也就是我們的重要性權(quán)重,加權(quán)的比例是 $\frac{1}{2}$ : $\frac{2}{1}$ = $1:4$ ,這樣采樣加權(quán)平均之后的結(jié)果就準(zhǔn)確了.
重要性采樣還有一個(gè)別的作用,就是我們有時(shí)候還可以改進(jìn)原來(lái)的分布:
我們可以看到如果我們直接從分布 $p(x)$ 采樣,而實(shí)際這些樣本對(duì)應(yīng)的 $f(x)$ 都很小,采樣有限的情況下很有可能都無(wú)法得到 $f(x)$ 值比較大的樣本,這樣估計(jì)的期望值不準(zhǔn)確;而如果我們找到一個(gè)分布 $q(x)$ ,使得它能在 $f(x) * p(x)$ 較大的地方采集到樣本,則能更好地逼近我們的期望,而因?yàn)橛兄匾詸?quán)重來(lái)控制新分布的比重,所以結(jié)果也不會(huì)偏差.
所以選擇一個(gè)好的新的分布 $q(x)$ 不僅能幫助你更好地采樣估計(jì),還能幫助你更好地估計(jì)準(zhǔn)確.