Geoff Hinton發(fā)明

用途：降低維度, 分類, 回歸, 特征學(xué)習(xí)

非監(jiān)督學(xué)習(xí)(unsupervised learning)，不知道數(shù)據(jù)的標(biāo)簽

activation f((weight w * input x) + bias b ) = output a

多個(gè)輸入:

多個(gè)隱藏層:

Reconstructions:

隱藏層變成輸入層，反向更新，用老的權(quán)重和新的bias：

回到原始輸入層: 算出的值跟原始輸入層的值比較, 最小化error, 接著迭代更新:?

?正向更新: 用輸入預(yù)測(cè)神經(jīng)元的activation, 也就是輸出的概率, 在給定的權(quán)重下: p(a|x; w)?

反向更新的時(shí)候: activation被輸入到網(wǎng)絡(luò)里面,來預(yù)測(cè)原始的數(shù)據(jù)X, RBM嘗試估計(jì)X的概率, 對(duì)于給定的activation a: p(x|a; w)