RNN

• RNN 是一種利用神經(jīng)網(wǎng)絡(luò)對(duì)序列模型的通用模型
• 利用歷史信息結(jié)合當(dāng)前輸入進(jìn)行預(yù)測(cè)
• 適合解決時(shí)間序列輸入輸出問(wèn)題，對(duì)于 NLP 來(lái)說(shuō)就是序列標(biāo)注問(wèn)題，這就是 NLP 中最常見的問(wèn)題。

RNN 梯度消失問(wèn)題。

RNN是可以實(shí)現(xiàn)長(zhǎng)時(shí)間記憶的。然而RNN反向求導(dǎo)會(huì)出現(xiàn)梯度彌散，導(dǎo)致我們很難訓(xùn)練網(wǎng)絡(luò)，對(duì)于長(zhǎng)時(shí)刻記憶總不盡人意，于是就誕生了LSTM。

LSTM

• 與 RNN 結(jié)構(gòu)是一樣的，只是對(duì)隱層單元內(nèi)部結(jié)構(gòu)進(jìn)行了復(fù)雜化改造。

雙向 LSTM

雙向LSTM性能普遍優(yōu)于單向LSTM

• 考慮了更多的上下文信息

RNN做應(yīng)用典型的優(yōu)化流程

• 先上 RNN 模型
• 優(yōu)化成 LSTM 模型
• 優(yōu)化 BIRNN 模型，增加特征輸入
• 優(yōu)化深度網(wǎng)絡(luò)，多層LSTM模型疊加
• 引入 Attention Model

Attention