簡(jiǎn)介
推薦系統(tǒng)通常分為召回和排序兩個(gè)步驟
召回：粗排選取合適的內(nèi)容，可以通過(guò)協(xié)同過(guò)濾，興趣tag，內(nèi)容最熱等方式
排序（CTR預(yù)估）：使用一個(gè)點(diǎn)擊率預(yù)估模型（輸入用戶(hù)特征，內(nèi)容特征，用戶(hù)內(nèi)容交叉特征等）對(duì)召回出來(lái)的內(nèi)容進(jìn)行排序
Deep & Wide
LR是一個(gè)簡(jiǎn)單的線(xiàn)性模型，其不具備學(xué)習(xí)高階特征的能力
而通過(guò)DNN+embedding可以較好的學(xué)習(xí)到更抽象的特征達(dá)到泛化的效果
在CTR預(yù)估任務(wù)中結(jié)合LR和DNN實(shí)現(xiàn)記憶+泛化的效果
實(shí)際效果
DeepFM
2way-FM就是在線(xiàn)性回歸的基礎(chǔ)上加一個(gè)特征交叉系數(shù)矩陣w，意在自動(dòng)學(xué)習(xí)組合特征
實(shí)際上會(huì)對(duì)矩陣w做分解，變成向量的乘積，這樣可以提高效率
實(shí)際上還有一種叫FFM的方法針對(duì)不同特征域有單的向量v
所以結(jié)合FM和DNN就能得到一個(gè)新的CTR模型DeepFM
FM和DNN共享了embedding層
實(shí)際效果
DNN for YouTube
借鑒了Word2Vec的思想，使用歷史行為預(yù)測(cè)下一個(gè)點(diǎn)擊
https://github.com/PaddlePaddle/models/tree/develop/legacy/youtube_recall
視頻向量即softmax層的W參數(shù)
本質(zhì)上就是一個(gè)類(lèi)似于CBOW的多分類(lèi)問(wèn)題
DSSM
深度語(yǔ)義匹配模型
DSSM最大的賣(mài)點(diǎn)在檢索場(chǎng)景下使用點(diǎn)擊數(shù)據(jù)來(lái)訓(xùn)練語(yǔ)義層次的匹配
Q是用戶(hù)的查詢(xún)
D是文檔的特征
Word Hashing 是一個(gè)解決字典太大的trick參考
http://www.mamicode.com/info-detail-1909443.html
在推薦場(chǎng)景下Q可以理解為用戶(hù)特征
而D為內(nèi)容的特征
GBDT + LR
因?yàn)闆Q策樹(shù)可以學(xué)習(xí)高階特征
所以使用GBDT構(gòu)造一個(gè)二分類(lèi)問(wèn)題進(jìn)行特征預(yù)處理
然后把每顆子樹(shù)的輸出（根據(jù)最后的葉節(jié)點(diǎn)位置進(jìn)行one hot編碼）交給LR進(jìn)行 預(yù)測(cè)
GBDT 二分類(lèi)
把目標(biāo)損失函數(shù)定義為交叉熵?fù)p失函數(shù)
然后利用sigmoid預(yù)測(cè)概率值
Deep & Cross
DCN模型的輸入包括了sparse特征，dense特征, embedding特征，而模型訓(xùn)練階段分成兩個(gè)部分，右邊部分是傳統(tǒng)的DNN模型的deep層，其中每個(gè)deep層后都接入relu激活層, 把原始特征通過(guò)多個(gè)隱層使得特征變得更加高階，而左邊的cross layer通過(guò)一個(gè)遞歸的特征組合公式
每一層的特征都由其上一層的特征進(jìn)行交叉組合，并把上一層的原始特征重新加回來(lái)。這樣既能做特征組合，自動(dòng)生成交叉組合特征，又能保留低階原始特征，隨著cross層的增加，是可以生成任意高階的交叉組合特征（而DeepFM模型只有2階的交叉組合特征）的，且在此過(guò)程中沒(méi)有引入更多的參數(shù)，有效控制了模型復(fù)雜度。最后把cross層的輸出結(jié)果和deep層的輸出結(jié)果組合到一塊來(lái)進(jìn)行LR模型訓(xùn)練，在我們的業(yè)務(wù)場(chǎng)景下，就是預(yù)估user_id在<catid, item>pair下的點(diǎn)擊概率。
