筆者在之前的文章中介紹過使用keras搭建一個基于矩陣分解的推薦系統(tǒng),而那篇文章所介紹的方法可能只是一個龐大推薦系統(tǒng)中的一小環(huán)節(jié)。而對于工業(yè)級別的推薦系統(tǒng)，面對極其龐大的產(chǎn)品種類數(shù)量，一步就輸出符合用戶心意的產(chǎn)品可能夠嗆，最好的方式應(yīng)該是從巨大的產(chǎn)品類別之中粗篩出一些靠譜的待推薦產(chǎn)品，然后再從粗篩的產(chǎn)品中精挑細選出要推薦給用戶的最終產(chǎn)品。
工業(yè)級別的推薦系統(tǒng)簡介
工業(yè)級別的推薦系統(tǒng)的架構(gòu)圖如下圖所示，大致分為兩個階段：
- 召回階段：也就是粗篩階段，由于涉及到的產(chǎn)品數(shù)量巨大，大的公司都是千萬級別，甚至上億級別的產(chǎn)品數(shù)量，此階段的模型應(yīng)該盡量簡單，特征維度也盡量少，這樣方便快速篩選出一些待推薦的產(chǎn)品。
-
排序階段：即對上一階段粗篩出來的待推薦產(chǎn)品進行精挑細選，此階段為了推薦出符合用戶心意的產(chǎn)品，需要模型盡量的準確。而且由于粗篩階段將數(shù)據(jù)量減少到幾千，甚至幾百級別，所以使用復(fù)雜模型，并且特征維度也可以盡量豐富，盡量多一些，這樣訓(xùn)練出來的模型才能有較強的性能。
推薦系統(tǒng)的架構(gòu)圖
而接下來我要介紹的FM（Factorization Machine）算法，不僅在召回階段有用武之地，在排序階段也是很拿得出手的推薦模型。
FM（Factorization Machine）算法簡介
Factorization Machine的中文叫因子分解機，F(xiàn)M算法的最強特點就是考慮到了特征的二階組合——即特征兩兩組合形成一個新的特征。在產(chǎn)品推薦，CTR預(yù)估等任務(wù)中，特征相互組合很可能會得到一個特別強的新特征。接下來我們從FM算法的公式來了解一下此算法的精髓：
如果我們單看FM算法的前面一部分： ,這不就是一個Logistics回歸模型嗎，確實沒錯，F(xiàn)M算法的前半部分就是Logistics回歸，算法的后半部分才體現(xiàn)出FM的特征組合的思想：
- 其中
可以理解成特征
和特征
的另外一種向量表示，
-
- Logistics回歸 + 特征之間的兩兩組合，最后給每個兩兩組合而來的新特征乘上一個權(quán)重值，就實現(xiàn)了FM算法的特征的二階組合的思想。
通過下圖我們可以將FM算法的公式轉(zhuǎn)化為：
不要小看了公式的改寫這一步，公式的改寫這一過程會帶來了算法時間復(fù)雜度的下降，加速算法的運行。接下來我們就嘗試使用keras實現(xiàn)一下FM算法。
FM算法實戰(zhàn)
首先導(dǎo)入畢要的python 包，導(dǎo)入 sklearn中乳腺癌的分類任務(wù)數(shù)據(jù)（筆者只是為了實現(xiàn)算法，所以只找了個簡單的現(xiàn)成數(shù)據(jù)跑一跑）。
import keras
from keras.layers import Layer, Dense, Dropout,Input
from keras import Model,activations
from keras.optimizers import Adam
import keras.backend as K
from sklearn.datasets import load_breast_cancer
FM層的定義，其中call函數(shù)中定義了FM的主要實現(xiàn)部分。
class FM(Layer):
def __init__(self, output_dim=30, activation="relu",**kwargs):
self.output_dim = output_dim
self.activate = activations.get(activation)
super(FM, self).__init__(**kwargs)
def build(self, input_shape):
self.wight = self.add_weight(name='wight',
shape=(input_shape[1], self.output_dim),
initializer='glorot_uniform',
trainable=True)
self.bias = self.add_weight(name='bias',
shape=(self.output_dim,),
initializer='zeros',
trainable=True)
self.kernel = self.add_weight(name='kernel',
shape=(input_shape[1], self.output_dim),
initializer='glorot_uniform',
trainable=True)
super(FM, self).build(input_shape)
def call(self, x):
feature = K.dot(x,self.wight) + self.bias
a = K.pow(K.dot(x,self.kernel), 2)
b = K.dot(x, K.pow(self.kernel, 2))
cross = K.mean(a-b, 1, keepdims=True)*0.5
cross = K.repeat_elements(K.reshape(cross, (-1, 1)), self.output_dim, axis=-1)
return self.activate(feature + cross)
def compute_output_shape(self, input_shape):
return (input_shape[0], self.output_dim)
數(shù)據(jù)載入
載入sklearn中乳腺癌的分類任務(wù)數(shù)據(jù)。
data = load_breast_cancer()["data"]
target = load_breast_cancer()["target"]
模型構(gòu)建
這里我采用了一層FM層，一層15個神經(jīng)元的隱層構(gòu)建了一個兩層的網(wǎng)絡(luò)模型，Loss 采用的是平方誤差損失（mse），當然也可以采用交叉熵損失（cross entropy）。
K.clear_session()
inputs = Input(shape=(30,))
out = FM(20)(inputs)
out = Dense(15,activation="sigmoid")(out)
out = Dense(1,activation="sigmoid")(out)
model = Model(inputs=inputs, outputs=out)
model.compile(loss='mse',
optimizer=adam(0.0001),
metrics=['accuracy'])
model.summary()
模型訓(xùn)練
定義好batch_size 和訓(xùn)練輪數(shù)，就可以將模型跑起來了。
model.fit(data, target,
batch_size=1,
epochs=100,
validation_split=0.2)
下圖訓(xùn)練的截圖，由于數(shù)據(jù)集太小，太簡單這里也沒有對比FM和其他算法的性能差異，不過看網(wǎng)上的博客教程，F(xiàn)M在應(yīng)對特征豐富的推薦任務(wù)時有著很不錯的效果。畢竟考慮到了特征之間的組合關(guān)系。
結(jié)語
筆者之前也介紹過GBDT+ LR，Wide and deep等推薦算法，這次介紹的FM算法也是推薦算法中比較常用的算法，他們都有一個共同的特點——就是這些算法都在尋找特征之間的組合關(guān)聯(lián)，從而實現(xiàn)推薦算法性能的提升。萬事萬物都存在聯(lián)系，確實只有算法能夠洞察事物（特征）之間聯(lián)系，才有可能做出更精確的推薦決策。
參考文獻
https://zhuanlan.zhihu.com/p/58160982
https://github.com/Hourout/CTR-keras
