FM因子分解機的原理介紹及實現(xiàn)

一.FM原理

大家可能用過sklearn中的這個多項式特征處理函數(shù)：sklearn.preprocessing.PolynomialFeatures，它作用是就是將原始特征擴展為多項式特征，比如原始特征為a,b，那么它會做如下擴展：

[a,b]\rightarrow [1,a,b,a^2,ab,b^2]

而FM的初衷便是對這組新特征做線性建模，一般地，它可以表示如下：

y(x)=w_0+\sum_{i=1}^nw_ix_i+\sum_{i=1}^{n-1}\sum_{j=i+1}^nw_{ij}x_ix_j

FM通常不會對平方項建模（比如上面的a^2,b^2），這里n代表樣本的特征數(shù)量，x_i是第i個特征值，w_0,w_i,w_{ij}是模型參數(shù)，到這里大家可能會有疑惑，我們干嘛不先通過多項式特征處理函數(shù)做轉換，然后再接著做一個線性回歸或者logistic回歸之類的不就行了嗎？那這個...FM拿它何用？如果按照剛剛的操作其實是有很大問題的，主要有兩點問題：

（1）參數(shù)爆炸；

（2）高維稀疏；

第一點比較容易理解，對于n個特征，w_{ij}將會有\frac{n(n-1)}{2}項，形象點說就是平常隨意用到的100個特征，擴展后將會有5000個，而參數(shù)越多，如果沒有足夠的數(shù)據(jù)做訓練，模型很容易陷入過擬合，而對于第二點，經(jīng)常處理離散特征的同學會很容易理解，比如下圖

包含有三個特征（最左側的是標簽），且都是離散特征，而對于離散特征我們經(jīng)常做的一種操作便是one-hot轉換，轉換后的結果如下圖：

如果我們在對這些特征做多項式轉換，可以發(fā)現(xiàn)轉后的20多個特征中，僅僅只有3個非零特征，這就意味著絕大部分的x_ix_j將會是0，而損失函數(shù)關于w_{ij}的導數(shù)必然會包含有x_ix_j這一項，這就意味w_{ij}大部分情況下就是個擺設，很難被更新到，而FM便可以解決這兩個問題，它假設w_{ij}由兩個向量的內積生成：

w_{ij}:=<v_i,v_j>

這里，v_i表示第i個特征的隱向量，其向量長度為k(k<<n)，通常k=4即可，這時FM模型方程如下：

y(x)=w_0+\sum_{i=1}^nw_ix_i+\sum_{i=1}^{n-1}\sum_{j=i+1}^n<v_i,v_j>x_ix_j
進一步的，我們可以將其化簡為如下形式：

y(x)=w_0+\sum_{i=1}^nw_ix_i+\frac{1}{2}\sum_{f=1}^k((\sum_{i=1}^nv_{i,f}x_i)^2-\sum_{i=1}^nv_{i,f}^2x_i^2)

這里，v_{i,f}表示向量v_i的第f個元素，上述化簡用到了這樣的關系：ab+ac+bc=\frac{1}{2}((a+b+c)^2-(a^2+b^2+c^2))，接下來我們可以進一步看看梯度：

\frac{\partial}{\partial\theta}y(x)=\left\{\begin{matrix} 1 &\theta=w_0 \\ x_i &\theta=w_i \\ x_i\sum_{j=1}^nv_{j,f}x_j-v_{i,f}x_i^2 & \theta=v_{i,f} \end{matrix}\right.

可以發(fā)現(xiàn)前面的兩個問題可以被FM解決了，第一個問題，參數(shù)量從n(n-1)/2降低到了kn，第二個高維稀疏導致參數(shù)無法被訓練的問題，對于v_{i,f}只要x_i不為0，且所有x_j,j=1,2,...,n中有一個不為0，那么梯度\frac{\partial}{\partial v_{i,f}}y(x)就不為0，這比x_ix_j不為0的條件松了很多

二.代碼實現(xiàn)

這里就對FM應用到回歸任務做簡單實現(xiàn)，更多的功能擴展放到FFM中，下面推導一下?lián)p失函數(shù)對參數(shù)的梯度，假設樣本x對應的標簽為t，那么損失函數(shù)可以表示如下：

L(\theta)=\frac{1}{2}(y(x)-t)^2

那么：

\frac{\partial L(\theta)}{\partial y(x)}=y(x)-t

再根據(jù)鏈式求導有：

\frac{\partial L(\theta)}{\partial \theta}=\frac{\partial L(\theta)}{\partial y(x)}\frac{\partial y(x)}{\partial\theta}\\ =(y(x)-t)\cdot \left\{\begin{matrix} 1 &\theta=w_0 \\ x_i &\theta=w_i \\ x_i\sum_{j=1}^nv_{j,f}x_j-v_{i,f}x_i^2 & \theta=v_{i,f} \end{matrix}\right.

三.測試

import matplotlib.pyplot as plt
%matplotlib inline

#造偽數(shù)據(jù)
data1 = np.linspace(1, 10, num=200)
data2 = np.linspace(1, 10, num=200) + np.random.random(size=200)
target = data1 * 2 + data2 * 1 + 10 * data1 * data2 + np.random.random(size=200)
data = np.c_[data1, data2]

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(data, target, test_size=0.4, random_state=0)

#訓練模型
model = FM()
train_losses,eval_losses = model.fit(X_train, y_train, eval_set=(X_test,y_test))

epoch: 1 / 1 ,samples: 1 / 120 ,train loss: 327.43304536928594 ,eval loss: 291.9721877542085
epoch: 1 / 1 ,samples: 2 / 120 ,train loss: 326.7160901918784 ,eval loss: 291.3271189485855
epoch: 1 / 1 ,samples: 3 / 120 ,train loss: 325.7151828483661 ,eval loss: 290.43528663690176
epoch: 1 / 1 ,samples: 4 / 120 ,train loss: 324.4152130238985 ,eval loss: 289.2810645127806
epoch: 1 / 1 ,samples: 5 / 120 ,train loss: 323.01897436328363 ,eval loss: 288.0444933403834
epoch: 1 / 1 ,samples: 6 / 120 ,train loss: 321.3838207470574 ,eval loss: 286.5995936954016
epoch: 1 / 1 ,samples: 7 / 120 ,train loss: 319.94927792261774 ,eval loss: 285.3310103840077
epoch: 1 / 1 ,samples: 8 / 120 ,train loss: 318.5719337115685 ,eval loss: 284.11400223694636
epoch: 1 / 1 ,samples: 9 / 120 ,train loss: 316.9476360205337 ,eval loss: 282.6800903373831
epoch: 1 / 1 ,samples: 10 / 120 ,train loss: 314.7864859352729 ,eval loss: 280.7747654767163

#查看擬合效果
plt.scatter(data[:, 0], target)
plt.plot(data[:, 0], model.predict(data), color='r')

#查看loss
plt.plot(range(0,len(train_losses)),train_losses,label='train loss')
plt.plot(range(0,len(eval_losses)),eval_losses,label='eval loss')
plt.legend()
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成，瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發(fā)布，文章內容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

相關閱讀更多精彩內容

友情鏈接更多精彩內容