推薦系統(tǒng)遇上深度學(xué)習(xí)(六)--PNN模型理論和實(shí)踐

推薦系統(tǒng)遇上深度學(xué)習(xí)系列：
推薦系統(tǒng)遇上深度學(xué)習(xí)(一)--FM模型理論和實(shí)踐：http://m.itdecent.cn/p/152ae633fb00
推薦系統(tǒng)遇上深度學(xué)習(xí)(二)--FFM模型理論和實(shí)踐:http://m.itdecent.cn/p/781cde3d5f3d
推薦系統(tǒng)遇上深度學(xué)習(xí)(三)--DeepFM模型理論和實(shí)踐：
http://m.itdecent.cn/p/6f1c2643d31b
推薦系統(tǒng)遇上深度學(xué)習(xí)(四)--多值離散特征的embedding解決方案：http://m.itdecent.cn/p/4a7525c018b2
推薦系統(tǒng)遇上深度學(xué)習(xí)(五)--Deep&Cross Network模型理論和實(shí)踐：
http://m.itdecent.cn/p/77719fc252fa

1、原理

PNN，全稱為Product-based Neural Network，認(rèn)為在embedding輸入到MLP之后學(xué)習(xí)的交叉特征表達(dá)并不充分，提出了一種product layer的思想，既基于乘法的運(yùn)算來體現(xiàn)體征交叉的DNN網(wǎng)絡(luò)結(jié)構(gòu)，如下圖：

按照論文的思路，我們也從上往下來看這個(gè)網(wǎng)絡(luò)結(jié)構(gòu)：

輸出層
輸出層很簡單，將上一層的網(wǎng)絡(luò)輸出通過一個(gè)全鏈接層，經(jīng)過sigmoid函數(shù)轉(zhuǎn)換后映射到(0,1)的區(qū)間中，得到我們的點(diǎn)擊率的預(yù)測值：

l2層
根據(jù)l1層的輸出，經(jīng)一個(gè)全鏈接層 ，并使用relu進(jìn)行激活，得到我們l2的輸出結(jié)果：

l1層
l1層的輸出由如下的公式計(jì)算：

重點(diǎn)馬上就要來了，我們可以看到在得到l1層輸出時(shí)，我們輸入了三部分，分別是lz，lp 和 b1，b1是我們的偏置項(xiàng)，這里可以先不管。lz和lp的計(jì)算就是PNN的精華所在了。我們慢慢道來

Product Layer

product思想來源于，在ctr預(yù)估中，認(rèn)為特征之間的關(guān)系更多是一種and“且”的關(guān)系，而非add"加”的關(guān)系。例如，性別為男且喜歡游戲的人群，比起性別男和喜歡游戲的人群，前者的組合比后者更能體現(xiàn)特征交叉的意義。

product layer可以分成兩個(gè)部分，一部分是線性部分lz，一部分是非線性部分lp。二者的形式如下：

在這里，我們要使用到論文中所定義的一種運(yùn)算方式，其實(shí)就是矩陣的點(diǎn)乘啦：

我們先繼續(xù)介紹網(wǎng)絡(luò)結(jié)構(gòu)，有關(guān)Product Layer的更詳細(xì)的介紹，我們在下一章中介紹。

Embedding Layer

Embedding Layer跟DeepFM中相同，將每一個(gè)field的特征轉(zhuǎn)換成同樣長度的向量，這里用f來表示。

損失函數(shù)
使用和邏輯回歸同樣的損失函數(shù)，如下：

2、Product Layer詳細(xì)介紹

前面提到了，product layer可以分成兩個(gè)部分，一部分是線性部分lz，一部分是非線性部分lp。

看上面的公式，我們首先需要知道z和p，這都是由我們的embedding層得到的，其中z是線性信號(hào)向量，因此我們直接用embedding層得到：

論文中使用的等號(hào)加一個(gè)三角形，其實(shí)就是相等的意思，你可以認(rèn)為z就是embedding層的復(fù)制。

對(duì)于p來說，這里需要一個(gè)公式進(jìn)行映射：

不同的g的選擇使得我們有了兩種PNN的計(jì)算方法，一種叫做Inner PNN，簡稱IPNN，一種叫做Outer PNN，簡稱OPNN。

接下來，我們分別來具體介紹這兩種形式的PNN模型，由于涉及到復(fù)雜度的分析，所以我們這里先定義Embedding的大小為M，field的大小為N，而lz和lp的長度為D1。

2.1 IPNN

IPNN的示意圖如下：

IPNN中p的計(jì)算方式如下，即使用內(nèi)積來代表pij：

所以，pij其實(shí)是一個(gè)數(shù)，得到一個(gè)pij的時(shí)間復(fù)雜度為M，p的大小為N*N，因此計(jì)算得到p的時(shí)間復(fù)雜度為N*N*M。而再由p得到lp的時(shí)間復(fù)雜度是N*N*D1。因此 對(duì)于IPNN來說，總的時(shí)間復(fù)雜度為N*N(D1+M)。文章對(duì)這一結(jié)構(gòu)進(jìn)行了優(yōu)化，可以看到，我們的p是一個(gè)對(duì)稱矩陣，因此我們的權(quán)重也可以是一個(gè)對(duì)稱矩陣，對(duì)稱矩陣就可以進(jìn)行如下的分解：

因此：

因此：

從而得到：

可以看到，我們的權(quán)重只需要D1 * N就可以了，時(shí)間復(fù)雜度也變?yōu)榱薉1*M*N。

2.2 OPNN

OPNN的示意圖如下：

OPNN中p的計(jì)算方式如下：

此時(shí)pij為M*M的矩陣，計(jì)算一個(gè)pij的時(shí)間復(fù)雜度為M*M，而p是N*N*M*M的矩陣，因此計(jì)算p的事件復(fù)雜度為N*N*M*M。從而計(jì)算lp的時(shí)間復(fù)雜度變?yōu)镈1 * N*N*M*M。這個(gè)顯然代價(jià)很高的。為了減少負(fù)責(zé)度，論文使用了疊加的思想，它重新定義了p矩陣：

這里計(jì)算p的時(shí)間復(fù)雜度變?yōu)榱薉1*M*(M+N)

3、代碼實(shí)戰(zhàn)

終于到了激動(dòng)人心的代碼實(shí)戰(zhàn)環(huán)節(jié)了，一直想找一個(gè)實(shí)現(xiàn)比較好的代碼，找來找去tensorflow沒有什么合適的，倒是pytorch有一個(gè)不錯(cuò)的。沒辦法，只能自己來實(shí)現(xiàn)啦，因此本文的代碼嚴(yán)格根據(jù)論文得到，有不對(duì)的的地方或者改進(jìn)之處還望大家多多指正。

本文的github地址為：
https://github.com/princewen/tensorflow_practice/tree/master/Basic-PNN-Demo.

本文的代碼根據(jù)之前DeepFM的代碼進(jìn)行改進(jìn)，我們只介紹模型的實(shí)現(xiàn)部分，其他數(shù)據(jù)處理的細(xì)節(jié)大家可以參考我的github上的代碼.

模型輸入

模型的輸入主要有下面幾個(gè)部分:

self.feat_index = tf.placeholder(tf.int32,
                                 shape=[None,None],
                                 name='feat_index')
self.feat_value = tf.placeholder(tf.float32,
                               shape=[None,None],
                               name='feat_value')

self.label = tf.placeholder(tf.float32,shape=[None,1],name='label')
self.dropout_keep_deep = tf.placeholder(tf.float32,shape=[None],name='dropout_deep_deep')

feat_index是特征的一個(gè)序號(hào)，主要用于通過embedding_lookup選擇我們的embedding。feat_value是對(duì)應(yīng)的特征值，如果是離散特征的話，就是1，如果不是離散特征的話，就保留原來的特征值。label是實(shí)際值。還定義了dropout來防止過擬合。

權(quán)重構(gòu)建

權(quán)重由四部分構(gòu)成，首先是embedding層的權(quán)重，然后是product層的權(quán)重，有線性信號(hào)權(quán)重，還有平方信號(hào)權(quán)重，根據(jù)IPNN和OPNN分別定義。最后是Deep Layer各層的權(quán)重以及輸出層的權(quán)重。

對(duì)線性信號(hào)權(quán)重來說，大小為D1 * N * M
對(duì)平方信號(hào)權(quán)重來說，IPNN 的大小為D1 * N，OPNN為D1 * M * M。

def _initialize_weights(self):
    weights = dict()

    #embeddings
    weights['feature_embeddings'] = tf.Variable(
        tf.random_normal([self.feature_size,self.embedding_size],0.0,0.01),
        name='feature_embeddings')
    weights['feature_bias'] = tf.Variable(tf.random_normal([self.feature_size,1],0.0,1.0),name='feature_bias')


    #Product Layers
    if self.use_inner:
        weights['product-quadratic-inner'] = tf.Variable(tf.random_normal([self.deep_init_size,self.field_size],0.0,0.01))
    else:
        weights['product-quadratic-outer'] = tf.Variable(
            tf.random_normal([self.deep_init_size, self.embedding_size,self.embedding_size], 0.0, 0.01))



    weights['product-linear'] = tf.Variable(tf.random_normal([self.deep_init_size,self.field_size,self.embedding_size],0.0,0.01))
    weights['product-bias'] = tf.Variable(tf.random_normal([self.deep_init_size,],0,0,1.0))
    #deep layers
    num_layer = len(self.deep_layers)
    input_size = self.deep_init_size
    glorot = np.sqrt(2.0/(input_size + self.deep_layers[0]))

    weights['layer_0'] = tf.Variable(
        np.random.normal(loc=0,scale=glorot,size=(input_size,self.deep_layers[0])),dtype=np.float32
    )
    weights['bias_0'] = tf.Variable(
        np.random.normal(loc=0,scale=glorot,size=(1,self.deep_layers[0])),dtype=np.float32
    )


    for i in range(1,num_layer):
        glorot = np.sqrt(2.0 / (self.deep_layers[i - 1] + self.deep_layers[i]))
        weights["layer_%d" % i] = tf.Variable(
            np.random.normal(loc=0, scale=glorot, size=(self.deep_layers[i - 1], self.deep_layers[i])),
            dtype=np.float32)  # layers[i-1] * layers[i]
        weights["bias_%d" % i] = tf.Variable(
            np.random.normal(loc=0, scale=glorot, size=(1, self.deep_layers[i])),
            dtype=np.float32)  # 1 * layer[i]


    glorot = np.sqrt(2.0/(input_size + 1))
    weights['output'] = tf.Variable(np.random.normal(loc=0,scale=glorot,size=(self.deep_layers[-1],1)),dtype=np.float32)
    weights['output_bias'] = tf.Variable(tf.constant(0.01),dtype=np.float32)


    return weights

Embedding Layer
這個(gè)部分很簡單啦，是根據(jù)feat_index選擇對(duì)應(yīng)的weights['feature_embeddings']中的embedding值，然后再與對(duì)應(yīng)的feat_value相乘就可以了：

# Embeddings
self.embeddings = tf.nn.embedding_lookup(self.weights['feature_embeddings'],self.feat_index) # N * F * K
feat_value = tf.reshape(self.feat_value,shape=[-1,self.field_size,1])
self.embeddings = tf.multiply(self.embeddings,feat_value) # N * F * K

Product Layer
根據(jù)之前的介紹，我們分別計(jì)算線性信號(hào)向量，二次信號(hào)向量，以及偏置項(xiàng)，三者相加同時(shí)經(jīng)過relu激活得到深度網(wǎng)絡(luò)部分的輸入。

# Linear Singal
linear_output = []
for i in range(self.deep_init_size):
    linear_output.append(tf.reshape(
        tf.reduce_sum(tf.multiply(self.embeddings,self.weights['product-linear'][i]),axis=[1,2]),shape=(-1,1)))# N * 1

self.lz = tf.concat(linear_output,axis=1) # N * init_deep_size

# Quardatic Singal
quadratic_output = []
if self.use_inner:
    for i in range(self.deep_init_size):
        theta = tf.multiply(self.embeddings,tf.reshape(self.weights['product-quadratic-inner'][i],(1,-1,1))) # N * F * K
        quadratic_output.append(tf.reshape(tf.norm(tf.reduce_sum(theta,axis=1),axis=1),shape=(-1,1))) # N * 1

else:
    embedding_sum = tf.reduce_sum(self.embeddings,axis=1)
    p = tf.matmul(tf.expand_dims(embedding_sum,2),tf.expand_dims(embedding_sum,1)) # N * K * K
    for i in range(self.deep_init_size):
        theta = tf.multiply(p,tf.expand_dims(self.weights['product-quadratic-outer'][i],0)) # N * K * K
        quadratic_output.append(tf.reshape(tf.reduce_sum(theta,axis=[1,2]),shape=(-1,1))) # N * 1

self.lp = tf.concat(quadratic_output,axis=1) # N * init_deep_size

self.y_deep = tf.nn.relu(tf.add(tf.add(self.lz, self.lp), self.weights['product-bias']))
self.y_deep = tf.nn.dropout(self.y_deep, self.dropout_keep_deep[0])

Deep Part
論文中的Deep Part實(shí)際上只有一層，不過我們可以隨意設(shè)置，最后得到輸出：

# Deep component
for i in range(0,len(self.deep_layers)):
    self.y_deep = tf.add(tf.matmul(self.y_deep,self.weights["layer_%d" %i]), self.weights["bias_%d"%i])
    self.y_deep = self.deep_layers_activation(self.y_deep)
    self.y_deep = tf.nn.dropout(self.y_deep,self.dropout_keep_deep[i+1])
self.out = tf.add(tf.matmul(self.y_deep,self.weights['output']),self.weights['output_bias'])

剩下的代碼就不介紹啦！
好啦，本文只是提供一個(gè)引子，有關(guān)PNN的知識(shí)大家可以更多的進(jìn)行學(xué)習(xí)呦。

參考文獻(xiàn)
1 、https://zhuanlan.zhihu.com/p/33177517
2、https://cloud.tencent.com/developer/article/1104673?fromSource=waitui
3、https://arxiv.org/abs/1611.00144

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容