Self-supervised Learning for Large-scale Item Recommendations

1. Motivation

在一些item特別多的場(chǎng)景中，推薦系統(tǒng)中面臨著數(shù)據(jù)過于稀疏，以及用戶對(duì)item的行為呈現(xiàn)冪律分布，導(dǎo)致長尾item數(shù)據(jù)更加稀疏的情況。

鑒于自監(jiān)督學(xué)習(xí)(self-supervised learning)在CV與NLP領(lǐng)域中的重要成果，作者考慮將這一想法應(yīng)用到推薦系統(tǒng)中來（推薦系統(tǒng)一再受益于CV與NLP領(lǐng)域的重大成果）。

2. SSL

ssl_supervised_loss.jpg

這是一個(gè)典型的雙塔結(jié)構(gòu)，最著名的是微軟提出的DSSM模型；一般更多應(yīng)用于召回環(huán)節(jié)，可以將學(xué)習(xí)到的item向量表示加載到比如Faiss這樣的向量檢索引擎，從而在線實(shí)時(shí)根據(jù)user向量去檢索召回top N的item。

本文以這樣的雙塔結(jié)構(gòu)為例。

ssl_framework.jpg

典型的自監(jiān)督學(xué)習(xí)結(jié)構(gòu)如圖2所示，使用contrastive loss, 對(duì)于一個(gè)輸入，通過數(shù)據(jù)增強(qiáng)等方式得到新的表示，讓與最終學(xué)到的表示越近越好。

對(duì)于另外一個(gè)輸入，同樣經(jīng)過數(shù)據(jù)增強(qiáng)等變換，但是讓原始樣本的向量表示與的兩個(gè)最終向量表示距離越遠(yuǎn)越好。

ssl_model.jpg

3. Experiment

ssl_result.jpg

4. Preferences

[1] Yao, T., Yi, X., Cheng, D. Z., Yu, F., Chen, T., Menon, A., ... & Ettinger, E. (2020). Self-supervised Learning for Large-scale Item Recommendations. arXiv preprint arXiv:2007.12865.