學(xué)習(xí)文檔：https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.12586969.1002.6.410521d8q7Jcs4&postId=144453
制作特征和標(biāo)簽， 轉(zhuǎn)成監(jiān)督學(xué)習(xí)問(wèn)題
我們先捋一下基于原始的給定數(shù)據(jù)， 有哪些特征可以直接利用：
- 文章的自身特征， category_id表示這文章的類(lèi)型， created_at_ts表示文章建立的時(shí)間， 這個(gè)關(guān)系著文章的時(shí)效性， words_count是文章的字?jǐn)?shù)， 一般字?jǐn)?shù)太長(zhǎng)我們不太喜歡點(diǎn)擊, 也不排除有人就喜歡讀長(zhǎng)文。
- 文章的內(nèi)容embedding特征， 這個(gè)召回的時(shí)候用過(guò)， 這里可以選擇使用， 也可以選擇不用， 也可以嘗試其他類(lèi)型的embedding特征， 比如W2V等
- 用戶(hù)的設(shè)備特征信息
上面這些直接可以用的特征， 待做完特征工程之后， 直接就可以根據(jù)article_id或者是user_id把這些特征加入進(jìn)去。 但是我們需要先基于召回的結(jié)果， 構(gòu)造一些特征，然后制作標(biāo)簽，形成一個(gè)監(jiān)督學(xué)習(xí)的數(shù)據(jù)集。
構(gòu)造監(jiān)督數(shù)據(jù)集的思路， 根據(jù)召回結(jié)果， 我們會(huì)得到一個(gè){user_id: [可能點(diǎn)擊的文章列表]}形式的字典。 那么我們就可以對(duì)于每個(gè)用戶(hù)， 每篇可能點(diǎn)擊的文章構(gòu)造一個(gè)監(jiān)督測(cè)試集， 比如對(duì)于用戶(hù)user1， 假設(shè)得到的他的召回列表{user1: [item1, item2, item3]}， 我們就可以得到三行數(shù)據(jù)(user1, item1), (user1, item2), (user1, item3)的形式， 這就是監(jiān)督測(cè)試集時(shí)候的前兩列特征。
構(gòu)造特征的思路是這樣， 我們知道每個(gè)用戶(hù)的點(diǎn)擊文章是與其歷史點(diǎn)擊的文章信息是有很大關(guān)聯(lián)的， 比如同一個(gè)主題， 相似等等。 所以特征構(gòu)造這塊很重要的一系列特征是要結(jié)合用戶(hù)的歷史點(diǎn)擊文章信息。我們已經(jīng)得到了每個(gè)用戶(hù)及點(diǎn)擊候選文章的兩列的一個(gè)數(shù)據(jù)集， 而我們的目的是要預(yù)測(cè)最后一次點(diǎn)擊的文章， 比較自然的一個(gè)思路就是和其最后幾次點(diǎn)擊的文章產(chǎn)生關(guān)系， 這樣既考慮了其歷史點(diǎn)擊文章信息， 又得離最后一次點(diǎn)擊較近，因?yàn)樾侣労艽蟮囊粋€(gè)特點(diǎn)就是注重時(shí)效性。 往往用戶(hù)的最后一次點(diǎn)擊會(huì)和其最后幾次點(diǎn)擊有很大的關(guān)聯(lián)。 所以我們就可以對(duì)于每個(gè)候選文章， 做出與最后幾次點(diǎn)擊相關(guān)的特征如下：
- 候選item與最后幾次點(diǎn)擊的相似性特征(embedding內(nèi)積） --- 這個(gè)直接關(guān)聯(lián)用戶(hù)歷史行為
- 候選item與最后幾次點(diǎn)擊的相似性特征的統(tǒng)計(jì)特征 --- 統(tǒng)計(jì)特征可以減少一些波動(dòng)和異常
- 候選item與最后幾次點(diǎn)擊文章的字?jǐn)?shù)差的特征 --- 可以通過(guò)字?jǐn)?shù)看用戶(hù)偏好
- 候選item與最后幾次點(diǎn)擊的文章建立的時(shí)間差特征 --- 時(shí)間差特征可以看出該用戶(hù)對(duì)于文章的實(shí)時(shí)性的偏好
還需要考慮一下 5. 如果使用了youtube召回的話(huà)， 我們還可以制作用戶(hù)與候選item的相似特征
當(dāng)然， 上面只是提供了一種基于用戶(hù)歷史行為做特征工程的思路， 大家也可以思維風(fēng)暴一下，嘗試一些其他的特征。 下面我們就實(shí)現(xiàn)上面的這些特征的制作， 下面的邏輯是這樣：
- 我們首先獲得用戶(hù)的最后一次點(diǎn)擊操作和用戶(hù)的歷史點(diǎn)擊， 這個(gè)基于我們的日志數(shù)據(jù)集做
- 基于用戶(hù)的歷史行為制作特征， 這個(gè)會(huì)用到用戶(hù)的歷史點(diǎn)擊表， 最后的召回列表， 文章的信息表和embedding向量
- 制作標(biāo)簽， 形成最后的監(jiān)督學(xué)習(xí)數(shù)據(jù)集
特征工程
制作與用戶(hù)歷史行為相關(guān)特征
對(duì)于每個(gè)用戶(hù)召回的每個(gè)商品， 做特征。 具體步驟如下：
- 對(duì)于每個(gè)用戶(hù)， 獲取最后點(diǎn)擊的N個(gè)商品的item_id，
- 對(duì)于該用戶(hù)的每個(gè)召回商品， 計(jì)算與上面最后N次點(diǎn)擊商品的相似度的和(最大， 最小，均值)， 時(shí)間差特征，相似性特征，字?jǐn)?shù)差特征，與該用戶(hù)的相似性特征
用戶(hù)和文章特征
用戶(hù)相關(guān)特征
這一塊，正式進(jìn)行特征工程，既要拼接上已有的特征， 也會(huì)做更多的特征出來(lái)，我們來(lái)梳理一下已有的特征和可構(gòu)造特征：
- 文章自身的特征， 文章字?jǐn)?shù)，文章創(chuàng)建時(shí)間， 文章的embedding （articles表中)
- 用戶(hù)點(diǎn)擊環(huán)境特征， 那些設(shè)備的特征(這個(gè)在df中)
- 對(duì)于用戶(hù)和商品還可以構(gòu)造的特征：
- 基于用戶(hù)的點(diǎn)擊文章次數(shù)和點(diǎn)擊時(shí)間構(gòu)造可以表現(xiàn)用戶(hù)活躍度的特征
- 基于文章被點(diǎn)擊次數(shù)和時(shí)間構(gòu)造可以反映文章熱度的特征
- 用戶(hù)的時(shí)間統(tǒng)計(jì)特征： 根據(jù)其點(diǎn)擊的歷史文章列表的點(diǎn)擊時(shí)間和文章的創(chuàng)建時(shí)間做統(tǒng)計(jì)特征，比如求均值， 這個(gè)可以反映用戶(hù)對(duì)于文章時(shí)效的偏好
- 用戶(hù)的主題愛(ài)好特征， 對(duì)于用戶(hù)點(diǎn)擊的歷史文章主題進(jìn)行一個(gè)統(tǒng)計(jì)， 然后對(duì)于當(dāng)前文章看看是否屬于用戶(hù)已經(jīng)點(diǎn)擊過(guò)的主題
- 用戶(hù)的字?jǐn)?shù)愛(ài)好特征， 對(duì)于用戶(hù)點(diǎn)擊的歷史文章的字?jǐn)?shù)統(tǒng)計(jì)， 求一個(gè)均值
