作者以及單位

Yuntao Du, Xinjun Zhu, Lu Chen, Ziquan Fang, Yunjun Gao
ZJU-DAILY/MetaKG: Source code for MetaKG: Meta-learning on Knowledge Graph for Cold-start Recommendation. TKDE 2022. (github.com)

解決問(wèn)題

Challenge I:現(xiàn)有的KG依賴大量的用戶-項(xiàng)目的反饋，但是當(dāng)用戶-項(xiàng)目稀缺，KG的性能就下降。所以設(shè)計(jì)了meta結(jié)構(gòu)捕獲了高階用戶-項(xiàng)目交互信息。
Challenge II:在冷啟動(dòng)如何通過(guò)KG捕獲更準(zhǔn)確的先驗(yàn)知識(shí)，現(xiàn)有的方法都是通過(guò)語(yǔ)義embedding，但是只能挖掘有限的meta實(shí)體。如何在meta學(xué)習(xí)利用KG提供的信息，也是挑戰(zhàn)。

研究動(dòng)機(jī)

為了解決第一個(gè)挑戰(zhàn)，定義了一個(gè)collaborative knowledge graph (CKG) 的協(xié)同KG的learner來(lái)學(xué)習(xí)用戶偏好，起到局部聚合每個(gè)用戶偏好作用。
為了姐姐第二個(gè)挑戰(zhàn)，設(shè)計(jì)了一個(gè)knowledge-aware meta learner知識(shí)感知元學(xué)習(xí)器，可以跨層獲取KG的語(yǔ)義，起到全局概化不同用戶偏好作用。

創(chuàng)新點(diǎn)

作者寫(xiě)了4個(gè)，排出模型架構(gòu)能夠解決冷啟動(dòng)和實(shí)驗(yàn)場(chǎng)景可以擴(kuò)展外，核心就是2個(gè)：
1.設(shè)計(jì)了兩個(gè)meta learners（collaborative-aware meta learner and knowledge-aware meta learner）可以有效地捕獲冷啟動(dòng)中具有有限用戶-項(xiàng)目交互的高階協(xié)作關(guān)系和語(yǔ)義表示場(chǎng)景（圖1后面兩部分）。
PROP代表傳播propagation，而AGG代表了聚合aggregation。
即，這兩個(gè)公式表達(dá)的是當(dāng)PROP將信息從相鄰的邊和節(jié)點(diǎn)傳播到源節(jié)點(diǎn)時(shí)，AGG同時(shí)將實(shí)體嵌入轉(zhuǎn)換為更好的實(shí)體嵌入。關(guān)于gnn的更多細(xì)節(jié)可以參考[39]。（這個(gè)文獻(xiàn)39是2018年ICLR的一篇關(guān)于 Graph attention networks的文章）

gnn部分

2.自適應(yīng)任務(wù)調(diào)度程序。核心就抗噪，可以通過(guò)任務(wù)采樣的概率來(lái)決定調(diào)度任務(wù)的先后，以及兩個(gè)learner的優(yōu)化（上下紅黑線）。

圖1：metakg

研究方法

研究方法主要針對(duì)在第三章，一個(gè)是圖神經(jīng)網(wǎng)絡(luò) Graph Neural Networks (GNNs，即這個(gè)地方是KG)二個(gè)是 Optimization-based Meta-learning（即這個(gè)地方Meta）
因?yàn)樽髡咄ㄟ^(guò)使用圖注意力網(wǎng)絡(luò)GNNs嵌入知識(shí)圖來(lái)設(shè)計(jì)基礎(chǔ)模型。然后，利用基于優(yōu)化的元學(xué)習(xí)支持嵌入式 KG 的冷啟動(dòng)建議。

1.關(guān)于GNN優(yōu)化文章中的原話是：There are lots of propagation methods to choose, including convolution [21], self-attention [39], and knowledge-aware attention [45]. As for the aggregation methods, we can use GCN aggregator [21], GraphSage aggregator [12], and bi-interaction aggregator [45]. In this paper, we utilize knowledge-aware attention and bi-interaction aggregator for its simplicity and good performance.
這個(gè)地方可以用的很多，他們用的感知注意力和雙向交互聚合器，原因是簡(jiǎn)單好用。這個(gè)地方未來(lái)優(yōu)化的空間還是蠻多的。

GNN的解釋，我覺(jué)得知乎這個(gè)綜述文章說(shuō)的通俗易懂：
Graph Neural Networks （GNN）綜述 簡(jiǎn)介 - 知乎 (zhihu.com)

2.關(guān)于meta-learning作者在相關(guān)工作提到 很多工作的問(wèn)題就是這些方法只考慮一個(gè)meta leaner 學(xué)習(xí)一個(gè)優(yōu)化目標(biāo)（即評(píng)級(jí)loss），這對(duì)于基于 KG 的推薦是不可行的。因?yàn)橛斜匾瑫r(shí)捕獲用戶偏好的先驗(yàn)協(xié)作和知識(shí)信息學(xué)習(xí)，并且這些方法的簡(jiǎn)單模型架構(gòu)無(wú)法捕獲之間的高階關(guān)系用戶和物品。
關(guān)于使用Optimization-based Meta-learning的原話是： Finally, the optimization-based methods learn parameters that are conducive to fast gradient-based adaptation to new tasks, which achieve the state-of-the-art performance. In this category, MAML [5] learns a good initialization from a base model.
即用的文獻(xiàn)5MAML。

結(jié)論