CBOW 周圍詞預測中心詞
skip gram 中心詞預測周圍詞

image.png

SkipGram模型講解

1.目標函數(shù)
2.具備條件 兩個詞越相似，P(c,w;θ) 越大

image.png

3.表示方法：中心詞有個embedding V，上下文詞有embedding U 注意是兩個矩陣！大小為 詞庫size×embedding_size

image.png

得到了SkipGram目標函數(shù)之后，發(fā)現(xiàn)了這個目標函數(shù)其實不好優(yōu)化。所以需要換一種方式去優(yōu)化，其中比較流行的方法是使用負采樣