參考： https://www.tensorflow.org/tutorials/word2vec

官網(wǎng)的這個(gè)教程主要講word2vec的skip-gram模型，沒(méi)有講CBOW，并且訓(xùn)練用的負(fù)采樣，沒(méi)有用層次softmax。

動(dòng)機(jī)

動(dòng)機(jī)其實(shí)就是分布式假說(shuō)：

在相同上下文中的詞有相似語(yǔ)義（words that appear in the same contexts share semantic meaning）

根據(jù)分布式假說(shuō)表示詞的方法分為兩類：

• count-based methods (e.g. Latent Semantic Analysis)
• predictive methods (e.g. neural probabilistic language models)

預(yù)測(cè)方法的代表就是Word2Vec模型，有兩種：

• Continuous Bag-of-Words model (CBOW)
• Skip-Gram model

CBOW 從上下文預(yù)測(cè)目標(biāo)詞，skip-gram正好相反，從目標(biāo)詞預(yù)測(cè)上下文中的詞。

CBOW在許多分布式信息上進(jìn)行平滑（將整個(gè)上下文作為一種情況），大多數(shù)情況下這個(gè)模型在小一點(diǎn)的數(shù)據(jù)集上更有效?？墒?，skip-gram將每一對(duì)context-target詞作為一種新的情況，在大一點(diǎn)的數(shù)據(jù)集上的會(huì)有更好效果。

噪聲對(duì)比訓(xùn)練

神經(jīng)概率語(yǔ)言模型通常用最大似然估計(jì)來(lái)訓(xùn)練，即最大化給定輸入h（歷史信息，前n-1個(gè)詞），輸出下一個(gè)詞wt的概率，使用softmax函數(shù)，取log后就是我們想要的準(zhǔn)則函數(shù)，叫作log-likelihood。這個(gè)值的計(jì)算代價(jià)非常高，因?yàn)?strong>softmax的分母要計(jì)算整個(gè)詞表的得分。

訓(xùn)練數(shù)據(jù)的構(gòu)造方法則為：對(duì)于每一個(gè)ngram片段，前n-1個(gè)詞為構(gòu)成輸入數(shù)據(jù)（詞向量拼接），第n個(gè)詞構(gòu)成輸出類標(biāo)。由于輸出是一個(gè)softmax層，則對(duì)應(yīng)詞表大小個(gè)輸出，如果模型訓(xùn)練ok的話，那么這里的第n個(gè)詞對(duì)應(yīng)的位置輸出概率應(yīng)該最大。

在word2vec中，不再需要計(jì)算整個(gè)詞表每個(gè)詞的得分。CBOW和skip-gram模型的核心是訓(xùn)練一個(gè)二元分類器，將目標(biāo)詞從k個(gè)構(gòu)造的noise words區(qū)分出來(lái)。CBOW的模型圖如下，skip-gram類似只是反過(guò)來(lái)。

此時(shí)目標(biāo)函數(shù)就變?yōu)樵诋?dāng)前上下文h下，目標(biāo)詞為1的概率log值，加上k個(gè)噪聲詞為0的概率log值的期望。在實(shí)踐中，我們從噪聲分布中采樣k個(gè)詞來(lái)近似計(jì)算期望。

這個(gè)目標(biāo)可以看做是計(jì)算一個(gè)最優(yōu)模型，這個(gè)模型賦予真實(shí)詞高概率，賦予噪聲詞低概率。學(xué)術(shù)上，這個(gè)叫做負(fù)采樣。這個(gè)方法使得訓(xùn)練變得非常有效，因?yàn)楝F(xiàn)在計(jì)算損失函數(shù)只需要考慮k個(gè)噪聲詞，而不是整個(gè)詞表。在TensorFlow中，有一個(gè)非常相似的損失函數(shù)tf.nn.nce_loss()。

Skip-gram模型

舉個(gè)例子說(shuō)明訓(xùn)練的過(guò)程。

例子為：

the quick brown fox jumped over the lazy dog

上下文可以是語(yǔ)法詞法等，這里定義為左邊的詞和右邊的詞，窗口大小設(shè)置為1，則可以得到context-target訓(xùn)練對(duì)如下：

([the, brown], quick), ([quick, fox], brown), ([brown, jumped], fox), ...

即通過(guò)quick預(yù)測(cè)the和brown， 從brown預(yù)測(cè)quick和fox，這樣數(shù)據(jù)集變?yōu)?

(quick, the), (quick, brown), (brown, quick), (brown, fox), ...

目標(biāo)函數(shù)是定義在整個(gè)數(shù)據(jù)集上的，但是實(shí)際訓(xùn)練以minibatch為單位計(jì)算，batch_size一般為16 <= batch_size <= 512。

想象一下訓(xùn)練過(guò)程，假設(shè)當(dāng)前觀察到上面第一個(gè)pair，即(quick, the)，通過(guò)quick預(yù)測(cè)the，假定num_noise=1，并且通過(guò)噪聲分布（一般就是詞的先驗(yàn)分布）采樣選出了噪聲詞sheep，當(dāng)前目標(biāo)變?yōu)椋?/p>

優(yōu)化的模型參數(shù)是詞向量（embedding vector），求損失函數(shù)的梯度，沿梯度方向更新這個(gè)參數(shù)。當(dāng)這個(gè)過(guò)程在整個(gè)數(shù)據(jù)集上不斷重復(fù)的時(shí)候，每個(gè)詞的詞向量就會(huì)不斷的“變來(lái)變?nèi)ァ?，直到模型能夠成功的從噪聲詞中區(qū)分真實(shí)詞。

我們可以通過(guò)投影到二維空間來(lái)可視化學(xué)習(xí)到的詞向量，用到了t-SNE降維技術(shù)。

實(shí)戰(zhàn)

有了前面的理論基礎(chǔ)，實(shí)現(xiàn)代碼就比較容易了。

基礎(chǔ)實(shí)現(xiàn)：tensorflow/examples/tutorials/word2vec/word2vec_basic.py

訓(xùn)練數(shù)據(jù)中，輸入是batch_size個(gè)target word id構(gòu)成的行向量，類標(biāo)是batch_size個(gè)context word id構(gòu)成的列向量：

# Input data.
train_inputs = tf.placeholder(tf.int32, shape=[batch_size])
train_labels = tf.placeholder(tf.int32, shape=[batch_size, 1])

詞向量通過(guò)均勻分布初始化，shape為詞表大小*詞向量維數(shù)，通過(guò)tf.nn.embedding_lookup()查表將輸入轉(zhuǎn)為詞向量形式。

# Look up embeddings for inputs.
embeddings = tf.Variable(
    tf.random_uniform([vocabulary_size, embedding_size], -1.0, 1.0))
embed = tf.nn.embedding_lookup(embeddings, train_inputs)

噪聲對(duì)比估計(jì)的損失按照邏輯回歸模型定義，所以對(duì)于每一個(gè)詞，都要有對(duì)應(yīng)的權(quán)向量和偏置，通過(guò)截尾正態(tài)分布初始化（只保留兩個(gè)標(biāo)準(zhǔn)差以內(nèi)的值）。

# Construct the variables for the NCE loss
nce_weights = tf.Variable(
    tf.truncated_normal([vocabulary_size, embedding_size],
                        stddev=1.0 / math.sqrt(embedding_size)))
nce_biases = tf.Variable(tf.zeros([vocabulary_size]))

計(jì)算每個(gè)batch上的平均NCE損失

# Compute the average NCE loss for the batch.
# tf.nce_loss automatically draws a new sample of the negative labels each
# time we evaluate the loss.
loss = tf.reduce_mean(
  tf.nn.nce_loss(weights=nce_weights,
                 biases=nce_biases,
                 labels=train_labels,
                 inputs=embed,
                 num_sampled=num_sampled,
                 num_classes=vocabulary_size))

使用隨機(jī)梯度下降訓(xùn)練

# Construct the SGD optimizer using a learning rate of 1.0.
optimizer = tf.train.GradientDescentOptimizer(1.0).minimize(loss)

最后就是創(chuàng)建session進(jìn)行訓(xùn)練，詳細(xì)可看完整源代碼。

優(yōu)化

基礎(chǔ)代碼只是實(shí)現(xiàn)了skip-gram的負(fù)采樣模型，訓(xùn)練目標(biāo)為tf.nn.nce_loss(),還可以試試tf.nn.sampled_softmax_loss()，也可以自己定義。

另外，讀取數(shù)據(jù)也不是那么有效（單線程），可以試試New Data Formats中的方法自己定義數(shù)據(jù)reader，參考代碼：
word2vec.py.

如果還想進(jìn)一步提升效率，可以增加新的算子，參考代碼：word2vec_optimized.py