1、前言

word2vec是google在2013年推出的将文本量化成词向量的工具，它的特点是将所有的词向量化，这样词与词之间就可以定量的去度量他们之间的关系，挖掘词之间的联系。

2、词的表示

（1）one-hot

独热编码（One-hot Representation）最常用的词表示方法 ，它把每个词表示为一个很长的向量。这个向量的维度是词表大小，其中绝大多数元素为 0，只有一个维度的值为 1，这个向量就代表了当前的词。

比如：[‘我’,‘爱’,‘中国’]

One-hot表示为：‘我’：[1,0,0]，‘爱’：[0,1,0]，‘中国’: [0,0,1]

缺点分析：

1、向量的维度会随着句子的词的数量类型增大而增大；

2、任意两个词之间都是孤立的，无法表示语义层面上词汇之间的相关信息。

（2）词的分布式表示

Dristributed representation可以解决One hot representation的问题，它的思路是通过训练，将每个词都映射到一个较短的词向量上来。所有的这些词向量就构成了向量空间，进而可以用普通的统计学的方法来研究词与词之间的关系。这个较短的词向量维度是多大呢？这个一般需要我们在训练时自己来指定。

比如下图我们将词汇表里的词用"Royalty","Masculinity","Femininity"和"Age"4个维度来表示，King这个词对应的词向量可能是(0.99,0.99,0.05,0.7)。当然在实际情况中，我们并不能对词向量的每个维度做一个很好的解释。

传统的独热表示仅仅将词符号化，不包含任何语义信息。如何将语义融入到词表示中？Harris 在 1954 年提出的“分布假说”为这一设想提供了理论基础：上下文相似的词，其语义也相似。Firth 在 1957年对分布假说进行了进一步阐述和明确：词的语义由其上下文决定。

以（CBOW）为例，如果有一个句子“the cat sits one the mat”，在训练的时候，将“the cat sits one the”作为输入，预测出最后一个词是“mat”。

分布式表示的较大优点在于它具有非常强大的表征能力，比如n维向量每维k个值，可以表征k的n次方个概念。下图的神经网络语言模型（NNLM）采用的就是文本分布式表示。而词向量(word embedding)是训练该语言模型的一个附加产物，即图中的Matrix C。

我们的任务可以拆解成两部分：

(1) 选择一种方式描述上下文；

(2) 选择一种“模型”刻画某个词（即“目标词”）与其上下文之间的关系。

因此一些文本表示方法出现了，从最初的NNLM到Word2vec,glove,Fasttext到现在的End2End，文本表示方法已经发生了很大的变化。

3、 word2vec

Word2vec包括两种训练方式CBOW (Continuous Bag-of-Words Model)，

Skip-gram (Continuous Skip-gram Model)。

CBOW：上下文来预测当前词

Skip-gram：当前词预测上下文

关于word2vec需要理解网络结构，哈夫曼编码、哈夫曼树，n-grams,以及word2vec的两大trick:Hierarchical Softmax和Negative Sample

4、两个trick

（1）Hierarchical Softmax

大家都知道哈夫曼树是带权路径最短的树，一般神经网络语言模型在预测的时候，输出的是预测目标词的概率（每一次预测都要基于全部的数据集进行计算，很大的时间开销）。Hierarchical Softmax是一种对输出层进行优化的策略，输出层从原始模型的利用softmax计算概率值改为了利用Huffman树计算概率值。一开始我们可以用以词表中的全部词作为叶子节点，词频作为节点的权，构建Huffman树，作为输出。从根节点出发，到达指定叶子节点的路径。Hierarchical Softmax正是利用这条路径来计算指定词的概率，而非用softmax来计算。 即Hierarchical Softmax：把 N 分类问题变成 log(N)次二分类。

哈夫曼构造

（2）Negative Sampling

Negative Sampling（简写NEG，负采样），这是Noise-Contrastive Estimation（简写NCE，噪声对比估计）的简化版本：把语料中的一个词串的中心词替换为别的词，构造语料 D 中不存在的词串作为负样本。在这种策略下，优化目标变为了：较大化正样本的概率，同时最小化负样本的概率。这样说大家可能已经糊涂了，我们省去繁琐的数学推倒，这里举一个例子：

假设有一个句子为：“The quick brown fox jumps over the lazy dog.“

如果我们用skip-gram model ，貌似这是一个很大的网络。

注意：比如像“the”这种常见的词，我们会遇到两个问题：

1） 比如（fox，the）其实没有传递我们关于 fox的信息。‘the‘出现得太多了。

2）我们有太多（‘the’，…）的样本，多于我们实际需要的。

所以word2vec采用了降采样的策略。对于每个我们在训练样本中遇到的词，我们有一个概率去删除它。这个概率与单词出现的频率相关。

如果我们采用window size = 10，同时我们删除‘the’：

1） 当我们再去训练剩下的词，我们就不会再遇到‘the’了；

2）我们减少了10个包含‘the’的样本

这其实就是‘NEG’的核心思想。

5、总结

word2vec篇幅比较大，因此一篇文章不能完全表述，因此将通过几篇文章几个点来说明，本文是Word2vec的一个综述，总之，词嵌入一种很重要的思想，word2vec更是这里面最有代表性的一种算法之一。