本节主要介绍了词嵌入的常用方法：Word2Vec。
Word2Vec
- 利用中心词来预测上下文词
1.One-hot码
假设字典中1000个单词，则任意一个单词的表示为[0 0 …… 1 0 0……]，即只在对应的单词为1，其他位置为0
例如：
2.嵌入矩阵
- 若每个词对应300个特征，那么嵌入矩阵为$300\times1000$
- 表中的权重代表词与对应特征的相关程度
3.Skip-gram模型
shkip-gram模型是基于某个词来生成它在文本序列周围的词
而模型训练时“周围的词”取决于skip窗口的大小
若文本序列为：you are the pretty sunshine of my life.
若skip窗口为2，那么中心词pretty、sunshine等的目标可能有如下：
| context | Target |
| ———— | ———— |
| pretty | are |
| pretty | the |
| pretty | sunshine |
| pretty | of |
| sunshine | the |
| sunshine | pretty |
| sunshine | of |
| sunshine | my |
| …… | …… |
模型结构：
- 将上表中每个context看成训练样本的输入x，每个target看成训练样本的输出y
- Skip-gram可以表示为由输入层、隐藏层（不含激活函数）和输出层（激活函数为softmax）组成的神经网络
- 假设嵌入矩阵对应有300个特征，那么从输入层到隐藏层需要的权重矩阵（即为嵌入向量的转置）为$1000\times300$，从隐藏层到输出层需要的权重矩阵为$300\times1000$
4.负采样
针对计算softmax中分母计算量过大提出的一种解决方案
负采样的定义：在字典中随机选择一个词，标为0，即负样本
若文本序列为：I want a glass of orange juice to go alone with my cereal
则生成的正负样本有如下可能：正样本的生成方式与介绍skip窗口时相同
| context | word | target |
| ———- | ——- | ——— |
| orange | juice | 1 |
| orange | king | 0 |
| orange | book | 0 |
| orange | the | 0 |
| orange | of | 0 |
| …… | …… | …… |- 其中juice是给定的文本序列中抽取的，则orange-juice对为正样本，记为1
- king、book、the、of等都是随机中字典中抽取的词，则为负样本，记为0
- 数据集越大，从字典中挑取的样本个数就越小，反之亦然
模型结构：
- 将每个单词所有可能的context与word共同看成训练样本的输入x
- 每个target看成训练样本的输出y
