斯坦福大学深度学习与自然语言处理第四讲：词窗口分类和神经网络

机器学习优化问题

• 对于一般的机器学习问题θ常常只包含了W的列数：

• 所以我们仅仅更新决策边界

引入词向量

• 在深度学习中既要学习W也要学习词向量x:

重新训练词向量会丧失泛化能力

• 例子：针对电影评价情感数据（movie review sentiment)训练逻辑回归模型，在训练集里我们有单词”TV”和”telly”
• 在测试集里我们有单词“television”
• 原本它们是相似的单词（来自于已经训练的词向量模型）
• 当我们重新训练的时候会发生什么？

重新训练词向量会丧失泛化能力续

• 当我们重新训练词向量模型的时候会发生什么？
  • 在训练集中的单词会被重新安排到合适的位置
  • 在已经训练的词向量模型中但是不在训练集中的单词将保留在原来的位置
• 对于上例, “TV”和”telly”会被重新安排，而”television”则保留在原位，尴尬的事情就发生了：

• 总之：
  • 如果你只有一个很小的训练集，不要训练词向量模型
  • 如果你有一个足够大的训练集，那么对于相应的任务来说训练词向量模型是有益的

词向量概念回顾

• 词向量矩阵L也被称为查询表
• Word vectors（词向量）= word embeddings(词嵌入) = word representations(mostly)
• 类似于word2vec或者GloVe的方法得到：

• 这就是词特征xword
• 通常通过词向量矩阵L和one-hot向量e相乘得到单个的词向量：