斯坦福大学深度学习与自然语言处理第四讲：词窗口分类和神经网络

一个神经元本质上是一个二元逻辑回归单元

一个神经网络等价于同时运行了很多逻辑回归单元

• 如果我们给一批逻辑回归函数一堆输入向量，我们就得到了一批输出向量…



• 这些输出又可以作为其他逻辑回归函数的输入



• 然后我们就有了多层神经网络

神经网络中单层的矩阵符号表示

• 我们有：



• 表示成矩阵符号形式:



• 其中f应用的是element-wise规则:

为什么需要非线性的f

• 例子：函数逼近，例如回归或者分类问题



• 没有非线性函数，深度神经网络相对于线性变换价值不大
• 其他的层次会被编译压缩为单个的线性变换: W1W2X=WX
• 有了更多的层次，它们可以逼近更复杂的函数

一个更牛的窗口分类器

• 基于神经网络进行修正



• 单个（神经网络）层是一个线性层（函数）和非线性函数的组合



• 神经网络激活函数α可以用来计算一些函数
• 例如，一个softmax概率分布或者一个没有归一化的打分函数可以是这样的:

总结：前馈网络计算

• 通过一个三层神经网络计算这个窗口向量的得分：s = score(museums in Paris are amazing)

下一讲

• 训练一个基于窗口（向量）的神经网络模型
• 进行更复杂的深度推导–>反向传播算法
• 这样我们就有了所有的基础工具去学习一个更复杂的深度模型:)

注：原创文章，转载请注明出处及保留链接“我爱自然语言处理”：http://www.52nlp.cn