大数据人|大数据第一社区

 找回密码
 注册会员

扫一扫,访问微社区

斯坦福大学深度学习与自然语言处理第四讲:词窗口分类和神经网络

2015-9-14 10:17| 发布者: admin| 查看: 10070| 评论: 0|来自: 我爱自然语言处理

摘要: 斯坦福大学在三月份开设了一门“深度学习与自然语言处理”的课程:CS224d: Deep Learning for Natural Language Processing,授课老师是青年才俊Richard Socher,以下为相关的课程笔记。第四讲:词窗口分类和神经网 ...

斯坦福大学在三月份开设了一门“深度学习与自然语言处理”的课程:CS224d: Deep Learning for Natural Language Processing,授课老师是青年才俊 Richard Socher,以下为相关的课程笔记。

第四讲:词窗口分类和神经网络(Word Window Classification and Neural Networks)

推荐阅读材料:

  1. [UFLDL tutorial]
  2. [Learning Representations by Backpropogating Errors]
  3. 第四讲Slides [slides]
  4. 第四讲视频 [video]

以下是第四讲的相关笔记,主要参考自课程的slides,视频和其他相关资料。

本讲概览

  • 分类问题背景
  • 在分类任务中融入词向量
  • 窗口分类和交叉熵误差推导技巧
  • 一个单层的神经网络
  • 最大间隔损失和反向传播

分类问题定义

    • 一般情况下我们会有一个训练模型用的样本数据集

{xi,yi}Ni=1

  • 其中xi是输入,例如单词(标识或者向量),窗口内容,句子,文档等
  • yi是我们希望预测的分类标签,例如情绪指标,命名实体,买卖决定等

分类问题直窥

    • 训练集:{xi,yi}Ni=1
    • 一个简单的例子
      • 一个固定的2维词向量分类
      • 使用逻辑回归
      • ->线性决策边界->

屏幕快照 2015-09-07 上午8.04.30

    • 从机器学习的角度来看:假设x是固定的,仅仅更新的是逻辑回归的权重W意味着仅仅修改的是决策边界

屏幕快照 2015-09-07 上午8.10.00

分类问题符号定义

    • 一般的机器学习问题: 仅仅更新逻辑回归的权重意味着仅仅更新的是决策边界
    • 数据集{xi,yi}Ni=1的损失函数

屏幕快照 2015-09-07 上午8.19.38

    • 其中对于每一个数据对(xi,yi):

屏幕快照 2015-09-07 上午8.21.15

  • 我们可以将f写成矩阵符号形式: f=Wx

分类问题:正则化

    • 通常情况下任何一个数据集上完整的损失函数都会包含一个针对所有参数的正则化因子

分享到: QQ空间 新浪微博 腾讯微博 人人网 飞信 百度搜藏

12345下一页

鲜花

握手

雷人

路过

鸡蛋

最新评论

关闭

站长推荐上一条 /2 下一条


id="mn_portal" >首页Portalid="mn_P18" onmouseover="navShow('P18')">应用id="mn_P15" onmouseover="navShow('P15')">技术id="mn_P37" onmouseover="showMenu({'ctrlid':this.id,'ctrlclass':'hover','duration':2})">前沿id="mn_P36" onmouseover="navShow('P36')">宝箱id="mn_P61" onmouseover="showMenu({'ctrlid':this.id,'ctrlclass':'hover','duration':2})">专栏id="mn_P65" >企业id="mn_Nd633" >导航 折叠导航 关注微信 关注微博 关注我们

QQ|广告服务|关于我们|Archiver|手机版|小黑屋|大数据人 ( 鄂ICP备14012176号-2  

GMT+8, 2024-3-28 21:02 , Processed in 0.265530 second(s), 21 queries .

Powered by 小雄! X3.2

© 2014-2020 bigdataer Inc.

返回顶部