网络科技

    今日:411| 主题:246403
收藏本版
互联网、科技极客的综合动态。

[其他] 理解 LSTM 网络

[复制链接]
远昼 发表于 2016-10-19 23:37:23
313 20

立即注册CoLaBug.com会员,免费获得投稿人的专业资料,享用更多功能,玩转个人品牌!

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
译者:@Not_God(简书作者)
   声明:本文首发在作者的个人 简书主页 ,经译者同意发布。
   本文译自 Colah 的博文
  Recurrent Neural Networks

  人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候,你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃,然后用空白的大脑进行思考。我们的思想拥有持久性。
  传统的神经网络并不能做到这点,看起来也像是一种巨大的弊端。例如,假设你希望对电影中的每个时间点的时间类型进行分类。传统的神经网络应该很难来处理这个问题——使用电影中先前的事件推断后续的事件。
  RNN 解决了这个问题。RNN 是包含循环的网络,允许信息的持久化。
   
理解 LSTM 网络-1 (下一步,持久性,文章,网络,信息)

  RNN 包含循环
  在上面的示例图中,神经网络的模块,A,正在读取某个输入 x_i,并输出一个值 h_i。循环可以使得信息可以从当前步传递到下一步。
  这些循环使得 RNN 看起来非常神秘。然而,如果你仔细想想,这样也不比一个正常的神经网络难于理解。RNN 可以被看做是同一神经网络的多次复制,每个神经网络模块会把消息传递给下一个。所以,如果我们将这个循环展开:

理解 LSTM 网络-2 (下一步,持久性,文章,网络,信息)

  展开的 RNN
  链式的特征揭示了 RNN 本质上是与序列和列表相关的。他们是对于这类数据的最自然的神经网络架构。
   并且 RNN 也已经被人们应用了!在过去几年中,应用 RNN 在语音识别,语言建模,翻译,图片描述等问题上已经取得一定成功,并且这个列表还在增长。我建议大家参考 Andrej Karpathy 的博客文章—— The Unreasonable Effectiveness of Recurrent Neural Networks 来看看更丰富有趣的 RNN 的成功应用。
  而这些成功应用的关键之处就是 LSTM 的使用,这是一种特别的 RNN,比标准的 RNN 在很多的任务上都表现得更好。几乎所有的令人振奋的关于 RNN 的结果都是通过 LSTM 达到的。这篇博文也会就 LSTM 进行展开。
  长期依赖(Long-Term Dependencies)问题

  RNN 的关键点之一就是他们可以用来连接先前的信息到当前的任务上,例如使用过去的视频段来推测对当前段的理解。如果 RNN 可以做到这个,他们就变得非常有用。但是真的可以么?答案是,还有很多依赖因素。
  有时候,我们仅仅需要知道先前的信息来执行当前的任务。例如,我们有一个语言模型用来基于先前的词来预测下一个词。如果我们试着预测 “the clouds are in the sky” 最后的词,我们并不需要任何其他的上下文 —— 因此下一个词很显然就应该是 sky。在这样的场景中,相关的信息和预测的词位置之间的间隔是非常小的,RNN 可以学会使用先前的信息。
友荐云推荐




上一篇:蚂蚁保险平台日均保单量超2100万单 移动端占比超六成
下一篇:8个亲测可用的Python BBS论坛类网站开源框架汇总(附源码地址) ...
酷辣虫提示酷辣虫禁止发表任何与中华人民共和国法律有抵触的内容!所有内容由用户发布,并不代表酷辣虫的观点,酷辣虫无法对用户发布内容真实性提供任何的保证,请自行验证并承担风险与后果。如您有版权、违规等问题,请通过"联系我们"或"违规举报"告知我们处理。

幼翠 发表于 2016-10-20 01:10:42
远昼去哪儿
回复 支持 反对

使用道具 举报

你们是我最耀眼的星盟 发表于 2016-10-20 01:11:10
明明回贴贴
回复 支持 反对

使用道具 举报

sheng2014 发表于 2016-10-20 01:12:12
贱人永远都是贱人,就算经济危机了,你也贵不了!
回复 支持 反对

使用道具 举报

方力眠n 发表于 2016-10-20 01:41:23
路过。。。。
回复 支持 反对

使用道具 举报

大家论坛 发表于 2016-10-20 02:41:10
我也来顶一下..
回复 支持 反对

使用道具 举报

刘馨 发表于 2016-10-20 15:39:51
问君能有几多愁,恰似一群太监上青楼……
回复 支持 反对

使用道具 举报

黄明生 发表于 2016-10-21 00:09:36
楼下的小伙伴,速度跟上!
回复 支持 反对

使用道具 举报

igoga 发表于 2016-10-21 12:10:42
洗洗更白白,顶顶更健康!
回复 支持 反对

使用道具 举报

蕊凡 发表于 2016-10-21 15:59:36
楼主的头像是本人吗?
回复 支持 反对

使用道具 举报

*滑动验证:
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

我要投稿

推荐阅读

扫码访问 @iTTTTT瑞翔 的微博
回页顶回复上一篇下一篇回列表手机版
手机版/CoLaBug.com ( 粤ICP备05003221号 | 文网文[2010]257号 )|网站地图 酷辣虫

© 2001-2016 Comsenz Inc. Design: Dean. DiscuzFans.

返回顶部 返回列表