网络科技

    今日:1054| 主题:244922
收藏本版
互联网、科技极客的综合动态。

[其他] Facebook通过10亿单词构建有效的神经网络语言模型

[复制链接]
mcming92 发表于 6 天前
38 6

立即注册CoLaBug.com会员,免费获得投稿人的专业资料,享用更多功能,玩转个人品牌!

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
由于在语言识别、机器翻译和语言建模等领域表现出了优异的性能,为序列预测而设计的神经网络最近再次引起了人们的兴趣,但是这些模型都是计算密集型的,成本非常高。比如在语言建模领域,最新的成果依然需要在大规模GPU集群上训练几周的时间,虽然效果不错,但是这些计算密集型的实践对大规模计算基础设施的依赖性非常强,这限制了其在学术和生产环境中的研究速度与应用。
   针对这一计算瓶颈,Facebook AI 研究院(FAIR)设计了一个新的、几乎是为GPU量身定制的 softmax 函数,能够非常有效地通过大规模词库训练神经网络语言模型。该函数名为自适应softmax,它能根据不均衡的单词分布构建集群,使计算复杂度最小化,避免了对词库大小的线性依赖。同时能够在训练和测试阶段充分利用现代架构的特点和多维向量运算进一步降低计算消耗。与分层softmax、NCE以及重要性抽样等之前的、大部分为标准CPU设计的方法相比,该方法更适合GPU。
   此外,FAIR还开发并开源了一个名为 torch-rnnlib 的类库,该类库允许研究者设计新的递归模型,并以最小的努力在GPU上测试这些原型。最近 Edouard Grave 、Justin Chiu 和Armand Joulin在Facebook的网站上发表了一篇文章, 介绍了用户如何通过该类库设计新的递归网络 。
  使用torch-rnnlib构建递归模型

  1. 什么是语言建模?

   语言建模就是通过给定词典中的单词序列学习其概率分布,根据单词过去的概率计算其条件分布。T个单词序列(w 1 ,..., w[T])的概率可以表示为:
   P(w 1 ,..., w[T])) = P(w[T]|w[T-1],..., w 1 )...P(w 1 )
  该问题通常通过非参数化的计数统计模型来解决,但是目前基于递归神经网络的参数化模型已经被广泛应用于语言建模。
  2. 如何使用Torch-rnnlib构建标准模型

  Torch-rnnlib为递归神经网络的构建提供了三种不同的接口:
   1). nn.{RNN, LSTM, GRU} 接口,用于构建所有层具有相同数量隐藏单元的递归网络。
   
Facebook通过10亿单词构建有效的神经网络语言模型-1 (Facebook,Justin,网络语言,研究院,依赖性)

   2). rnnlib.recurrentnetwork 接口,用于构建任意形状的递归网络。

Facebook通过10亿单词构建有效的神经网络语言模型-2 (Facebook,Justin,网络语言,研究院,依赖性)

   3). nn.SequenceTable 接口,用于将各种计算有效地链接到一起。 nn.RecurrentTable 构造器仅是一个轻量级的包装器,它会随着时间的迁移克隆递归模块。要注意的是,这是最底层的接口,必须调用 rnnlib.setupRecurrent(model, initializationfunctions) 设置递归隐藏状态行为。
12345下一页
友荐云推荐




上一篇:获千万级人民币天使轮融资,“上上铺”想用大数据实现城市商铺智能选址 ...
下一篇:我眼中的未来:视频、AI、个性化、传统企业和AR
酷辣虫提示酷辣虫禁止发表任何与中华人民共和国法律有抵触的内容!所有内容由用户发布,并不代表酷辣虫的观点,酷辣虫无法对用户发布内容真实性提供任何的保证,请自行验证并承担风险与后果。如您有版权、违规等问题,请通过"联系我们"或"违规举报"告知我们处理。

vtizdmkw 发表于 6 天前
楼主,闹哪样,你家里人知道么?
回复 支持 反对

使用道具 举报

董云 发表于 6 天前
有的人,有一股,让人想一辈子跟他做陌生人的强大的气场。
回复 支持 反对

使用道具 举报

李娜 发表于 6 天前
想污染一个地方有两种方法:垃圾,或是钞票.
回复 支持 反对

使用道具 举报

董丽 发表于 6 天前
这是一个KB的故事,当你在半夜12点的时候穿着黑色的衣服对着镜子用梳子梳下就会看到…头皮…屑!
回复 支持 反对

使用道具 举报

麻痹 发表于 6 天前
这个QQ被一个女人偷走了,现在拿回来了…不认识我的人请自动删除我
回复 支持 反对

使用道具 举报

时间都去哪了 发表于 4 天前
我可以轻视你,鄙视你,小看你,不看你.
回复 支持 反对

使用道具 举报

*滑动验证:
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

我要投稿

推荐阅读

扫码访问 @iTTTTT瑞翔 的微博
回页顶回复上一篇下一篇回列表手机版
手机版/CoLaBug.com ( 粤ICP备05003221号 | 文网文[2010]257号 )|网站地图 酷辣虫

© 2001-2016 Comsenz Inc. Design: Dean. DiscuzFans.

返回顶部 返回列表