188金宝搏苹果版下载_188金宝慱官网_188金宝搏 ios下载
188金宝搏苹果版下载

电饭锅蛋糕,我图网-188金宝搏苹果版下载_188金宝慱官网_188金宝搏 ios下载

admin admin ⋅ 2019-05-11 07:51:41

雷锋网 AI 科技谈论按,今日,ICLR2019 最佳论文名单发布啦!

本年取得最佳论文奖的论文有两篇,它们是:

雷锋网 AI 科技谈论将这两篇文章的摘要翻译如下:

获奖青翅隐翅虫论文 1:Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks

有序神经元:将树结构整合到循环神经电饭锅蛋糕,我图网-188金宝搏苹果版下载_188金宝慱官网_188金宝搏 ios下载网络中

作者:Yikang Shen, Shawn Tan, Alessandro Sordoni, Aaron Courville

摘要:自然言语蒙眼王后是具有层次结构的:较小的单元(如短语)嵌套在较大的单元(如从句)中。当较大的部分结束时,嵌套在其间的一切较小的部分也有必要封闭。尽管规范的 LSTM 架构答应不同的神经xuxuanrui元在不同的时间尺度上盯梢信息,但它在构建层次上没有显着的误差。本文提出经过对神经元进行排序来添加这种感应误差;主输入向量和忘记门的向量保证了当一个给定的神经元被更新时,在它后边的一切有序摆放的神经元也被更新。咱们新颖的循环结构,有序神经元 LSTM(ON-LSTM),在这四个不同的使命上取得了杰出的功能:言语建模、无监督解析、有针对性的句法评价和逻辑推理。

张郗
高品彪

关键词:深度学习、自然言语处理、循环神经网络、言语建模

TL;DR:咱们引入了一种新的感应误差,这种误差将树结构整合到循环神经网络中。

论文地址:https://openreview.net/forum?id=B1l6qiR5F7

获奖论文 2:The Lo大群利爪龙ttery Ticket Hypothesis: Finding Sparse, Trainable Neur电饭锅蛋糕,我图网-188金宝搏苹果版下载_188金宝慱官网_188金宝搏 ios下载al Networks

电饭锅蛋糕,我图网-188金宝搏苹果版下载_188金宝慱官网_188金宝搏 ios下载

彩票假定:寻觅稀少可练习的神经网络

作者:Jonathan Frankle, Michael Carbin

摘乌黑英豪的一击无双要:神经网络剪枝技能能够在不影响推理精度的前提下,将练习后的网络参数削减 90% 以上,削减朱梓超存储需求,进步推理核算功能。但是,现在的经历是,修剪发生的稀少架构从一开端就很难练习,这个结构同样会进步练习功能。

咱们发现,规范剪枝技能自然地提醒了子网络,其初始化使它们能够有用地练习。根据这些成果,咱们提出了「彩票假定」:密布的、随机初始化的前馈网络包括子网络(「中奖彩票」),当独自练习时,它能够在相似的迭代次数中到达与原始网络适当的测验精度。咱们发现的中奖彩票赢得了初始化彩票:它们的衔接具有初始权重,使得练习特别有用。

咱们提出了一个辨认中奖彩票的算法和一系列支撑彩票假定和这些偶尔初始化的重要性的试验。咱们发现,关于 MNIST 和 CIFAR10,中奖彩票的规划小于几个彻底衔接和卷积前馈架构的 10-20%。超越这个尺度,咱们发现的中奖彩票比本来的网络学习更快,能够到达更高的测验精度。

关键词:神经网络;稀少性;剪枝;紧缩;功能;体系结构查找

TL;DR:能够在练习后修剪权重的前馈异界基本法神经网络也能够在练习前修剪齐鲁英豪传相同的权重。

投稿数量逐年陡增的深度学习顶会

作为人工智能范畴最年青的会议,ICL竹字头加旦R 的生长速度飞快。在 2013 年,ICLR 才举行了第一届,以「表征学习以及在视觉、语音、音频及 NLP 范畴的效果」这一重要且抢手的课题为宗旨,借着 OpenReview 评定机制以及 Yoshua Bengio 和 Yann LeCun 两人的鼎力支撑,到 2017 年举行第五到时现已得到了学术研究者们的广泛认可,被看作为「深度学习的尖端会议」。

在人工智能继续炽热的布景2004辣妹奸细之危机四伏下,ICLR 电饭锅蛋糕,我图网-188金宝搏苹果版下载_188金宝慱官网_188金宝搏 ios下载的投稿数量也依然在迅陡增加,ICLR 2015、2016、2017 收到的投稿分别为 陈乔恩性感143 篇、超越 265 篇、490 篇,电饭锅蛋糕,我图网-188金宝搏苹果版下载_188金宝慱官网_188金宝搏 ios下载本年 ICLR 2018 继续翻倍到了 935 篇。华盛顿大学核算机系教授 Pedro Domingos 都在推特上恶作剧说:「这现已成了深度学习界的摩尔定律电饭锅蛋糕,我图网-188金宝搏苹果版下载_188金宝慱官网_188金宝搏 ios下载了,ICLR 长毛象泰伯利亚矿坦克的投稿数目四川飞普科技有限公司每年都要翻一倍。」

上一年, ICLR 2018 共收到 935 篇论文投稿,337 篇被承受为会议论文,承受率为 36%;其间 23 篇为 oral(口头报告论文)、314 篇为 poster(海报展现论文);别的还有 90 篇 workshop 论文。

而本年,同性女ICLR 2019 共收到 1591 篇论文投稿,和上一年比较,在投稿数量上依然坚持了大幅王子文的老公度的增加。其间 oral 论文 24 篇,poster 论文 476 篇。

看来,照这个趋势下去,下一年的 ICLR 会愈加热烈。而依照常规,雷锋网每年都会第一时间跟进这些顶会。本年的 ICLR 2019 咱们也会继续重视,接下来将会有更多报导,敬请重视。

污漫画图片
声明:该文观念仅代表作者自己,搜狐号系信息发布渠道,搜狐仅供给信息存储空间服务天使簿本。
电饭锅蛋糕,我图网-188金宝搏苹果版下载_188金宝慱官网_188金宝搏 ios下载

相关新闻

admin

admin

TA太懒了...暂时没有任何简介

精彩新闻