【ICLR 2018录用结果出炉】23篇oral干货,强化学习、对抗网络、可解释性最受关注

本文涉及的产品
文本翻译,文本翻译 100万字符
图片翻译,图片翻译 100张
语种识别,语种识别 100万字符
简介: 素有深度学习顶会“无冕之王”之称的ICLR 2018今天公布了录用结果。今年ICLR共接收981篇投稿,相较去年490篇多了一倍有余,录用结果如下:2.3% 录用为 oral 论文(23篇)、31.4% 录用为 poster 论文(314篇)、9% 被接收为 workshop track(90篇),51% 论文被拒(508篇)、6.2% 撤回(63篇)。

Oral Papers:23篇

1、AmbientGAN: Generative models from lossy measurements

(AmbientGAN:来自有损测量的生成模型)

作者:Ashish Bora, Eric Price, Alexandros G. Dimakis(德州大学)

论文地址:https://openreview.net/forum?id=Hy7fDog0b

评分:7.33

简介:如何从嘈杂、扭曲、局部的观察中学习GAN;

关键词:生成模型,对抗网络,有损测量

2、Beyond Word Importance: Contextual Decomposition to Extract Interactions from LSTMs

作者:W. James Murdoch, Peter J. Liu, Bin Yu(伯克利大学、谷歌)

论文地址:https://openreview.net/forum?id=rkRwGg-0Z

评分:5.56

简介:这篇论文引入了“语境分解”,一种LSTM解释算法,能够提取单词、短语和交互级别的重要性分数。

关键词:可解释性,LSTM,自然语言处理,情感分析,交互

3、Zero-Shot Visual Imitation

作者:Deepak Pathak, Parsa Mahmoudieh, Michael Luo, Pulkit Agrawal, Dian Chen, Fred Shentu, Evan Shelhamer, Jitendra Malik, Alexei A. Efros, Trevor Darrell(伯克利大学)

论文地址:https://openreview.net/forum?id=BkisuzWRW

评分:6.91

简介:智能体在训练时在没有任何形式的监督的情况下从自己的经验学习,并在测试时学习模仿单纯的视觉演示(没有动作)。

关键词:模仿,zero shot,自我监督,机器人,技能,导航,操纵

4、Variance Reduction for Policy Gradient with Action-Dependent Factorized Baselines

作者:Cathy Wu, Aravind Rajeswaran, Yan Duan, Vikash Kumar, Alexandre M Bayen, Sham Kakade, Igor Mordatch, Pieter Abbeel(伯克利大学、华盛顿大学)
论文地址:https://openreview.net/forum?id=H1tSsb-AW
评分:6.91

简介:依赖于动作的基线可以是无偏倚的,并且可以产生比策略梯度方法的只依赖于状态基线更大的方差缩减。
关键词:强化学习,策略梯度,方差缩减,基线,控制变量

5、Progressive Growing of GANs for Improved Quality, Stability, and Variation

作者:Tero Karras, Timo Aila, Samuli Laine, Jaakko Lehtinen(英伟达)

论文地址:https://openreview.net/forum?id=Hk99zCeAb
评分:5.67

简介:该研究以渐进的方式训练生成对抗网络,从而能够生成高质量的高分辨率图像。

关键词:生成对抗网络,无监督学习,层级方法

6、Neural Sketch Learning for Conditional Program Generation

作者:Vijayaraghavan Murali, Letao Qi, Swarat Chaudhuri, Chris Jermaine(莱斯大学)

论文地址:https://openreview.net/forum?id=HkfXMz-Ab
评分:7.44

简介:这篇文章提出一种用类似Java语言生成类型安全程序的方法,只需给出少量关于所需代码的语法信息。

关键词:程序生成,源代码,程序综合,深度生成模型

7、Boosting Dilated Convolutional Networks with Mixed Tensor Decompositions

作者:Nadav Cohen, Ronen Tamari, Amnon Shashua

论文地址:https://openreview.net/forum?id=S1JHhv6TW
评分:8.00

简介:引入混合张量分解的概念,并用它证明相互连接的扩张的卷积网络提升了它们的表达能力。

关键词:深度学习,表现效率,扩张卷积,张量分解

8、Continuous Adaptation via Meta-Learning in Nonstationary and Competitive Environments

作者:Maruan Al-Shedivat, Trapit Bansal, Yura Burda, Ilya Sutskever, Igor Mordatch, Pieter Abbeel(CMU、UMASS、OpenAI、berkeley)

论文地址:https://openreview.net/forum?id=Sk2u1g-0-
评分:7.80

简介:将持续适应问题转换为learning-to learn框架,开发了一个简单的基于梯度的meta-learning算法,适应动态变化和对抗情况。

关键词:强化学习,非平稳性,meta-learning,迁移学习,多智能体

9、Breaking the Softmax Bottleneck: A High-Rank RNN Language Model

作者:Zhilin Yang, Zihang Dai, Ruslan Salakhutdinov, William W. Cohen(CMU)

论文地址:https://openreview.net/forum?id=HkwZSG-CZ
评分:6.31

简介:将语言建模作为一个矩阵分解问题,并表明基于Softmax的模型(包括大多数神经语言模型)的表达能力受到Softmax瓶颈的限制,提出了一个简单而有效的方法来解决这个问题。

10、Characterizing Adversarial Subspaces Using Local Intrinsic Dimensionality

作者:Xingjun Ma, Bo Li, Yisen Wang, Sarah M. Erfani, Sudanthi Wijewickrema, Grant Schoenebeck, Michael E. Houle, Dawn Song, James Bailey(墨尔本大学)

论文地址:https://openreview.net/forum?id=B1gJ1L2aW
评分:7.25

简介:我们通过使用局部本质维数(LID)描述对抗样本中对抗子空间的维度属性,并且证明这些特征可以有效地区分对抗样本。

关键词:对抗子空间,局部本质维数,对抗防御,深度神经网络

11、Learning to Represent Programs with Graphs

作者:Miltiadis Allamanis, Marc Brockschmidt, Mahmoud Khademi(微软、SFU)

论文地址:https://openreview.net/forum?id=BJOFETxR-
评分:8.00

简介:程序具有可以表示为图形的结构,图神经网络可以学习在这些图形上发现bug

关键词:程序,源代码,图神经网络

12、Spectral Normalization for Generative Adversarial Networks

作者:Takeru Miyato, Toshiki Kataoka, Masanori Koyama, Yuichi Yoshida
论文地址:https://openreview.net/forum?id=B1QRgziT-
评分:7.33

简介:我们提出一种称为spectral normalization的新的权重归一化技术,以稳定GAN鉴别器的训练。

关键词:生成对抗网络,深度生成模型,无监督学习

13、Wasserstein Auto-Encoders

作者:Ilya Tolstikhin, Olivier Bousquet, Sylvain Gelly, Bernhard Schoelkopf

论文地址:https://openreview.net/forum?id=HkL7n1-0b
评分:8.00

简介:我们提出了一种基于Wasserstein距离的自动编码器,改进了VAE的采样性能。

关键词:自动编码器,生成模型,GAN,VAE,无监督学习

14、Deep Mean Field Games for Learning Optimal Behavior Policy of Large Populations

作者:Jiachen Yang, Xiaojing Ye, Rakshit Trivedi, Huan Xu, Hongyuan Zha

论文地址:https://openreview.net/forum?id=HktK4BeCZ
评分:8.50

简介:通过MFG和马尔可夫决策过程的综合推断大型群体行为的MFG模型。

关键词:平均场博弈,强化学习,马尔可夫决策过程,逆强化学习,深度学习,逆向最优控制,计算社会科学,群集建模

15、Certifiable Distributional Robustness with Principled Adversarial Training

作者:Aman Sinha, Hongseok Namkoong, John Duchi(斯坦福大学)

论文地址:https://openreview.net/forum?id=Hk6kPgZA-
评分:9.00

简介:本文提出一个快速、基于规则的对抗训练程序,具有计算和统计上的性能保证。

关键词:对抗训练,分布式鲁棒优化,深度学习,优化,学习理论

16、On the insufficiency of existing momentum schemes for Stochastic Optimization

作者:Rahul Kidambi, Praneeth Netrapalli, Prateek Jain, Sham M. Kakade

论文地址:https://openreview.net/forum?id=rJTutzbA-
评分:6.14

简介:现有的动量/加速方法,如胖球法(heavy ball method)和Nesterov加速梯度法不能改善随机梯度下降,尤其是在使用小的batch size时。

关键词:随机梯度下降,深度学习,动量,加速,heavy ball,Nesterov加速,随机优化,SGD,加速随机梯度下降

17、Ask the Right Questions: Active Question Reformulation with Reinforcement Learning

作者:Christian Buck, Jannis Bulian, Massimiliano Ciaramita, Wojciech Gajewski, Andrea Gesmundo, Neil Houlsby, Wei Wang.(谷歌)

论文地址:https://openreview.net/forum?id=S1CChZ-CZ
评分:5.83

简介:我们提出一个位于用户和黑箱问答系统之间的智能体,它学习重新构造问题以引出最好的答案。

关键词:机器翻译,转述,问答,强化学习,智能体

18、Spherical CNNs

作者:Taco S. Cohen, Mario Geiger, Jonas Köhler, Max Welling

论文地址:https://openreview.net/forum?id=Hkbd5xZRb
评分:7.57

简介:我们提出Spherical CNN,并将其应用于3D模型识别和分子能量回归。

关键词:深度学习,同变性,卷积,3D,视觉,形状识别

19、Emergence of Linguistic Communication from Referential Games with Symbolic and Pixel Input

作者:Angeliki Lazaridou, Karl Moritz Hermann, Karl Tuyls, Stephen Clark

论文地址:https://openreview.net/forum?id=HJGv1Z-AW
评分:6.85

简介:对应急通信协议中环境对性质的作用进行了对照研究。

关键词:解缠,通信,应急语言,合成,多代理

20、Training and Inference with Integers in Deep Neural Networks

作者:Shuang Wu, Guoqi Li, Luping Shi, Feng Chen(清华大学)

论文地址:https://openreview.net/forum?id=HJGXzmspb
评分:6.27

简介:我们在DNN中仅使用低位整数进行训练和推理

关键词:量化,训练,bitwidth,三元权重

21、Multi-Scale Dense Networks for Resource Efficient Image Classification

作者:Gao Huang, Danlu Chen, Tianhong Li, Felix Wu, Laurens van der Maaten, Kilian Weinberger(康奈尔大学、清华大学)

论文地址:https://openreview.net/forum?id=Hk2aImxAb
评分:8.33

简介:本文调查了图像分类与测试时间的计算资源限制。

关键词:高效学习,预算学习,深度学习,图像分类,卷积网络

22、Synthetic and Natural Noise Both Break Neural Machine Translation

作者:Yonatan Belinkov, Yonatan Bisk

论文地址:https://openreview.net/forum?id=BJ8vJebC-
评分:7.33

简介:NMT模型相当脆弱,容易受到噪音数据影响。本文用合成和自然的噪音作为NMT模型的对抗样本,探索提高模型鲁棒性的方法。

关键词:神经机器翻译,特征,噪声,对抗样本,稳健训练

23、On the Convergence of Adam and Beyond

作者:Sashank J. Reddi, Satyen Kale, Sanjiv Kumar(谷歌)

论文地址:https://openreview.net/forum?id=ryQu7f-RZ
评分:8.56

简介:我们研究了Adam,RMSProp等流行优化算法的收敛性,并提出了这些方法的新变体。

关键词:优化,深度学习,Adam,RMSProp


原文发布时间为:2018-01-31

本文作者:肖琴

本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”微信公众号

原文链接:【ICLR 2018录用结果出炉】23篇oral干货,强化学习、对抗网络、可解释性最受关注

相关文章
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
ICLR 2024 Spotlight:训练一个图神经网络即可解决图领域所有分类问题!
【2月更文挑战第17天】ICLR 2024 Spotlight:训练一个图神经网络即可解决图领域所有分类问题!
194 2
ICLR 2024 Spotlight:训练一个图神经网络即可解决图领域所有分类问题!
|
5月前
|
机器学习/深度学习 存储 算法
使用Python实现深度学习模型:强化学习与深度Q网络(DQN)
使用Python实现深度学习模型:强化学习与深度Q网络(DQN)
401 2
|
2月前
|
机器学习/深度学习 自然语言处理
如何让等变神经网络可解释性更强?试试将它分解成简单表示
【9月更文挑战第19天】等变神经网络在图像识别和自然语言处理中表现出色,但其复杂结构使其可解释性成为一个挑战。论文《等变神经网络和分段线性表示论》由Joel Gibson、Daniel Tubbenhauer和Geordie Williamson撰写,提出了一种基于群表示论的方法,将等变神经网络分解成简单表示,从而提升其可解释性。简单表示被视为群表示的“原子”,通过这一分解方法,可以更好地理解网络结构与功能。论文还展示了非线性激活函数如何产生分段线性映射,为解释等变神经网络提供了新工具。然而,该方法需要大量计算资源,并且可能无法完全揭示网络行为。
37 1
|
6月前
|
机器学习/深度学习 算法
ICLR 2024 Oral:用巧妙的传送技巧,让神经网络的训练更加高效
【5月更文挑战第21天】ICLR 2024 Oral 提出了一种名为“传送”的新方法,利用参数对称性提升神经网络训练效率。该方法通过参数变换加速收敛,改善泛化能力,减少了训练所需的计算资源和时间。研究显示,传送能将模型移到不同曲率的极小值点,可能有助于泛化。论文还探讨了将传送应用于元学习等优化算法的潜力,但对传送加速优化的确切机制理解尚不深入,且实际应用效果有待更多验证。[论文链接](https://openreview.net/forum?id=L0r0GphlIL)
65 2
|
6月前
|
机器学习/深度学习 负载均衡 JavaScript
m基于Q-Learning强化学习的异构网络小区范围扩展(CRE)技术matlab仿真
m基于Q-Learning强化学习的异构网络小区范围扩展(CRE)技术matlab仿真
262 1
|
6月前
|
机器学习/深度学习 存储 设计模式
架构设计新范式!RevCol:可逆的多 column 网络式,已被ICLR 2023接收
架构设计新范式!RevCol:可逆的多 column 网络式,已被ICLR 2023接收
99 0
|
11月前
|
机器学习/深度学习 算法 TensorFlow
轻量级的对抗生成网络库
轻量级的对抗生成网络库
93 1
|
6月前
|
机器学习/深度学习 算法
【深度强化学习】神经网络、爬山法优化控制倒立摆问题实战(附源码)
【深度强化学习】神经网络、爬山法优化控制倒立摆问题实战(附源码)
107 0
|
6月前
|
机器学习/深度学习 TensorFlow 算法框架/工具
【Keras+计算机视觉+Tensorflow】DCGAN对抗生成网络在MNIST手写数据集上实战(附源码和数据集 超详细)
【Keras+计算机视觉+Tensorflow】DCGAN对抗生成网络在MNIST手写数据集上实战(附源码和数据集 超详细)
123 0
|
6月前
|
机器学习/深度学习 编解码 TensorFlow
【Keras+计算机视觉+Tensorflow】生成对抗神经网络中DCGAN、CycleGAN网络的讲解(图文解释 超详细)
【Keras+计算机视觉+Tensorflow】生成对抗神经网络中DCGAN、CycleGAN网络的讲解(图文解释 超详细)
153 0

热门文章

最新文章