学界丨先睹为快:神经网络顶会ICLR 2018论文接受结果速览

简介:

今天早晨,ICLR 2018的论文接受结果揭晓,我们就带大家来大致了解一下今年ICLR 2018的论文接受概况。

ICLR全称International Conference of Learning Representation,是由Lecun,Hinton和Bengio三位神经网络的元老联手发起的。近年来随着深度学习在工程实践中的成功,ICLR会议也在短短的几年中发展成为了神经网络的顶会。

论文接受率:

2.3%的口头展示,31.4%的poster接受,9%的workshop,51%拒绝。

ICLR口头展示论文速览:

ICLR口头论文中一大半的论文会成为ICLR Best paper,同时也代表了2018年的研究方向,下面我们就简单的介绍一下今年的oral论文,由于ICLR会议的论文范围较广,方向比较新,我们也不能够做到面面俱到。

Wasserstein Auto-Encoders (Max Planck Institute)

这篇论文提出了在Variation Auto-Encoder中使用Wasserstein距离进行度量,从而第一次让VAE能够产生跟Generative Adversarial Network比肩的效果。并且WAE在理论上面联系了VAE和GAN。是一篇不可多得理论与实践兼得的好论文。WAE产生的图像如下图:

704c8a58832c847f9098fcb4ed1aa57702324fe0

Spherical CNNs (阿姆斯特丹大学Max Welling组)

卷积神经网络只能够在2D planar图像中使用,但是近年来很多问题如机器人运动,自动驾驶需要对spherical image进行分析。传统的方法是将spherical image投影到2D planar图像,但是这个过程会产生distortion,如下图:

5591856b459083b997e100bad48f406026efa41a

于是作者提出了spherical CNN。Spherical CNN通过傅立叶变换来避免过度的计算。通过傅立叶变换来实现spherical CNN的示意图如下:

ee6faf6a5df7aeb762811fa15a45856a7f8cf637

相信本篇论文提出的spherical CNN能够在自动驾驶,机器人运动的任务中得到广泛的应用。

Boosting Dilated Convolution with Mixed Tensor Decomposition

本篇论文通过tensor decomposition的角度来分析神经网络,并且提出了mix tensor decomposition的方法来提高神经网络的表达能力。作者在实践中使用了mix dilation的办法来进行mix tensor decomposition。结构图如下:

92171ab482c2b85ebff6f5d13536bc0c01ac02a9

两个对偶的网络weight sharing,仅仅通过dilation的变化就可以得到不同的连接,提高神经网络的expressive efficiency。

本篇论文的理论分析详尽,并且论文讲述简单易懂,美中不足的是实验部分太弱,但是也不影响该论文被接受为oral。

Ask the right questions:active question reformulation with reinforcement learning(Google)

这篇论文提出了一个做question answering的新的思路,通过question reformulation将一个问题转换成类似的问题,然后反复的选择最佳问题。Question reformulation和answer selection通过强化学习进行训练。流程图如下:

78a82274a2d6a7bfaf092b09c82f50836028d3b0

ICLR趣闻


由于ICLR的审稿意见是公开的,所以我们可以看到作者和审阅者之间的思想碰撞,下面我们就介绍一些有趣的事情。

Mix-up vs “Data Augmentation by paring samples for images classification”

这两篇论文提出了类似的方法,通过将数据库的图像的线形组合来做Data Augmentation,并且在CIFAR,IMAGENET上面都取得了好的结果,但是Mix-up被接受,paring samples被拒绝。

Matrix capsules with EM routing

这篇论文是神经网络之父的CapsuleNet的后续,也被ICLR接受了,Geoffrey Hinton是该论文的第一作者。

Progressive Growing of GANs

这篇论文是NVIDIA提出的使用GAN生成high resolution image的论文,由于在论文中违反了double blind原则,在review阶段被拒绝(strong reject),但是由于其amazing的结果,在最后阶段被ICLR接收。

附上大会及相关链接,感兴趣的读者可以自行查看:

ICLR 2018会议链接:

https://openreview.net/group?id=ICLR.cc/2018/Conference

论文链接:

Ask the right question:

https://openreview.net/pdf?id=S1CChZ-CZ

Wasserstein Auto-Encoders:

https://openreview.net/pdf?id=HkL7n1-0b

Spherical CNNs:

https://openreview.net/pdf?id=Hkbd5xZRb


原文发布时间为:2018-01-30
本文作者:不看镜头的ZARD
本文来自云栖社区合作伙伴“ 大数据文摘”,了解相关信息可以关注“ 大数据文摘”微信公众号
相关文章
|
12月前
|
机器学习/深度学习 资源调度 算法框架/工具
AI-ANNE: 将神经网络迁移到微控制器的深度探索——论文阅读
AI-ANNE框架探索将深度学习模型迁移至微控制器的可行路径,基于MicroPython在Raspberry Pi Pico上实现神经网络核心组件,支持本地化推理,推动TinyML在边缘设备中的应用。
643 10
|
12月前
|
机器学习/深度学习 边缘计算 算法
SEENN: 迈向时间脉冲早退神经网络——论文阅读
SEENN提出一种时间脉冲早退神经网络,通过自适应调整每个样本的推理时间步数,有效平衡脉冲神经网络的准确率与计算效率。该方法基于置信度判断或强化学习策略,在保证高精度的同时显著降低能耗与延迟,适用于边缘计算与实时处理场景。
619 13
|
12月前
|
机器学习/深度学习 缓存 算法
2025年华为杯A题|通用神经网络处理器下的核内调度问题研究生数学建模|思路、代码、论文|持续更新中....
2025年华为杯A题|通用神经网络处理器下的核内调度问题研究生数学建模|思路、代码、论文|持续更新中....
891 1
|
人工智能 算法 异构计算
阿里云基础网络技术5篇论文入选全球网络顶会NSDI
近日,阿里云基础网络技术5篇论文被NSDI 2025主会录用。研究涵盖大模型训练网络故障诊断、仿真、容器网络性能诊断、CDN流控算法智能选择及GPU解耦推理优化等领域。其中,《Evolution of Aegis》提出增强现有体系+训练过程感知的两阶段演进路线,显著降低故障诊断耗时;《SimAI》实现高精度大模型集群训练模拟;《Learning Production-Optimized Congestion Control Selection》通过AliCCS优化CDN拥塞控制;《Prism》设计全新GPU解耦推理方案;《ScalaCN》解决容器化RDMA场景性能问题。
968 7
阿里云基础网络技术5篇论文入选全球网络顶会NSDI
|
12月前
|
机器学习/深度学习 算法 调度
14种智能算法优化BP神经网络(14种方法)实现数据预测分类研究(Matlab代码实现)
14种智能算法优化BP神经网络(14种方法)实现数据预测分类研究(Matlab代码实现)
727 0
|
12月前
|
机器学习/深度学习 传感器 算法
【无人车路径跟踪】基于神经网络的数据驱动迭代学习控制(ILC)算法,用于具有未知模型和重复任务的非线性单输入单输出(SISO)离散时间系统的无人车的路径跟踪(Matlab代码实现)
【无人车路径跟踪】基于神经网络的数据驱动迭代学习控制(ILC)算法,用于具有未知模型和重复任务的非线性单输入单输出(SISO)离散时间系统的无人车的路径跟踪(Matlab代码实现)
689 2
|
12月前
|
机器学习/深度学习 并行计算 算法
【CPOBP-NSWOA】基于豪冠猪优化BP神经网络模型的多目标鲸鱼寻优算法研究(Matlab代码实现)
【CPOBP-NSWOA】基于豪冠猪优化BP神经网络模型的多目标鲸鱼寻优算法研究(Matlab代码实现)
293 8
|
机器学习/深度学习 传感器 算法
【表面粗糙度】基于粒子群PSO算法优化-BP神经网络的表面粗糙度研究(Matlab代码实现)
【表面粗糙度】基于粒子群PSO算法优化-BP神经网络的表面粗糙度研究(Matlab代码实现)
450 7
|
机器学习/深度学习 算法 数据可视化
PINN物理信息神经网络用于求解二阶常微分方程(ODE)的边值问题研究(Matlab代码实现)
PINN物理信息神经网络用于求解二阶常微分方程(ODE)的边值问题研究(Matlab代码实现)
524 6

热门文章

最新文章