ICLR 2022为博客单独设置Track,Andrej Karpathy复现LeCun论文入选

简介: ICLR 2022为博客单独设置Track,Andrej Karpathy复现LeCun论文入选

当前,机器学习社区正面临可复现危机和审稿危机,ML 会议竞争激烈、审稿复杂:一方面,研究人员往往过度推销他们的论文,反而阻碍了学术的进步,影响了领域的完整性;另一方面,随着在 ML 会议上发表和提交的论文越来越多,跟踪领域最新进展也变得更加困难。

近来,社区内逐渐兴起一种简单高效的交流方式:用博客文章讨论领域进展。

博客文章通过提供一个灵活的平台,促进了关于科学出版物的见解交流,让学术讨论更加人性化和透明,从而为科学界提供了巨大的价值。博客不像标准科学出版物那样被广泛认可,往往只有少数研究人员维护个人博客账号,但其中不乏成熟研究人员撰写的博客,质量颇高。

如果能够像论文一样被各类学术会议关注和接收,博客在领域内的认可度将大幅提升。现在,ICLR 2022 率先做出改变,为博客单独设置了一个 Track,旨在激励研究人员回顾过去的工作并总结成果,为 ML 社区提供一种总结科学知识的新方法。

为了建立更标准的接收机制,ICLR 2022 限制了本次接收博客的主题为提炼和讨论已发表论文的内容,并且要求所述工作不能与作者存在利益冲突。这意味着博客作者不能以自己或其所在机构的论文为主题。ICLR 组委会希望博客 Track 能够引起富有成效的讨论,避免出现故意帮助或伤害个人或机构的博客文章。

最终,ICLR 2022 共接收博客 21 篇:

部分接收列表,完整接收列表:https://iclr-blog-track.github.io/blog/


值得注意的是,被接收的 21 篇博客中有一篇是 ICLR 2022 官方特邀特斯拉人工智能和自动驾驶视觉总监 Andrej Karpathy 撰写的反向传播 33 年进展综述。其中,Andrej Karpathy 复现了 Yann LeCun 等人 1989 年的一篇论文《Backpropagation Applied to Handwritten Zip Code Recognition》,并探究了当年 LeCun 遇到的难点。有趣的是,Karpathy 还展望了下一个 33 年,即 2055 年的人将如何看待今天的深度学习研究。这种跨越时空的对话蕴含着机器学习社区多年来的努力和对未来的美好期望。

博客地址:https://iclr-blog-track.github.io/2022/03/26/lecun1989/

此外,还有多篇博客以 ICLR 2021 接收的论文为主题,这些博客很好地概述了机器学习某个子领域的进展,起到很好的学术归纳交流的作用。未来,博客文章在机器学习社区将拥有一席之地。
相关阅读:


参考链接:https://iclr-blog-track.github.io/

相关文章
|
3月前
|
机器学习/深度学习 自然语言处理 算法
ICML 2024 Oral:DPO是否比PPO更适合LLM,清华吴翼团队最新揭秘
【8月更文挑战第13天】在自然语言处理领域,大型语言模型的对齐日益重要。直接偏好优化(DPO)作为无需奖励模型的新方法,虽在学术界受关注,但在实践中,如ChatGPT等应用仍青睐近端策略优化(PPO)。清华大学吴翼团队通过理论分析与实证研究发现DPO潜在局限性,并揭示PPO在LLM微调中取得优异性能的关键因素,如优势归一化、大批量大小及指数移动平均更新等。实验表明,PPO在多个任务中超越DPO,特别是在代码生成任务中取得领先成果。然而,这些发现需更多研究验证。论文详情见: https://arxiv.org/pdf/2404.10719
173 60
|
3月前
|
存储 算法
【博士每天一篇文献-算法】On tiny episodic memories in continual learning
本文研究了在连续学习环境中使用小型情节记忆来解决灾难性遗忘问题,通过实证分析发现经验重播(ER)方法在连续学习中的表现优于现有最先进方法,并且重复训练对过去任务的小型记忆可以提升泛化性能。
22 1
【博士每天一篇文献-算法】On tiny episodic memories in continual learning
|
算法 搜索推荐 Windows
ExpandRank论文解读
ExpandRank是出自北京大学2008年的老论文,其实现思想为:现有的单文档关键字短语提取方法通常只使用指定文档中包含的信息。
73 0
|
算法 数据挖掘
Sentieon | 每周文献-Genetic Disease(遗传病)-第二期
Genetic Disease(遗传病)系列文章解读
80 0
|
存储 人工智能 自然语言处理
7 Papers | 浙大研究获SIGMOD 2023最佳论文;GPT-4拿下最难数学推理数据集新SOTA
7 Papers | 浙大研究获SIGMOD 2023最佳论文;GPT-4拿下最难数学推理数据集新SOTA
308 0
|
机器学习/深度学习 计算机视觉 网络架构
涨点Trick | 你还在用MaxPooling和AvgPooling?SoftPool带你起飞(附论文与源码下载​)(一)
涨点Trick | 你还在用MaxPooling和AvgPooling?SoftPool带你起飞(附论文与源码下载​)(一)
171 0
|
机器学习/深度学习 编解码 PyTorch
涨点Trick | 你还在用MaxPooling和AvgPooling?SoftPool带你起飞(附论文与源码下载​)(二)
涨点Trick | 你还在用MaxPooling和AvgPooling?SoftPool带你起飞(附论文与源码下载​)(二)
416 0
|
机器学习/深度学习 存储 人工智能
7 Papers | AAAI 2023杰出论文奖;AI生成文本检测方法综述
7 Papers | AAAI 2023杰出论文奖;AI生成文本检测方法综述
675 0
|
机器学习/深度学习 缓存 算法
7 Papers & Radios | 两栖机器龟登上Nature封面;深度去模糊综述论文入选IJCV
7 Papers & Radios | 两栖机器龟登上Nature封面;深度去模糊综述论文入选IJCV
|
机器学习/深度学习 存储 人工智能
7 Papers | AAAI22杰出论文、WSDM22最佳论文;200+文献ViT综述
7 Papers | AAAI22杰出论文、WSDM22最佳论文;200+文献ViT综述
134 0
下一篇
无影云桌面