田渊栋教你读paper的正确姿势

简介:
本文来自AI新媒体量子位(QbitAI)

作为入行数年的专业科研从业者,你每周看几篇论文?

这是一个知乎上的问题。作为卡耐基梅隆大学机器人系的毕业生、Facebook人工智能研究室(FAIR)的研究人员,田渊栋给出了下面这个回答。

盲目追求论文数量无意义,知道怎么读更重要。

2ce912e10013cca36eb8cf0a84ce9f4f1df3209d

背景:人工智能,强化学习

追求数目没有意义。读文章一般两个目的:

1. 看大家在做什么,找方向。

这时候一般读读Abstract和Introduction,对领域有初步了解,知道它主要关于什么,搞清一些概念的含义和联系。这时候不懂没关系,多看几篇文章就懂了。一般聪明的人这一步可以做得很快。

2. 搞清细节

找一个自己感兴趣的方向精读,把里面的课题思路和推理细节搞明白,并且还要顺藤摸瓜找到其它大量的相关文献继续读下去。标准是在脑里能有对这个领域有清楚的脉络,能做到独立完成大部分推导和证明。

一个靠谱的检查方法是给同组的人或者导师做个讲座,看他们能听懂不。很多时候自己以为懂了,其实和别人一说马上就露出马脚。同时讨论也可以激发新思路,说不定就能找到下一篇文章的出发点。这一步往往会花费一个科研人员大量时间,也是业余和职业科研的关键区别所在。

总之分配给每篇文章的时间天差地别。烂文几秒钟就可以放弃,而经典文章还需要每过一阵子回头再去看一看想一想。至于如何评判文章质量,那就得要靠长年科研积累出来的品味了。

接下来的两个阶段就不是光看论文可以看出来的。

3. 写代码实现别人的工作,并且改进

每篇文章都会有意或者无意抬高自己贬低别人,都存在一些有意或者无意隐藏的细节,这些不亲手做是看不到的。所以得要动手花时间去实现别人的方法,想方设法达到别人的效果,然后反过来再看看文章。

时间长了马上就会学到故意隐藏的蛛丝马迹,理解别人留白的道理。光看文章的话,这类经验的积累要慢很多。一般说的“纸上谈兵”就是指这一步没做。

我在15年1月刚去Facebook AI Research的时候,在深度学习上还没有实际操作经验。交给我的第一件事情是复现VGG在ImageNet上的性能,那时还没有BatchNorm,跑5个有2个能开始收敛的就不错了,最后花了几周搞定了。整个过程让我学到不少经验。

4. 总结经验,融会贯通,找到并且遵循自己的方法论

重复3很多次之后,可能会觉得自己比较有经验了。别人问起的时候也能侃侃而谈,但说的往往是一些分散且孤立的经验。并且你会发现自己很容易遗忘这些经验,这个并不是因为记忆力不好,而是因为思路不系统。

这个就需要反复思考反复提炼,从而形成自己的方法论。有了方法论之后,心里就有大方向而不会随便乱试乱撞,效率就会高很多,并且能在一个科研方向上挖很深坚持很久,而不是哪个课题热做哪个。在指导别人的时候也可以做到有的放矢。

在这个基础上再看文献,往往就会读懂很多一开始读不懂的东西。比如说为什么作者要强调A而否认B,那是因为他相信A后面的哲学和方法论。

如果你发现自己提炼不了,或者本来知识就是凌乱的,那么要么就是(1)境界未到,要么就是(2)领域还没有成熟,目前的知识点只是零碎的拼凑。(1)要靠自己练,(2)则预示着大机遇,一个研究者牛不牛就看他是不是可以在别人都放弃的地方找到新的规律。

一般完成1是新闻及科普的水平,2到3是博士生低年级至高年级的水平,精通3到初入4是博后的水平,精通4则是研究员和教授的水准。

另外,从1到4并没有特别固定的顺序,可能你在某个领域是4,另一个领域还只是1或2的程度;或者你在4中获得的经验能反过来帮助1和2(这个很常见);或者一上来就可以跳过2做3,然后等3有了结果之后再去补2,等等。当然,一步跳到4那是民科的水平。


点击左下角“阅读原文”,可解锁更多作者的文章

还可以直接参与讨论~

量子位特约稿件,转载请联系原作者。


— 完 —

本文作者:田渊栋
原文发布时间:2017-09-08 
相关文章
|
1月前
|
消息中间件 SQL 人工智能
实时上下文:当模型能力趋于充裕,AI 生产化的瓶颈正移向实时数据链路
8 月 28 日,由极客传媒 InfoQ、阿里云和 IBM 联合举办的「AI 实时数据沙龙 · 上海站」上,三位来自阿里云和 IBM 的一线工程师围绕这条链路做了分享:一场讲数据流平台面向 AI 的整体演进,另两场分别落到阿里云消息队列 Confluent 版(ApsaraMQ for Confluent)和云消息队列 Kafka 版(ApsaraMQ for Kafka)两款产品的演进与实践。三场分享层层承接,给出的判断是一致的:当模型能力趋于充裕,AI 生产化的瓶颈正移向实时数据链路。
204 13
|
2月前
|
人工智能 自然语言处理 API
DeepSeek、Kimi、GLM,国产大模型到底卷到了哪一步?
过去一年,国产大模型快速进化,DeepSeek、Kimi、GLM 分别在通用推理、长文本理解和工程化应用上形成了自己的优势。本文将结合官方资料,梳理三者的核心能力、与海外模型的差距,以及它们在企业落地中的真实价值。
|
3月前
|
消息中间件 移动开发 供应链
撮合型电商平台交易支付与分账全链路架构科普:打通订单、支付、资金合规完整闭环
撮合型电商平台连接消费者与供应商、商家、服务商,平台本身不持有货品,核心价值是促成交易、提供交易链路。随着平台入驻商户持续扩张,多数技术团队优先搭建商城前端、订单履约、营销体系,却常常忽视支付资金分账链路底层合规设计。本文从工程实践角度梳理撮合电商标准交易流转模型,剖析支付链路常见设计误区,深度拆解原生支付分账比例限制、平台资金池 “二清” 两大行业共性难题,提供两类可行的分账体系建设思路,对比自研模式与标准化清算基础设施接入模式的优劣,为撮合电商创业者、技术负责人做架构规划提供客观参考。
658 0
|
11月前
|
弹性计算 Cloud Native C++
云原生时代,如何用一行命令将开发环境部署到云端?
你是否也曾苦恼于本地开发环境的种种困境?配置复杂、性能瓶颈、团队协作环境不统一……本文将介绍一种革命性的解决方案:Dev Containers,并手把手教你如何借助容器技术,实现开发环境的秒级搭建与云端部署,真正做到“一次配置,处处运行”。
|
11月前
|
机器学习/深度学习 人工智能 边缘计算
# AI商业落地专家TOP榜:极睿科技武彬的AIGC电商应用全解析
2025年AI深度融入商业,优质知识传播成关键。本文基于学术、实战、内容与影响力四大维度,精选十位持续输出高质量内容的AI领域博主,涵盖计算机视觉、NLP、大模型、边缘计算与AI产品等方向,助力从业者精准获取专业资源,提升技术落地能力。
928 0
|
12月前
|
人工智能 供应链 架构师
智能体培训:成为AI时代首批“职业人才”的窗口期只有10周
AI智能体浪潮已至,传统岗位加速变革。系统化智能体培训正成为高薪就业新路径,学员可掌握文案、直播、营销等8大实战项目,获双证认证,直通企业急需的AI操盘手岗位,实现月薪2W+职业跃迁。
|
存储 缓存 Java
我们来说一说 JVM 的内存模型
我是小假 期待与你的下一次相遇 ~
731 5
|
分布式计算 关系型数据库 MySQL
【产品升级】Dataphin V4.5 全新上线:研发效能再提升,资产运营更高效
Dataphin是瓴羊推出的智能数据建设与治理平台,基于阿里巴巴内部实践,提供一站式数据建设与治理能力。V4.5版本研发新增支持GaussDB和TDH 9.3.x作为离线计算引擎、支持MySQL分库分表集成、读取和写入MaxCompute Delta及Hudi湖仓表等;资产运营与消费持续提效,支持批量导入和导出目录与资产信息、对API按照主题进行编目并上架到资产目录、增加资产的血缘、质量评分和元数据变更记录等。
602 1
|
存储 Linux 网络安全
深入浅出Docker
Docker是一种基于容器技术的开源平台,用于自动化应用的部署、扩展和管理。其核心组件包括镜像(Image)、容器(Container)和仓库(Registry)。镜像是静态只读模板,采用分层存储结构;容器是镜像的运行实例,通过Linux Namespace和Cgroups实现隔离与资源限制;仓库用于集中存储和分发镜像。Docker支持数据持久化(Volumes)、多种网络配置(如Bridge、Host、Overlay等)以及高效的操作命令,帮助企业实现快速开发、测试和部署流程。
1268 5
|
机器学习/深度学习 Kubernetes PyTorch
Kubeflow 1.0 上线: 体验生产级的机器学习平台
# 背景 从2017年12月Kubeflow在Kubecon USA宣布开源至今,已经经过2年多的时间。在过去的两年里Kubeflow已经成长为一个拥有数百名贡献者的优秀开源项目。Kubeflow的目标是让机器学习工程师或者数据科学家可以利用本地或者共有的云资源构建属于自己的ML的工作负载。2020年3月,Kubeflow正式发布1.0版本。在Kubeflow 1.0的版本中, 有多项重要的核心
5367 0