如何优雅地打开堆满数学公式的机器学习论文

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:


image


上周,大数据文摘为大家介绍了在深度学习领域近几年影响力最大的5篇论文(点击链接查看大数据文摘文章《熬过深宫十几载,深度学习上位这五年》),有不少读者在后台留言表示,这些论文的数学部分实在是太难攻克。

相信不少读者在阅读机器学习论文时也都遇到过类似的问题。满怀野心地打开一篇论文,却被里面成片的数学公式地吓得赶紧丢掉了那篇论文。今天,大数据文摘就为大家带来了几个小tips,帮助大家阅读被数学公式堆满的机器学习论文。

这些tips适用于已经有一定数学背景的读者。应有的数学背景包括:基础的线性代数、概率论和微积分。


image

一大堆数学公式来袭怎么办?简单浏览,重点看结论和意义

在阅读机器学习论文时,你可能经常会碰到这样的论文:它有很长的公式、大量的代数运算,以及大量复杂公式的变换。对于这一类型的论文,你应该做的是,抓住文章的重要结论和意义,而简单略过复杂的数学推导。

当你初次阅读一篇论文时,你的步骤很可能是这样的。首先,你会阅读标题,然后考虑是否阅读摘要。当你阅读完摘要后,你会考虑是否要浏览一遍结果。之后你才会考虑是否浏览全文,等等。人生短暂,要读的文章太多。

阅读代数较多的论文的技巧是,第一次阅读时不要被数学带着走——这是许多学生都会犯的错误。读第一遍时,你不需要理解冗长计算中的所有步骤。你应该浏览一遍数学,并假设它是正确的,在之后的阅读过程中,再一步步加深你的理解。

你要做的是,阅读公式之间的文字描述,以及论文的结论。当你大致搞清楚这篇论文在讲些什么后,你才会去考虑是否要花费时间来研究它的数学部分。

千万不要陷在那些你搞不清楚的步骤中。假设它们都是正确的,然后继续往下看。回头再来理解它们。重复阅读直到你理解透彻。

同时,你需要注意到一个事实:许多时候论文中的数学部分其实是存在错误的。很多时候,这些错误与文章想要表达的论点的无关,但是它们会使你变得困惑不堪。在第一次阅读中,你很难发现这些错误。但当你对论文有了大体的了解后,往往你就能轻松发现这些错误了。

另外,当你阅读那些公式时,确保你理解它们真正的含义。你知道公式中的数学含义,但是你是否了解公式背后的真正的意义呢?你是否能用直白的语言向我解释这个公式的含义?在我问你ELBO的意义时,你能否告诉我,“当我们将ELOB 最大化时,在考虑到已有数据量的情况下,我们估测的后验概率将会十分接近其真实值”?

当你达到这个水准后,推理冗长数学运算会变得简单。那么,如何才能做到这一点呢?答案是:阅读大量理论性论文,做大量的代数运算。没有其他捷径。

数学概念太艰深?尝试用简化版本理解

我们在阅读论文时 ,我们还可能会碰到涉及大量艰深数学概念的论文,比如说Lebesgue 测度、Radon-Nikodym导数、σ代数等等。

相比上一种情况,阅读这种论文更为艰难,因为你很难判断哪一部分重要,哪一部分可以被简单跳过。但技巧还是相似的:别忙着四处查那些数学概念,先浏览一遍再说。

另外一个很实用的技巧是:将复杂概念简化。很多时候,论文作者使用了大量专业的数学概念,以确保他们的推导足够严谨。比方说,他们会考虑到这样的质问:如果这个函数在任何地方都是连续的,但它在何地方都不可微,那你的方法还可行吗?

你要做的是,别钻牛角尖。比方说,当你遇到Radon-Nikodym导数时,直接用比例代替。当你遇到测度时,直接用Riemann积分简单函数代替。

当然,这种方法有时候也是行不通的。一些情况下,你着实需要理解论文中的专业数学部分。这种情况下,如果你的数学功底不够扎实,你就要做好死磕的打算了。

搞清楚自己的阅读目标

最后,也是最重要的一点。不管你用什么方法去阅读论文,你都要搞清楚,你想要从阅读中获取什么。在阅读这些论文时,一个学术专家和一个算法工程师显然有着不同的目标。

简而言之,你的阅读策略最终应该服务于你想要完成的任务,而读懂满是数学公式的机器学习论文本身并不是一个值得追求的目标。

原文发布时间为:2017-09-04
作者:thebackpropaganda
编译:happen,丁雪,钱天培
本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“大数据文摘”微信公众号

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
机器学习/深度学习 人工智能 算法
【AAAI 2024】再创佳绩!阿里云人工智能平台PAI多篇论文入选
阿里云人工智能平台PAI发表的多篇论文在AAAI-2024上正式亮相发表。AAAI是由国际人工智能促进协会主办的年会,是人工智能领域中历史最悠久、涵盖内容最广泛的国际顶级学术会议之一,也是中国计算机学会(CCF)推荐的A类国际学术会议。论文成果是阿里云与浙江大学、华南理工大学联合培养项目等共同研发,深耕以通用人工智能(AGI)为目标的一系列基础科学与工程问题,包括多模态理解模型、小样本类增量学习、深度表格学习和文档版面此次入选意味着阿里云人工智能平台PAI自研的深度学习算法达到了全球业界先进水平,获得了国际学者的认可,展现了阿里云人工智能技术创新在国际上的竞争力。
|
6月前
|
机器学习/深度学习 人工智能 算法
PaperCoder:一种利用大型语言模型自动生成机器学习论文代码的框架
PaperCoder是一种基于多智能体LLM框架的工具,可自动将机器学习研究论文转化为代码库。它通过规划、分析和生成三个阶段,系统性地实现从论文到代码的转化,解决当前研究中代码缺失导致的可复现性问题。实验表明,PaperCoder在自动生成高质量代码方面显著优于基线方法,并获得专家高度认可。这一工具降低了验证研究成果的门槛,推动科研透明与高效。
487 19
PaperCoder:一种利用大型语言模型自动生成机器学习论文代码的框架
|
11月前
|
机器学习/深度学习 人工智能 自然语言处理
【NeurIPS'24】阿里云 PAI 团队论文被收录为 Spotlight,并完成主题演讲分享
12月10日,NeurIPS 2024在温哥华开幕,阿里云PAI团队论文《PertEval: Unveiling Real Knowledge Capacity of LLMs with Knowledge-Invariant Perturbations》入选Spotlight,PAI团队还进行了“可信AI的技术解读与最佳实践”主题演讲,展示AI工程化平台产品能力。
|
机器学习/深度学习 人工智能 自然语言处理
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
阿里云人工智能平台 PAI 团队发表的图像编辑算法论文在 MM2024 上正式亮相发表。ACM MM(ACM国际多媒体会议)是国际多媒体领域的顶级会议,旨在为研究人员、工程师和行业专家提供一个交流平台,以展示在多媒体领域的最新研究成果、技术进展和应用案例。其主题涵盖了图像处理、视频分析、音频处理、社交媒体和多媒体系统等广泛领域。此次入选标志着阿里云人工智能平台 PAI 在图像编辑算法方面的研究获得了学术界的充分认可。
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
|
机器学习/深度学习 人工智能 自然语言处理
【EMNLP2024】阿里云人工智能平台 PAI 多篇论文入选 EMNLP2024
阿里云人工智能平台 PAI 的多篇论文在 EMNLP2024 上入选。论文成果是阿里云与华南理工大学金连文教授团队、复旦大学王鹏教授团队共同研发。EMNLP 是人工智能自然语言处理领域的顶级国际会议,聚焦于自然语言处理技术在各个应用场景的学术研究,尤其重视自然语言处理的实证研究。该会议曾推动了预训练语言模型、文本挖掘、对话系统、机器翻译等自然语言处理领域的核心创新,在学术和工业界都有巨大的影响力。此次入选标志着阿里云人工智能平台 PAI 在自然语言处理和多模态算法能力方面研究获得了学术界认可。
|
机器学习/深度学习 人工智能 算法
CV领域再创佳绩!阿里云机器学习平台 PAI 多篇论文入选 ICCV 2023
近期,阿里云机器学习平台PAI发表的多篇论文在ICCV 2023上入选。ICCV是国际计算机视觉大会是由电气和电子工程师协会每两年举办一次的研究大会。与CVPR和ECCV一起,它被认为是计算机视觉领域的顶级会议之一。ICCV 2023将于10月2日至10月6日法国巴黎举办。ICCV汇聚了来自世界各地的学者、工程师和研究人员,分享最新的计算机视觉研究成果和技术进展。会议涵盖了计算机视觉领域的各个方向,包括图像处理、模式识别、机器学习、人工智能等等。ICCV的论文发表和演讲都备受关注,是计算机视觉领域交流和合作的重要平台。
|
机器学习/深度学习 搜索推荐 算法
机器学习-点击率预估-论文速读-20240916
机器学习-点击率预估-论文速读-20240916
|
机器学习/深度学习 存储 人工智能
【ACL2024】阿里云人工智能平台PAI多篇论文入选ACL2024
近期,阿里云人工智能平台PAI的多篇论文在ACL2024上入选。论文成果是阿里云与阿里集团安全部、华南理工大学金连文教授团队、华东师范大学何晓丰教授团队共同研发。ACL(国际计算语言学年会)是人工智能自然语言处理领域的顶级国际会议,聚焦于自然语言处理技术在各个应用场景的学术研究。该会议曾推动了预训练语言模型、文本挖掘、对话系统、机器翻译等自然语言处理领域的核心创新,在学术和工业界都有巨大的影响力。此次入选标志着阿里云人工智能平台PAI在自然语言处理和多模态算法、算法框架能力方面研究获得了学术界认可。
|
机器学习/深度学习 人工智能 分布式计算
阿里云人工智能平台PAI论文入选OSDI '24
阿里云人工智能平台PAI的论文《Llumnix: Dynamic Scheduling for Large Language Model Serving》被OSDI '24录用。论文通过对大语言模型(LLM)推理请求的动态调度,大幅提升了推理服务质量和性价比。
|
机器学习/深度学习 人工智能 自然语言处理

热门文章

最新文章