Kaggle 大神Dan Becker与你分享他的数据科学之旅!

简介: 【新智元导读】本文中Kaggle大佬Dan Becker谈论了自己从经济学向数据科学的转变,从零开始成为数据科学家的旅程,并给予初学者们一些建议。

“如果我下定决心要进入前1%,有可能在达成目标前我就放弃了。这是一个过于困难的目标,如果我心里总想着这件事,那我永远无法去完成它。”

——Dan Becker 我坚信对于很多已经抛弃Kaggle之旅的人来说都有这样的经历,无法进入榜单前1%,并且认为练习也毫无意义 好吧,Kaggle大佬系列带着一篇新的采访回归了,这次我们请来了Dan Becke。 

111.jpgBecker可谓是Kaggle Notebooks 大佬,目前排在该类别榜单的第二位。他编写的Notebooks不仅被数据科学初学者们广泛参考,也是Kaggle learn免费课程中的一部分。贝克尔还是Kaggle数据集与讨论组的专家。

 

Becker还是一家名为Decision.AI公司的创始人,该公司致力于帮助数据科学家们把他们的AI模型转化成理想的商业业绩。在此之前,他还在谷歌从事数据科学,很了不起对吗?

 

这篇采访包括了以下几大主题:


  • Becker从经济学到数据科学的跨界
  • Becker从零开始成为大佬的Kaggle旅程
  • Becker给予数据科学初学者们的建议

 

让我们来读一下这篇采访,看看从中会有怎样的感悟吧!


贝克尔的学业和工作

0.jpg

Analytics Vidhya (AV):“看您的教育背景是经济学博士。您能告诉我们自己是怎样从经济学转战到数据科学,从中面对过怎样的挑战吗?”

 

Dan Becker (DB):“我最开始转向数据科学,是在读到一篇新闻时,那篇新闻报道称有一个Kaggle竞赛设置300万美元的巨额奖金。当时我使用经济学中的传统技术做了一次提交,结果我排在了排行榜的倒数10%。我至今仍记得自己在看到那一结果时的感觉。


我本以为自己在建模方面很擅长,所以很难接受自己排名垫底。但这个结果激励了我进一步学习和进步。第二年,每天夜里,我都在努力优化自己的结果,或者是学习更多关于机器学习的知识。我的排名每次都能前进几名,在这项赛事中排在了1353个队伍中的第二名。最终,我完成了自己成为数据科学家的转变。”

 

AV:“您曾在世界上最好的公司之一——谷歌任职数据科学岗位,在这样的大公司担任数据科学家角色需要运用到什么技能或知识呢?”


DB:“根据具体的角色,在谷歌的每个人都会有所不同。加入谷歌时,我已经做了差不多有七八年的数据科学家。就我的性格来说,我总会担心自己落后,所以一直在不断学习。


也因此,我在数据科学领域的知识面比较广。从应聘面试角度来看,谷歌喜欢问算法问题。《程序员面试金典(Cracking the Coding Interview)》是很多大型科技公司的最佳面试准备材料。”

 

AV:“除Kaggle外,您创办了Decision.ai,一个可以帮助数据科学家把AI模型转化成商业业绩的工具。您能解释说明下是如何把AI模型转化成商业模型的吗?”

 

DB:“对于分析师和数据科学家来说,Decision AI是一个从他们所构建的机器学习模型中获得更多商业价值的工具。监督学习模型能够做出预测,但是对于如何去使用这些预测结果有些僵化。我来给你举一个例子:

 

一个数据科学家构建了一个预测诈骗金融交易的模型。对于一笔交易,模型表示有5%的可能是欺诈。现在问题来了,你对此做怎样的反应呢?有些人会用一个简单的阈值,比如说驳回所有超过10%可能性是欺诈的交易。

 

你将预测结果转化成真实世界行为的方式被称为‘决策函数’。现在问题就变成了‘什么是最佳的决策函数’


对于每一次交易,你可能要考虑客户的价值,因为这代表了如果拒绝这笔交易会带来怎样的后果。你要与接受欺诈交易的成本做比较,而这个成本可能取决于交易金额。

 

所以这笔交易所有的信息都需要在决策函数中有所考虑。我们不可能自动发现准确的决策函数。但是我们可以提供一个工具,让数据科学家们严格优化做决策的过程

 

这种情况并非金融诈骗所独有。我们可以将其运用到供应链管理、预测性维护、产品定价、医疗卫生等其他一些领域。 在很多实际案例中,人们都会惊讶于他们能在做决策方面变得更好。在很多案例中,他们最开始认为这不是数据科学家该做的工作,应该由其他人来做。但当使用了我们的工具后,他们意识到通过严格的决策优化可以增加多少利润,即使免不了要与其他利益相关者合作。

贝克尔从零开始成为Kaggle大师的旅程

1.jpg

AV:“你现在是Kaggle Notebooks大师,目前排名第二,首先为此向你致敬,这真的是太了不起了!有一个很多人都想问你的问题:‘你对于创造一个专业级的Notebook,会使用什么框架和策略?有一份清单吗?’”

 

DB:“我并没有列一份清单。我的很多Notebook都是在Kaggle Learn课程上精选的,这也是能够吸引大家的一大原因

 

一般情况下,我会把Notebook分为两类:

 

第一类Notebook是关于教育的,这种都涉及某个特定的技术。举例说,你可以做一个关于如何使用Seaborn进行数据可视化的Notebook。在这里面,我不会加入太多关于pandas或者scikit-learn的东西,因为这些会分散注意力。

 

最理想的情况下,这篇Notebook可以解释你自己对于seaborn的心智模型,而不只是列一堆示例。这样的话,在读完你的Notebook后我就能知道自己如何去做一些事情。

 

第二类Notebook是受好奇心驱使的。这些可能获得较少的点赞,但我个人还是很喜欢。比如说,我可能会好奇森林大火随着时间推移的趋势是怎样的。我找到一个数据集,接着绘制了几副图表,开始尝试去回答这一问题。通常,在第一个图表中,我会提出新问题,然后在用几副图表来回答它们。

 

AV:“这真的是太棒了。请问您在最初开启Kaggle生涯时遇到的挑战是什么,又是怎样克服的呢?”

 

DB:“最开始,我遇到的挑战就是自己还不够出色。我没想过自己能够进入前1%,但是我很享受进步的过程。这让我每天都坚持努力。如果我总是期待自己进入前1%,我可能在完成目标前就放弃了。这实在是一个在我完成前就会考虑放弃的目标。

 

Kaggle 现在有很多顶级选手,我在10年前就开始参与。对于大多数来说,我不认为这是迈向专业道路的绝佳途径,对我来说,找到一个可以从中学到东西的社区更有希望。”

 

AV:“您现在有超过180篇Notebook被数据科学初学者广泛引用。您是否考虑过专注于Notebook呢?还有您选择Notebook的主题标准是什么?”

 

DB:“我为Kaggle Learn上的免费课程编写了一些Notebook,很多我的Notebook都是来自于那里。目前我没有继续做这块,我所做的Notebook基本上都是受好奇心驱使,对真实世界某个问题的好奇。”

 

AV:“180+是一个不小的数字,您有哪5篇是自己最想推荐给我们社区的呢?”

 

DB:“我创办了一个可解释性机器学习课程,地址是

 https://www.kaggle.com/learn/machine-learning-explainability 这些无疑都是我最喜欢的Notebook。”

 

AV:“考虑到您见证了Kaggle从最初到现在的成长,您能告诉我们在这一旅程中有没有一两个里程碑让你觉得很关键?”

 

DB:“我在遗传健康比赛中最终拿到了第二名的成绩,毫无疑问那是我个人最大的里程碑。我还首次利用深度学习技巧完成了比赛。这是在Keras,PyTorch或者TensorFlow这样的工具出现之前。当时我用了一个名为PyLearn2的库。在参加那次比赛时,我还为PyLearn2的开源做了一些贡献。”


对数据科学初学者的建议

 

2.jpgimage.gif


AV:“作为数据科学和机器学习的行业领导者,您能给予初学者们一些让他们在这个行业立足的经验吗?”

 

DB:“我认为先去学习大量的理论然后再去动手实践是错误的。我看到有些人花了几年的时间成为数据科学家,结果他们对实际工作中如何运用这些理论却不太了解。


相反,我更喜欢先学一些最基础的,能够用来参加一个像Kaggle竞赛这样的项目。然后等你获得足够的经验时,再去学习更多的理论,以便你能理解这些理论在哪里被运用。

 

还有,你需要学习如何使用Git,如何和其他人合作。最后,要学会很好地使用Pandas。大多数数据科学家花费在处理和清洗数据上的时间要比使用高级算法的时间多10倍。


或许深度学习很有意思,但是Pandas才是更实用的。” 我认识很多想雇数据科学家的人,他们都抱怨熟练使用Pandas的数据科学家怎么如此短缺。

 

AV:Kaggle对于成为成功的数据科学家来说经常是敲门砖。您能够给予初学者一些建议让他们在这一平台上产生影响力吗?

 

DB:“有些人参与Kaggle为了拿到一定的排名来帮助他们找到工作。这样的方式是错误的。排名并不会帮助你找到工作,除非你赢下了一项竞赛或者接近赢下竞赛,可99.9%的参赛者无法完成这一目标。

 

幸运的是,Kaggle是一个对于学习很有帮助的地方。我非常看重从其他人身上学到东西。与比赛中的人一同合作,或者分享你的Notebook来获得其他人的反馈或建议。

 

找到你觉得有趣的数据集,创造你自己的项目来分享。Kaggle可能是通过实践来学习的最佳地点。如果你觉得自己还没做好上述准备,那么就从Kaggle Learn开始吧。”

 

AV:“经常见到有人参加黑客马拉松甚至取得理想的结果,但当把结果转化成商业或工业成果时,总是会遇到麻烦。基于您的经验,你会给出他们怎样的建议来跨越这两者之间鸿沟?”

 

DB:“这很难,但这确实是一个很重要的问题。在解决商业问题时,有很多是你在黑客马拉松或者业余爱好项目中是不需要面对的。如果你能做到,找一个数据科学或数据分析的工作会对你发现这些问题很有帮助。我觉得这应该是你的首要目标。

 

除了这一点以外,对于每一个项目,你都需要花一点时间来明白今天要做出这些决定的方式,以及你可以在哪些方面提供帮助。如果这个决定是人为的,那你可能要开始绘制一些图表来让他们觉得有所帮助。


然后看一下你是否可以发送这些图表,然后和他们开启一段对话。这个过程可能不如建立机器学习模型有趣。但是你要知道,没有人会因为你发送给他们一个模型而启动一个会谈。所以我都是尽可能地涉及一个真实的决策过程。现在这些依旧很难。”

 

AV:您是那种每个人都想成为的人。您能列举出五位激励您前进的数据科学专家吗?

 

DB:“我期待强化学习在未来能够起到深远的影响(即便现在还没达到),所以我特别喜欢阅读Sergey Levine的研究。这些内容有点更偏重于研究,但 BAIR blog是我最喜欢的内容之一

 

我非常尊重 Thomas Wiecki 以及其他让贝叶斯相关方法的应用变得更加广泛的人。


我和 Tim Salimans 在Kaggle竞赛中有过合作,他非常的聪明。我们没有经常联系,但在我读到他的研究时还是很兴奋。Susan Athey 以一种我非常欣赏的方式将经济学和机器学习结合起来。Andrew Gelman  在对数据集的使用上有独到的见解,他称自己为统计学家,但是我认为区分统计学和数据科学不是很重要”。


结语


这是一篇相对严肃且鼓舞人心的采访。我们希望你能从采访里所谈论的内容中有所吸收,帮助你在数据科学旅程中向前迈进。

相关文章
|
7月前
|
人工智能 边缘计算 运维
增长指数全球第一,阿里云入选沙利文中国企业出海采用云服务市场领导者象限
沙利文Frost & Sullivan发布《2025年中国企业出海采用云服务市场研究》,阿里云连续三年综合竞争力稳居“领导者”象限,是唯一进入该象限的中国厂商。此外,在综合竞争力增长指数上,阿里云荣获全球第一。
|
2月前
|
存储 文字识别 安全
2026阿里云最新云产品活动信息汇总:优惠券、特价、扶持政策一览
本文汇总了2026年阿里云全品类最新优惠活动,覆盖新用户专属折扣券、学生300元无门槛券、中小企业最高百万扶持金等福利,同时整理了云安全、云通信、无影云桌面、云原生、数据库、OCR识别等十余条细分产品线的特惠专场,从建站、AI开发到企业数字化转型的各类上云需求都能找到适配的高性价比方案,还补充了优惠券使用规则的常见问题解答,帮助不同类型的用户精准匹配优惠权益,最大化降低上云成本。
|
7月前
|
机器学习/深度学习 TensorFlow API
TensorFlow 入门指南
TensorFlow 是 Google 开源的主流机器学习框架,支持从研究到生产的全周期开发。其核心优势在于:灵活的数据流图、Keras 高级API易上手、底层API可深度定制,以及TensorBoard、TFLite、TF Serving等完善生态,广泛应用于图像识别、自然语言处理等领域。(239字)
|
9月前
|
人工智能 监控 安全
工地智能化管理平台,Spring Cloud智慧工地源码,施工现场数字化管理
智慧工地云平台基于微服务+Java+Spring Cloud架构,支持SaaS模式,集成人员、安全、环境、物料等多模块管理,实现施工全过程数字化、智能化管控。支持PC、大屏、移动端多端协同,助力项目高效决策与远程监管。
534 1
|
4月前
|
弹性计算 安全 关系型数据库
阿里云服务器2核2G、2核4G、4核8G、8核16G怎么选实例?最新活动价格对比与实例规格选择指南
本文介绍了2026年阿里云服务器2核2G、2核4G、4核8G、8核16G配置的最新活动价格及选购指南。阿里云为个人开发者、初创团队及轻量级业务企业提供多样入门配置选择,如2核2G轻量应用服务器仅38元一年,2核4G配置199元包年。对于业务规模扩大或应用复杂度提升的用户,阿里云提供4核8G与8核16G配置,价格从1252.63元到5958.52元一年不等,满足不同性能需求。用户可根据业务需求和预算,在阿里云丰富产品线与优惠策略中选配最合适的云服务器实例。
|
10月前
|
数据采集 JSON BI
京东评论API能挖出多少“神评”?用代码揭秘用户真实反馈
京东商品评论API提供商品全量评论数据,支持按评分、时间筛选及分页获取,返回120+字段与口碑统计,具备高并发、低延迟、数据安全等特性,助力电商分析与决策。
|
9月前
|
机器学习/深度学习 人工智能 算法
构建AI智能体:六十八、集成学习:从三个臭皮匠到AI集体智慧的深度解析
集成学习不是简单的"模型堆砌",而是有深刻理论支撑的系统性方法。理解其核心思想:集体智慧,多个不完美的个体可以组成一个强大的集体,误差分解,通过降低方差或偏差来提升性能,多样性驱动,模型间的差异是集成效果的关键,分层学习,从数据学习到学习如何学习。集成学习代表了机器学习中的一个重要哲学:通过协作和组合,我们可以创造出超越任何单个组件能力的系统。这正是"三个臭皮匠,顶个诸葛亮"在人工智能时代的具体实践。
662 108
|
4月前
|
文字识别 数据库 知识图谱
百度面试官一针见血:“多模态RAG,图片里的文字你OCR出来了,那图里的逻辑关系呢?”我沉默了
本文剖析多模态RAG在图表理解中的核心瓶颈:OCR仅提取文字,却无法捕获节点间逻辑关系。提出“四层架构”——视觉抽取、关系建图、语义注入、检索推理,实现从“看图”到“读图”的跃迁。对比三种方案,验证图结构化对路径推理的关键价值,并给出可落地的评测升级与工程实践路径。
|
6月前
|
缓存 网络协议 安全
浅谈《图解HTTP》
《图解HTTP》适合作为第一本网络协议书。它就像一座桥梁,连接了 "零基础" 与 "系统性学习",对入门者及其友好。
330 1
|
5月前
|
JSON 监控 API
B2B- 1688 商品详情 API 接口全解析调用
1688商品详情API(alibaba.item.get)是获取批发商品结构化数据的官方接口,涵盖商品基础信息、SKU、供应商、价格、起批量等核心字段。本文详解接口调用前提、签名规则、Python实战代码、限流处理及高频异常解决方案,助开发者快速落地批量选品、价格监控等场景。(239字)

热门文章

最新文章