机器学习应用行业浮躁、产品差?身为工程师的你是否想转行

简介: 十几个小时前,一位机器学习工程师在 reddit 上发帖求助:ML 领域浮躁、门槛低、产品差,无法专心做东西,该不该换个领域?帖子一经发布,立刻引起了大量讨论。

微信图片_20211130114110.jpg


该工程师如此描述他的问题:


在目前机器学习和深度学习炒作的背景下,大家对从事机器学习方面的工作(业界或学界)有何建议?


我在一家大型非技术公司做应用研究工程师。但最近几年 ML 在我心中逐渐失去了光芒——围绕着它的炒作给这个领域带来了大量噪音,对于真正关心科学的人来说这种状况太糟了。


我认为自己严谨应用机器学习的努力被浪费了,这让我的竞争力也变弱:管理层想要「深度学习」解决方案,当有人读了一篇博客、抛出一些不完备的训练数据和 Keras model.fit() 后,就声称问题解决了,可他们竟然很满意。我认为在这样的环境中我没法做机器学习,并且我们很难对抗深度学习「廉价、简单」这样的炒作(讽刺的是,简单的随机森林更简单而且效果也很好,但那不「性感」。我就曾遇到过明明用其它方法更简单有效,但非要用神经网络的情况)。我热爱机器学习,也希望看到大家都学习机器学习,但是低门槛导致将不好的模型卖给外行人的行为增加。


你们享受自己的机器学习生涯吗?我在考虑转行回到软件工程行业,或者换一家公司。可能我太暴躁或太追求完美了吧……有人有类似的想法吗?


(背景:计算机科学硕士学位,研究重点:机器学习。毕业后从事应用研究职位,软件工程和机器学习的工作内容各占一半。我不是特别优秀,但是我所在的公司没有 AI/ML 专家,因此我被当作这方面的专家。)


reddit 网友纷纷回应。


有很多人赞同帖主的看法:


@gerry_mandering_50


「管理层想要「深度学习」解决方案,当有人读了一篇博客、抛出一些不完备的训练数据和 Keras model.fit() 后,就声称问题解决了,可他们竟然很满意。」


这部分说得太对了。我经常看到有博主整个复制网上的教程代码,只有少量原创文字,而且不写出处(通常是生产软件的技术公司将这些原创教程发在软件网站上,这些教程常常过分简单化)。这些博主认为自己是数据科学和机器学习领域的专家,好像这些代码是自己写的似的。


管理层无法分辨,在他们看来所有事情似乎都很简单而且已经得到解决,那么为什么我们不可以这么做呢?因为这就是生产软件的科技公司设计教程的目的啊……


@thetall0ne1


网友 thetall0ne1 表示,「我在一家技术公司使用、售卖机器学习应用好多年了,有时也会感到厌倦。不过,我倒支持使用深度学习模型解决问题。因为我发现结果很好。上周,我测试了一个 logo 检测器,这是一个简单的计算机视觉掩码,非常好用。看一下 Gartner 的机器学习技术成熟度曲线,你就会发现到达稳定期就好了。」


而有网友针对技术成熟度曲线回应说,「我确信我们还没到达幻灭期。我认识的很多人(一些连计算机都不怎么会用)都开始讨论机器学习了。」


也有网友持反对意见,从企业和职业发展的角度展开了论述:


@Scortius


我的看法完全不同。


帖主在非技术公司工作,他们支付给你的是固定薪水。发工资的钱来自于售卖的产品。作为员工,你有责任为公司提供价值。除非你在研究机构工作,那你的主要工作将是通过提供增加利润的方式来挣工资。


「用正确的方式」做事是很重要,但我也在琢磨,一个未受培训的员工如何能进入公司,还仅使用 model.fit() 就为公司提供了更多价值。


你没有了解如何用正常的方法获取工资,公司只是想要投资有所回报。我的研究所也有你这样的人,大家都不愿意跟他们合作,因为工作最终要求的还是简单且富有成效的结果啊。你需要将对公司的回报展现出来,进而获取更多时间和自由度去更深入地解决问题。你不在技术公司工作的话,尤其应该如此。


如果你想有更多时间探索如何使用现代方法或更正式的方法,你要么通过按照我建议的方式提供价值进而获得这种自由,要么利用你在这家公司的经验去支持探索性或深入研究的公司或研究机构工作。工作就在那里,但是即使是在那些工作岗位上,你也必须展现出价值,才能挣得深入研究的权利。


在帖子中,很多网友对这波 AI 浪潮炒作进行了讨论,其中多次提到了 Gartner 技术成熟度曲线。


事实上,自 2015 年以来,机器学习/深度学习就一直处于巅峰状态,那一年也被标记为距离生产力高峰 2 - 5 年。


如果你看过 Gartner 2015 年技术成熟度曲线,准备等兴奋「不可避免地」消退时进入机器学习,那你今天可能还需要等待——再多等三年。


或许这个「永久巅峰」显示了技术成熟度曲线的局限性。但是这也表明机器学习/深度学习将继续存在处于热潮之中。


更多的证据来自我最近写的一份 HFS 研究报告,其中,根据福布斯发布的全球企业 2000 强(Global 2000),71 % 的数据科学决策者表示机器学习没有被夸大。


以下是四年的完整历史:


2015 Gartner 技术成熟度曲线


机器学习的技术成熟度曲线首次亮相略超过了期望膨胀顶峰期(Peak of Inflated Expectations)。它是否已经走向幻灭期(Trough of Disillusionment)?


微信图片_20211130114150.jpg


2016 Gartner 技术成熟度曲线


机器学习稍微向后移至顶峰,这绝不是走向低潮的迹象。


微信图片_20211130114153.jpg


2017 Gartner 技术成熟度曲线


深度学习到达顶峰,加入机器学习。


微信图片_20211130114155.jpg


2018 Gartner 技术成熟度曲线


微信图片_20211130114158.jpg


机器学习可能下滑了,但深度学习仍然位居顶峰。


深度学习还会面临技术成熟度曲线所暗示的那种强烈的预期修正吗?考虑到整个机器学习的应用状况,这似乎很难。HFS 研究调查中,86 % 的受访者认为这项技术正在对他们的行业产生影响。


其实,关于深度学习炒作的问题,从谷歌 AlphaGo 之后就从未断绝过,如今这种过度炒作对整个领域的影响已经显现出来:无论是学术研究还是在产业应用中。


而仅对工程师或者研究员来说,如何在 AI 泡破破裂时站稳脚跟是不得不考虑的问题。(推荐阅读:当 AI 泡沫破裂时……)微信图片_20211130092842.png


相关文章
|
8月前
|
人工智能 自然语言处理 数据挖掘
云上玩转Qwen3系列之三:PAI-LangStudio x Hologres构建ChatBI数据分析Agent应用
PAI-LangStudio 和 Qwen3 构建基于 MCP 协议的 Hologres ChatBI 智能 Agent 应用,通过将 Agent、MCP Server 等技术和阿里最新的推理模型 Qwen3 编排在一个应用流中,为大模型提供了 MCP+OLAP 的智能数据分析能力,使用自然语言即可实现 OLAP 数据分析的查询效果,减少了幻觉。开发者可以基于该模板进行灵活扩展和二次开发,以满足特定场景的需求。
|
4月前
|
机器学习/深度学习 数据采集 算法
量子机器学习入门:三种数据编码方法对比与应用
在量子机器学习中,数据编码方式决定了量子模型如何理解和处理信息。本文详解角度编码、振幅编码与基础编码三种方法,分析其原理、实现及适用场景,帮助读者选择最适合的编码策略,提升量子模型性能。
392 8
|
5月前
|
机器学习/深度学习 人工智能 自然语言处理
Java 大视界 -- Java 大数据机器学习模型在自然语言生成中的可控性研究与应用(229)
本文深入探讨Java大数据与机器学习在自然语言生成(NLG)中的可控性研究,分析当前生成模型面临的“失控”挑战,如数据噪声、标注偏差及黑盒模型信任问题,提出Java技术在数据清洗、异构框架融合与生态工具链中的关键作用。通过条件注入、强化学习与模型融合等策略,实现文本生成的精准控制,并结合网易新闻与蚂蚁集团的实战案例,展示Java在提升生成效率与合规性方面的卓越能力,为金融、法律等强监管领域提供技术参考。
|
5月前
|
机器学习/深度学习 算法 Java
Java 大视界 -- Java 大数据机器学习模型在生物信息学基因功能预测中的优化与应用(223)
本文探讨了Java大数据与机器学习模型在生物信息学中基因功能预测的优化与应用。通过高效的数据处理能力和智能算法,提升基因功能预测的准确性与效率,助力医学与农业发展。
|
5月前
|
机器学习/深度学习 搜索推荐 数据可视化
Java 大视界 -- Java 大数据机器学习模型在电商用户流失预测与留存策略制定中的应用(217)
本文探讨 Java 大数据与机器学习在电商用户流失预测与留存策略中的应用。通过构建高精度预测模型与动态分层策略,助力企业提前识别流失用户、精准触达,实现用户留存率与商业价值双提升,为电商应对用户流失提供技术新思路。
|
5月前
|
机器学习/深度学习 存储 分布式计算
Java 大视界 --Java 大数据机器学习模型在金融风险压力测试中的应用与验证(211)
本文探讨了Java大数据与机器学习模型在金融风险压力测试中的创新应用。通过多源数据采集、模型构建与优化,结合随机森林、LSTM等算法,实现信用风险动态评估、市场极端场景模拟与操作风险预警。案例分析展示了花旗银行与蚂蚁集团的智能风控实践,验证了技术在提升风险识别效率与降低金融风险损失方面的显著成效。
|
6月前
|
机器学习/深度学习 分布式计算 Java
Java 大视界 -- Java 大数据机器学习模型在遥感图像土地利用分类中的优化与应用(199)
本文探讨了Java大数据与机器学习模型在遥感图像土地利用分类中的优化与应用。面对传统方法效率低、精度差的问题,结合Hadoop、Spark与深度学习框架,实现了高效、精准的分类。通过实际案例展示了Java在数据处理、模型融合与参数调优中的强大能力,推动遥感图像分类迈向新高度。
|
6月前
|
机器学习/深度学习 存储 Java
Java 大视界 -- Java 大数据机器学习模型在游戏用户行为分析与游戏平衡优化中的应用(190)
本文探讨了Java大数据与机器学习模型在游戏用户行为分析及游戏平衡优化中的应用。通过数据采集、预处理与聚类分析,开发者可深入洞察玩家行为特征,构建个性化运营策略。同时,利用回归模型优化游戏数值与付费机制,提升游戏公平性与用户体验。
|
8月前
|
机器学习/深度学习 数据采集 人工智能
智能嗅探AJAX触发:机器学习在动态渲染中的创新应用
随着Web技术发展,动态加载数据的网站(如今日头条)对传统爬虫提出新挑战:初始HTML无完整数据、请求路径动态生成且易触发反爬策略。本文以爬取“AI”相关新闻为例,探讨了通过浏览器自动化、抓包分析和静态逆向接口等方法采集数据的局限性,并提出借助机器学习智能识别AJAX触发点的解决方案。通过特征提取与模型训练,爬虫可自动推测数据接口路径并高效采集。代码实现展示了如何模拟AJAX请求获取新闻标题、简介、作者和时间,并分类存储。未来,智能化将成为采集技术的发展趋势。
218 1
智能嗅探AJAX触发:机器学习在动态渲染中的创新应用
|
机器学习/深度学习 数据采集 JSON
Pandas数据应用:机器学习预处理
本文介绍如何使用Pandas进行机器学习数据预处理,涵盖数据加载、缺失值处理、类型转换、标准化与归一化及分类变量编码等内容。常见问题包括文件路径错误、编码不正确、数据类型不符、缺失值处理不当等。通过代码案例详细解释每一步骤,并提供解决方案,确保数据质量,提升模型性能。
491 88

热门文章

最新文章