机器学习的最新研究成果很少转化成商业产品,是真的吗?

简介: 学术是学术,应用是应用
TB1IXknC7voK1RjSZFDXXXY3pXa.jpg

雷锋网 AI 科技评论按:我们都知道最新的科研成果和实际商业应用中使用的技术会有一定的距离。一面是高复杂度、特定(较简单一致)的输入和直接量化的性能指标,另一面是资源成本的限制、为各种各样情况考虑预案,以及评价标准要变成更高阶、更综合性的用户满意度、营收等等。

所以实际上,即便整个计算机科学界、互联网商业中大家一直对 AI 抱有热情,我们能看到的使用了机器学习的商业化产品也并不多,高度集中在图像处理、文本翻译和语音识别几类任务中,具体使用的算法也往往并不是学术界内认为先进的算法。

有网友观察到了这样的现象,在 Hacker News 的问答板块提问道:「学术界一直在不停地做出新的科研进展,但是工业界好像并没有选择使用这些新鲜成果,包括胶囊网络或者自动网络搜索方面的成果。所以说前沿的科学技术研究和技术商业化之间就是注定有深深的鸿沟吗?这些新研究出的模型都没有什么可能快速商业化、变成产品吗?」

曾在斯坦福大学与 UC 伯克利大学学习计算机科学、在谷歌大脑团队实习,如今身为全栈开发工程师 Denny Britz 给出了一些自己的想法:

 大多数科研成果带来的提升比较有限,而新的技术要有能力带来足够大的提升才会被产业界吸收。99.9% 的科研论文提出的技术都是带来优化指标(评价指标,比如准确率、ROC AUC、BLEU 分数等等)的小幅提升。然而表现提升的同时一般都伴随着计算复杂度的提升、更高的训练成本、更低的模型稳定性、代码可维护性的挑战等等。对于谷歌广告词搜索、谷歌翻译之外的绝大多数企业的业务来说,只为了把某项优化指标的数字提升一点点就增加许多成本是根本划不来的。使用一个现成的、经过时间考验的简单、成熟、稳定的模型要好得多,训练很快、维护简单。即便它们的跑分会低 1%。

学术研究一般都关心的是如何改进模型,那么在研究中就不可以改变训练/测试数据。对于科研来说这是理所当然的,毕竟在同样的数据上跑出来的结果才有可比性。但是在真实世界中,你可以自由地收集更多的训练数据、清理数据、选择更有针对性的验证和测试数据,等等。在大多数情况下,有更准确的、更多的数据、更干净的数据,都要比换一个更强的模型效果更好。而且处理数据的事情也更好做,更有迹可循。所以对于产业界来说,他们把精力花在数据上通常更合适。

科研论文里使用的优化指标没有什么能直接迁移到真实世界的商业指标中的,而且同时有很多科研中的想法会过拟合到这些指标和/或数据集上。比如,研究机器翻译的论文都会优化一个叫做「BLEU 分数」的指标,但是真实的翻译应用中需要考虑的用户满意度和「用户评分分数」。这可就是学术科研很难优化的了。类似地,商业产品并不能直接把「ImageNet 图像分类准确率」拿出来卖,不仅模型在应用场景中面对的图像会与 ImageNet 数据集不同,用户满意度也并不直接对等于识别准确率。科研论文会关心特定数据集上的特定指标(因为论文就是这样评审的),但是一个模型在这个数据集上的这个指标表现好,不一定它在别的数据集、别的指标也有好的表现(即便数据集和指标可能是类似的)。实际上,即便是含有已知的错误的数据集也会在科研研究中一直用下去,因为不同的技术以前就是在这些数据集上比较的(雷锋网 AI 科技评论有篇旧文解析过 ImageNet 中错误分类的图像)。而商业应用里就不会发生这样的事情。

对于这个问题,你认同提问者的观察吗?你对这样的现象有别的见解吗?欢迎留言与我们讨论。

via news.ycombinator.com,雷锋网(公众号:雷锋网) AI 科技评论编译

雷锋网版权文章,未经授权禁止转载。详情见转载须知。

目录
相关文章
|
1月前
|
机器学习/深度学习
自动化机器学习研究MLR-Copilot:利用大型语言模型进行研究加速
【10月更文挑战第21天】在科技快速发展的背景下,机器学习研究面临诸多挑战。为提高研究效率,研究人员提出了MLR-Copilot系统框架,利用大型语言模型(LLM)自动生成和实施研究想法。该框架分为研究想法生成、实验实施和实施执行三个阶段,通过自动化流程显著提升研究生产力。实验结果显示,MLR-Copilot能够生成高质量的假设和实验计划,并显著提高任务性能。然而,该系统仍需大量计算资源和人类监督。
32 4
|
4月前
|
机器学习/深度学习 存储 分布式计算
Hadoop与机器学习的融合:案例研究
【8月更文第28天】随着大数据技术的发展,Hadoop已经成为处理大规模数据集的重要工具。同时,机器学习作为一种数据分析方法,在各个领域都有着广泛的应用。本文将介绍如何利用Hadoop处理大规模数据集,并结合机器学习算法来挖掘有价值的信息。我们将通过一个具体的案例研究——基于用户行为数据预测用户留存率——来展开讨论。
326 0
|
5月前
|
存储 人工智能 弹性计算
|
5月前
|
人工智能 自然语言处理 算法
|
5月前
|
机器学习/深度学习 人工智能 自然语言处理
|
5月前
|
存储 人工智能 物联网
|
6月前
|
机器学习/深度学习 人工智能 算法
人工智能平台PAI产品使用合集之在执行shade打包后遇到“类找不到”的错误,是什么原因
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
6月前
|
机器学习/深度学习 人工智能 JSON
人工智能平台PAI产品使用合集之创建特征视图时遇到报错,该如何排查
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
6月前
|
机器学习/深度学习 消息中间件 人工智能
人工智能平台PAI产品使用合集之vLLM是否支持模型长度扩展
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能平台PAI产品使用合集之如何配置cluster系统自动生成分布式参数
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。