数据咨询师经验之谈:90% 的公司并不需要机器学习

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
简介:

数据咨询师经验之谈:90% 的公司并不需要机器学习

Eric Brown

Eric Brown:数据科学家要用数据说话。从数据上来看:你,和你的公司,并不需要机器学习。

我是认真的。

或许你不同意,那么听我解释。我说“从数据上看”,指的是对于当今世界的绝大多数公司,机器学习(ML)既非必要也无益处。各公司想要利用 ML 来处理的绝大部分任务,都是十分直接的问题——使用某种形式的回归即可完美解决。后者或许不是你在高中代数课上学到的线性回归,但仍会是某个回归函数。雷锋网了解到,著名经济学家 Robin Hanson 最近发表了相同观点,他在推特上说道:

数据咨询师经验之谈:90% 的公司并不需要机器学习

“一个优秀的计算机专家会说:大多数公司以为他们需要先进的 AI、ML 技术,其实,他们真的只需要在干净的数据上做线性回归。”

这句话中,“干净的数据“是重点。它极度、极度重要,但相当多的公司总是在处理数据时忘记、或者忽视这一点。若没有合格的数据质量,以及到位的数据治理、管理流程和系统,有极大的可能性你会陷入垃圾数据陷阱——“向模型输入的是垃圾,输出的也是垃圾”。太多数据项目如此,结果不了了之。

大多数公司并不知道数据管理是什么

数据咨询师经验之谈:90% 的公司并不需要机器学习

我并不是一个数据管理、数据质量方面的专家导师。但我对这个领域有一定的了解——足够让我清楚不合格、不到位的数据管理是什么样。况且我经常遇到这些情况。在我与公司客户合作、帮助他们开展新数据项目的工作经历中(到现在已经变成了主要是讨论 ML 和深度学习),我问客户的第一个问题永远是:“告诉我你的数据管理流程”。如果对方不能合理地描述出这些流程,那么很显然 ML 并不合适——他们还没有做好准备。

过去的五年里,我估计有 75% 的情况下,客户对我的数据管理问题的回答是:

“ 嗯……我们有一部分数据存在一个数据库里,其他数据存在有合法权限的文件共享里。”

这不是数据管理,是数据存储。

如果你或你的公司并没有高质量、干净的数据,几乎可以断定,你并不适合机器学习(机器学习也不适合你)。搞任何数据项目,数据管理都是第一步。

如果你有搞数据管理

数据咨询师经验之谈:90% 的公司并不需要机器学习

来找我的公司机构里,有一小部分安排了合格的数据管理工作。他们理解对于好的数据、好的分析而言,质量、治理和管理有多么重要。如果你的公司也是如此——恭喜你,在这方面你已经超过了绝大部分竞争对手。

但我要给你泼点冷水。仅仅因为有干净、高质量的数据,不意味你应该/需要搞机器学习。当然你可以搞,但大多数情况下真没这个必要。

过去五年向我咨询过的所有公司里,我会说:他们原本要用机器学习解决的问题,有 90% 最后只用了普通回归方式就完美解决。每当我推荐用简单的回归,来解决客户眼中的“复杂、高深”问题(雷锋网住:他们下定决心要研发多重 ML、DL 模型来对付),人们总是相当惊讶。我也总是不得不向他们解释,他们可以走机器学习的路线,而且那样做或许也有价值。但能搞清楚基础建模、回归能为你做什么,ML/DL 是否在一些领域比基础回归函数更好,难道不是一件好事吗?

你说:我铁了心要搞机器学习

我还能说啥?那就大胆去做!没什么能阻挡你一直跋涉到 ML 和 DL 的深水区。毕竟机器学习有它的用处和舞台。只是记住:在充分了解你的数据,搞明白“经典”方法能为你要解决的难题做到哪一步之前,不要一股脑儿得栽进机器学习。





本文作者:三川
本文转自雷锋网禁止二次转载, 原文链接
相关实践学习
MySQL基础-学生管理系统数据库设计
本场景介绍如何使用DMS工具连接RDS,并使用DMS图形化工具创建数据库表。
目录
相关文章
|
15天前
|
机器学习/深度学习 人工智能 自然语言处理
模型训练数据-MinerU一款Pdf转Markdown软件
MinerU是由上海人工智能实验室OpenDataLab团队开发的开源智能数据提取工具,专长于复杂PDF文档的高效解析与提取。它能够将含有图片、公式、表格等多模态内容的PDF文档转化为Markdown格式,同时支持从网页和电子书中提取内容,显著提升了AI语料准备的效率。MinerU具备高精度的PDF模型解析工具链,能自动识别乱码,保留文档结构,并将公式转换为LaTeX格式,广泛适用于学术、财务、法律等领域。
96 4
|
1月前
|
机器学习/深度学习 数据采集 数据处理
谷歌提出视觉记忆方法,让大模型训练数据更灵活
谷歌研究人员提出了一种名为“视觉记忆”的方法,结合了深度神经网络的表示能力和数据库的灵活性。该方法将图像分类任务分为图像相似性和搜索两部分,支持灵活添加和删除数据、可解释的决策机制以及大规模数据处理能力。实验结果显示,该方法在多个数据集上取得了优异的性能,如在ImageNet上实现88.5%的top-1准确率。尽管有依赖预训练模型等限制,但视觉记忆为深度学习提供了新的思路。
33 2
|
2月前
|
机器学习/深度学习 存储 人工智能
揭秘机器学习背后的神秘力量:如何高效收集数据,让AI更懂你?
【10月更文挑战第12天】在数据驱动的时代,机器学习广泛应用,从智能推荐到自动驾驶。本文以电商平台个性化推荐系统为例,探讨数据收集方法,包括明确数据需求、选择数据来源、编写代码自动化收集、数据清洗与预处理及特征工程,最终完成数据的训练集和测试集划分,为模型训练奠定基础。
71 3
|
2月前
|
机器学习/深度学习 算法 Python
“探秘机器学习的幕后英雄:梯度下降——如何在数据的海洋中寻找那枚失落的钥匙?”
【10月更文挑战第11天】梯度下降是机器学习和深度学习中的核心优化算法,用于最小化损失函数,找到最优参数。通过计算损失函数的梯度,算法沿着负梯度方向更新参数,逐步逼近最小值。常见的变种包括批量梯度下降、随机梯度下降和小批量梯度下降,各有优缺点。示例代码展示了如何用Python和NumPy实现简单的线性回归模型训练。掌握梯度下降有助于深入理解模型优化机制。
37 2
|
3月前
|
机器学习/深度学习 数据采集 监控
探索机器学习:从数据到决策
【9月更文挑战第18天】在这篇文章中,我们将一起踏上一段激动人心的旅程,穿越机器学习的世界。我们将探讨如何通过收集和处理数据,利用算法的力量来预测未来的趋势,并做出更加明智的决策。无论你是初学者还是有经验的开发者,这篇文章都将为你提供新的视角和思考方式。
|
2月前
|
机器学习/深度学习 算法 数据处理
EM算法对人脸数据降维(机器学习作业06)
本文介绍了使用EM算法对人脸数据进行降维的机器学习作业。首先通过加载ORL人脸数据库,然后分别应用SVD_PCA、MLE_PCA及EM_PCA三种方法实现数据降维,并输出降维后的数据形状。此作业展示了不同PCA变种在人脸数据处理中的应用效果。
39 0
|
3月前
|
机器学习/深度学习 数据采集 算法
利用未标记数据的半监督学习在模型训练中的效果评估
本文将介绍三种适用于不同类型数据和任务的半监督学习方法。我们还将在一个实际数据集上评估这些方法的性能,并与仅使用标记数据的基准进行比较。
297 8
|
2月前
|
机器学习/深度学习 算法 数据建模
【机器学习】类别不平衡数据的处理
【机器学习】类别不平衡数据的处理
|
4月前
|
缓存 开发者 测试技术
跨平台应用开发必备秘籍:运用 Uno Platform 打造高性能与优雅设计兼备的多平台应用,全面解析从代码共享到最佳实践的每一个细节
【8月更文挑战第31天】Uno Platform 是一种强大的工具,允许开发者使用 C# 和 XAML 构建跨平台应用。本文探讨了 Uno Platform 中实现跨平台应用的最佳实践,包括代码共享、平台特定功能、性能优化及测试等方面。通过共享代码、采用 MVVM 模式、使用条件编译指令以及优化性能,开发者可以高效构建高质量应用。Uno Platform 支持多种测试方法,确保应用在各平台上的稳定性和可靠性。这使得 Uno Platform 成为个人项目和企业应用的理想选择。
79 0
|
4月前
|
机器学习/深度学习 缓存 TensorFlow
TensorFlow 数据管道优化超重要!掌握这些关键技巧,大幅提升模型训练效率!
【8月更文挑战第31天】在机器学习领域,高效的数据处理对构建优秀模型至关重要。TensorFlow作为深度学习框架,其数据管道优化能显著提升模型训练效率。数据管道如同模型生命线,负责将原始数据转化为可理解形式。低效的数据管道会限制模型性能,即便模型架构先进。优化方法包括:合理利用数据加载与预处理功能,使用`tf.data.Dataset` API并行读取文件;使用`tf.image`进行图像数据增强;缓存数据避免重复读取,使用`cache`和`prefetch`方法提高效率。通过这些方法,可以大幅提升数据管道效率,加快模型训练速度。
56 0