AI产品开发指南:5大核心环节搞定机器学习工作流

简介:
本文来自AI新媒体量子位(QbitAI)

6d6e39fba24b4cae8868b104d83c8911dabc509b

Python写得像英语一样6,神经网络、决策树烂熟于心,但如果不能动手将这些算法部署到实际系统中,这一切还有什么意义?

于是,国外的问答网站Quora上就有了这个问题:

怎样开发出一个AI系统或者产品?

量子位觉得,有一个来自Sean McClure的回答很不错。Sean是美国一家医疗公司的数据科学家,他从机器学习工作流的五个核心环节讲起,系统地回答了这个问题。

以下内容译自他的回答。

要构建一个AI系统或产品,你要处理好5个核心环节,我们通常称之为“机器学习工作流”。这些步骤分别是:

1. 数据收集与分析

2. 数据准备

3. 模型构建

4. 模型验证与测试

5. 模型部署

这是一个反复迭代的过程,每次循环都能改进我们构建的模型。

ed81d15deae8933a8b7ab24830a55e2d6fc7f1a9

你要创造的是一个产品,所以,应该把这些步骤视为一个将原始数据转换成预测输出的数据工作流。

0cda78bd5baa91d61d7b759af6da4e7a7288dd95

构建一个有用的产品,就意味着你不仅要写代码做出工作流的各个部分,还需要定义整个问题,并将专业知识融入到这个机器学习工作流的每个步骤中。

也就是说,在产品开发中,上述每个步骤不仅要符合产品设计的关注点,还要符合符合我们在开发中通常要关注的统计数据和最佳范例。

通过与用户的有效对话,你可以实现这一目标。举个例子:

用户:我需要知道,在工作场所发生事故的主要原因有哪些。
工程师:为什么?
用户:因为影响赚钱啊,我们到现在也没能解决。
工程师:为什么不看一下所有的安全报告,然后算一下总和呢?
用户:因为实际上,我们有成千上万的报告,都是手动输入的,描述一样的事,用什么词的都有。我不能指望相关员工把所有报告通读一遍,来搞清楚到底是怎么回事,更不用说找到主要原因,或者预测何时何地会再发生这种事故了。
工程师:如果你能总结出主要事故,甚至发现可能的原因或是预测出危险位置,你会用这种新能力来干什么?
用户:我们里可以集中财力做专项训练,也可以将为高危情况设置提醒。

在上面对话中,我们工程师想要的就是最后一句,也就是用户想用这个产品来干什么。

当然,如果你只是想快速做个小产品,可能并不需要真的找个“用户”进行对话,上网查资料,并了解到更多在特定领域中的普遍挑战就可以了。关键是,当你深入理解问题和用户行为时,你就能确定这个产品需要支持哪些交互。

你可以试着先做个原型,里面包含前端和数据工作流。要做前端,你得会JavaScript,如果没有JavaScript,那机器学习就像是一个带刺的玫瑰,只能看,不能摸,很不实用。

你可以花几个小时,学学前端,然后自己用HTML+CSS+JavaScript凑合写个网站,也可以用一个你已经熟练掌握的编程框架,做一个可以和用户交互的应用。

为什么从前端开始呢?我希望你能这么做,因为这样能迫使你在你一步一步地完成数据工作流的过程中,牢记用户的需求。

接下来就要用到Python了,我们看看具体怎么做:

1. 数据收集与分析

在获得正确的数据后,生成一些图表,能启发我们该在下一步中如何准备数据。

可以查找一些与你当前所遇到问题相关的公开数据集。没找到相关的也很正常,这时你就需要改变方法,换个角度去思考你的问题。这样做,通常能找到比你原始计划更合适的方法。
精选公开数据集:https://github.com/caesar0301/awesome-public-datasets

分析你的数据,提前回答一些策略性的问题。以下是一些常用方法:

  • 检查异常值;
  • 寻找数值关系和点相关性;
  • 评估缺失值的数量。

2. 数据准备

如果原始数据存在干扰,不能用来训练学习算法。这时,你就需要进行数据清理和数据准备,常用方法包括:

  • 合并表格;
  • 提取新特征;
  • 处理上步中确定的缺失值和异常值等;
  • 清洁数据,并根据情况进行标准化。

3. 模型构建

这是最快完成的一部分,你可以多尝试一些算法,谁也不知道哪个算法的效果最好。

大多数机器学习模型只需要几行代码就能实现。你可以:

  • 根据当前的数据特性来选择一系列算法;
  • 尝试不同超参数的效果或是运行自动参数调优。

4. 模型验证与测试

这包括两部分。

  • 首先,你显然需要验证当前模型的输出是否满足实际要求。该如何验证模型取决于当前使用的机器学习方法,是有监督、无监督还是强化学习。在这个过程中,你要平衡好灵敏度和特异度,精确度和召回率,或是某种聚类有效性等指标间的关系。
  • 其次,现有的统计数据不足以验证这个模型是否满足要求,你就要去验证下用户输出,比如说用你自己做个实验,看看你作为用户里能否靠产品的输出来进行操作,会不会想进行操作?

5. 模型部署

这是让整个工作流运行起来并提供前端服务的最后一步。

在按下“运行”后,就能有新数据输入、准备、建模和验证,并重新部署到前端界面,这样子说明模型部署成功。

以上这些看上去工作量很大,但从这个流程中,你可学习到如何快速构建AI系统。

构建产品时,你要学会精益(Lean)和敏捷(Agile)。你不能只专注于提高某个环节,而忽视产品的其他方面。

你要全面思考问题,并在几天内拿出一个完整(不是最终版)的产品,这是你能把它交付给用户的可行产品。

然后,你要作为用户来检查该产品,目的是获得反馈,而不是创建一个标准的产品。你要不断地推翻它,分析其效果不好的原因。

经过多次产品尝试后,要学习管理好你的产品版本,并将你的应用程序公开到网上平台,与他人分享交流,把它们托管在便宜的共享公开服务器上就可以。如果你觉得自己的产品很有优势,可以把你的repo链接到CodeShip等此类平台上,这样就可以实现持续集成和交付。

祝玩得开心~

原文:https://www.quora.com/Recently-I-learned-python-I-find-artificial-intelligence-very-interesting-since-I-love-coding-very-much-What-do-you-suggest-I-should-do-next-to-develop-an-AI-system-Assume-I-know-basics-such-as-neural-networks-and-decision-tree/answer/Sean-McClure-3?srid=Yatm

本文作者:王小新
原文发布时间:2017-11-25 
相关文章
|
3月前
|
人工智能 自然语言处理 IDE
模型微调不再被代码难住!PAI和Qwen3-Coder加速AI开发新体验
通义千问 AI 编程大模型 Qwen3-Coder 正式开源,阿里云人工智能平台 PAI 支持云上一键部署 Qwen3-Coder 模型,并可在交互式建模环境中使用 Qwen3-Coder 模型。
689 109
|
3月前
|
人工智能 API 开发者
Dify x AiOnly平台:手把手教你调用GPT-5从零构建AI工作流!
本文介绍如何通过Dify与AiOnly平台,快速构建基于GPT-5等顶尖大模型的AI应用。涵盖环境部署、模型接入、工作流编排及实战案例,助力开发者低门槛打造专属聊天机器人,轻松实现AI应用落地。(238字)
|
4月前
|
人工智能 分布式计算 DataWorks
大数据AI产品月刊-2025年7月
大数据& AI 产品技术月刊【2025年7月】,涵盖7月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
2月前
|
人工智能 监控 数据可视化
别再手动处理琐事了!用Coze搭建AI工作流,我每天白赚2小时
曾几何时,我每天被重复工作消耗数小时:整理数据、回邮件、同步进度……时间碎片化,创意反被搁置。直到遇见字节跳动开源的低代码AI平台Coze,一切改变。通过可视化拖拽,我将邮件处理、日报生成、会议纪要等任务自动化,日均节省2小时。无需编程,连接AI模型即可构建智能工作流。现在,我能专注核心创造,提升决策质量,实现工作生活平衡。Coze让我“白赚”时间,也重拾职业掌控感。
|
2月前
|
人工智能 JSON 安全
Claude Code插件系统:重塑AI辅助编程的工作流
Anthropic为Claude Code推出插件系统与市场,支持斜杠命令、子代理、MCP服务器等功能模块,实现工作流自动化与团队协作标准化。开发者可封装常用工具或知识为插件,一键共享复用,构建个性化AI编程环境,推动AI助手从工具迈向生态化平台。
378 1
|
2月前
|
Web App开发 人工智能 自然语言处理
利用Playwright MCP与LLM构建复杂的工作流与AI智能体
本文介绍如何通过Playwright MCP与大语言模型(LLM)结合,构建智能AI代理与自动化工作流。Playwright MCP基于Model Context Protocol,打通LLM与浏览器自动化的能力,实现自然语言驱动的网页操作。涵盖环境配置、核心组件、智能任务规划、自适应执行及电商采集、自动化测试等实战应用,助力高效构建鲁棒性强、可扩展的AI自动化系统。
|
3月前
|
存储 人工智能 监控
如何用RAG增强的动态能力与大模型结合打造企业AI产品?
客户的问题往往涉及最新的政策变化、复杂的业务规则,数据量越来越多,而大模型对这些私有知识和上下文信息的理解总是差强人意。
110 2
|
3月前
|
人工智能 编解码 数据可视化
AI创作更自由: 魔搭FLowBench云端工作流上线AIGC专区!支持QwenImageEdit免费出图!
很高兴向大家宣布,ModelScope AIGC 专区的工作流功能正式上线!
680 22

热门文章

最新文章