《构建实时机器学习系统》一1.4 实时是个“万灵丹”

简介: 本节书摘来自华章出版社《构建实时机器学习系统》一 书中的第1章,第1.4节,作者:彭河森 汪涵,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.4 实时是个“万灵丹”

成长会解决一切问题。如果一个企业正在飞速成长,大家步调一致、同心齐力,那么内斗或管理混乱等问题将是难以出现的。而当企业的成长受到了制约,停滞不前的时候,往往就会出现众多非技术性原因造成的悲剧。
我们强调机器学习的实时性,就是为了保证应用机器学习的企业能够利用机器学习的资源大踏步向前,而不会被早早地制约,徘徊不前。机器学习就已经够有挑战性的了,为什么还要采用实时机器学习?根据我们的经验,实时机器学习上马应该越早越好,原因具体有以下三点。
1.实时架构稳定性可以得到保证
Fail fast(快速失败)强调如果有问题,那么应让问题尽早出现,使得问题可以得到尽早修复,这是软件工程里面一个重要的思想。如果系统有问题,就应该让问题尽早暴露,而不是往后拖。实时机器学习架构强调连续运行,设计、实施中的任何问题一般都可以在部署上线后的几个小时内暴露出来,以及时得到更正。
非实时架构往往会在每天的某一个固定时刻进行数据处理、建模等工作。如果前一天开发人员部署了问题程序,到了第二天运行的时候才发现,打好补丁就到了第三天,然后验证补丁是否正确又到了第四天……在流程的反复中,宝贵的时间就这样浪费下去了。

  1. 代码、架构质量可以得到保证
    与非实时架构不同,实时架构设计假设数据是无限量连续到来的。这时候系统的设计和开发必须从一开始就设计好全局步骤,而不是走一步算一步,由此可以大大提高架构设计的质量。与此同时,连续交付的要求需要代码能够事先考虑到所有边际情况,这样我们所得到的代码质量也会更高。

3.数据驱动的组织文化可以得到加强
由于机器学习具有实时性,因此所有有关业务效果的讨论都可以基于实时数据,而不是凭空根据大佬的主观臆断。与此相对的,没有采用实时机器学习的组织往往只会定期手动进行数据分析,得到真相的速度大大减慢,不利于商业决策的正确执行。另外,非实时架构企业的数据处理往往会经过相关人员之手,数据的原始性和真实性很难得到保证,最终用户拿到数据的时候,数据可能已经失去了使用的价值。

相关文章
|
3月前
|
机器学习/深度学习 数据采集 数据可视化
基于爬虫和机器学习的招聘数据分析与可视化系统,python django框架,前端bootstrap,机器学习有八种带有可视化大屏和后台
本文介绍了一个基于Python Django框架和Bootstrap前端技术,集成了机器学习算法和数据可视化的招聘数据分析与可视化系统,该系统通过爬虫技术获取职位信息,并使用多种机器学习模型进行薪资预测、职位匹配和趋势分析,提供了一个直观的可视化大屏和后台管理系统,以优化招聘策略并提升决策质量。
188 4
|
4天前
|
机器学习/深度学习 数据采集
机器学习入门——使用Scikit-Learn构建分类器
机器学习入门——使用Scikit-Learn构建分类器
|
15天前
|
机器学习/深度学习 自然语言处理 Linux
Linux 中的机器学习:Whisper——自动语音识别系统
本文介绍了先进的自动语音识别系统 Whisper 在 Linux 环境中的应用。Whisper 基于深度学习和神经网络技术,支持多语言识别,具有高准确性和实时处理能力。文章详细讲解了在 Linux 中安装、配置和使用 Whisper 的步骤,以及其在语音助手、语音识别软件等领域的应用场景。
47 5
|
16天前
|
机器学习/深度学习 数据采集 搜索推荐
利用Python和机器学习构建电影推荐系统
利用Python和机器学习构建电影推荐系统
32 1
|
1月前
|
机器学习/深度学习 API 计算机视觉
基于Python_opencv人脸录入、识别系统(应用dlib机器学习库)(下)
基于Python_opencv人脸录入、识别系统(应用dlib机器学习库)(下)
27 2
|
1月前
|
机器学习/深度学习 存储 算法
基于Python_opencv人脸录入、识别系统(应用dlib机器学习库)(上)
基于Python_opencv人脸录入、识别系统(应用dlib机器学习库)(上)
32 1
|
1月前
|
机器学习/深度学习 算法 数据挖掘
机器学习入门(二):如何构建机器学习模型,机器学习的三要素,欠拟合,过拟合
机器学习入门(二):如何构建机器学习模型,机器学习的三要素,欠拟合,过拟合
|
2月前
|
机器学习/深度学习 存储 人工智能
文本情感识别分析系统Python+SVM分类算法+机器学习人工智能+计算机毕业设计
使用Python作为开发语言,基于文本数据集(一个积极的xls文本格式和一个消极的xls文本格式文件),使用Word2vec对文本进行处理。通过支持向量机SVM算法训练情绪分类模型。实现对文本消极情感和文本积极情感的识别。并基于Django框架开发网页平台实现对用户的可视化操作和数据存储。
50 0
文本情感识别分析系统Python+SVM分类算法+机器学习人工智能+计算机毕业设计
|
1月前
|
机器学习/深度学习 算法 数据可视化
【机器学习】决策树------迅速了解其基本思想,Sklearn的决策树API及构建决策树的步骤!!!
【机器学习】决策树------迅速了解其基本思想,Sklearn的决策树API及构建决策树的步骤!!!
|
3月前
|
机器学习/深度学习 PHP 开发者
探索PHP中的面向对象编程构建你的首个机器学习模型:以Python和scikit-learn为例
【8月更文挑战第30天】在PHP的世界中,面向对象编程(OOP)是一块基石,它让代码更加模块化、易于管理和维护。本文将深入探讨PHP中面向对象的魔法,从类和对象的定义开始,到继承、多态性、封装等核心概念,再到实战中如何应用这些理念来构建更健壮的应用。我们将通过示例代码,一起见证PHP中OOP的魔力,并理解其背后的设计哲学。
下一篇
无影云桌面