数据信息驱动工业革命 提高数据清洗效率成为核心之重

简介:

在当今竞争激烈的商业环境中,企业正面临着前所未有的挑战,即如何利用大数据,快速而精确地决策以提高生产力。追溯过去,整个制造业看的是生产力需求。今天我们的需求发生了变化。

如何理解工业4.0的核心驱动

工业发展的早期为支持生产流程而采用简单的机械系统,这是制造端的生产力需求。而随着工业4.0的出现、互联网等科技新生态的飞速全面化,消费者对产品创新、质量、品种以及交付速度的看法发生了质的变化,这就是我们今天看到的市场个性化需求的根本原因之一。到目前为止,为适应动态变化的市场需求而采用高度自动化的流水线等新科技,其核心驱动来自消费端。因此,现代制造设备必须具备自我意识、自我预测、自适应对比、自主重配置以及自主维修等工业智能的能力,才有可能实现全面个性化与创新的发展。

在工业化不同价值链的体系下,除了从生产端前移到消费端外,也同时从上游往下游突破。从用户的最终价值出发,要实现工业产品的服务与个性化,实现产业链各个环节的融合与协同优化是必然之路。

美国人之所以认为未来智能工业的发展从生产制造端到消费端的转变是必然,并且提出工业互联网的理念,是因为美国强调的是互联网与商业模式创新力。美国的工业互联网关注的方向是充分利用其信息技术的巨大优势,实现以消费者为核心的智能服务。

德国在制造业的核心优势是装备制造业以及生产线自动化,所以德国的工业4.0实践关注销售、服务能力的提升。因而德国提出的是信息物理产品系统加物联网IOT为中心的管理革命战略。

如何理解工业大数据

大数据的理念已经广为大众所接受,其核心都强调价值。目前,除了大数据的基础建设之外,从数据到信息的工作,更多的是停留在社交或商业数据挖掘上。例如,销售预测、用户关系挖掘与聚类、推荐系统、观点挖掘等。这些研究都非常重要,也极具创新意义,特别是对拉动消费很有帮助。但是,这些实践都只关注了“人为数据或与人相关的数据”,而忽略了“机器数据或工业数据”,如设备控制器、传感器、制造系统等。

产品做出来之后,到底如何使用它?以前关心的是如何生产最好的产品,现在关心的是产品怎么去用,消费体验在哪里?第一,我们现在对工业价值的认知必须从后往前移,从消费端走到生产价值链前端。第二,从关注机器与机器的数据或工业环境数据,到全面协同优化,关注这个价值体系,实现我们对工业4.0的完整理解。

工业大数据的核心支撑力

在工业大数据的实践中,宏观与微观、规模与定制、个性与共性必然成为主要的几个矛盾。在这三大矛盾的背后,我们要通过工业大数据看到我们以前看不到的因素,处理好这些数据,就像Jay Lee教授讲的,让数据成为有价值的信息。工业4.0的五个支撑力值得我们关注。一是降低生产过程中的浪费。生产过程中的消耗来源于组织与组织之间、人与人之间、材料与工艺之间、流程之间,所以我们首先要考虑的问题是,如何降低消耗、浪费。二是制造工业环保与安全。没有碳排放是不现实的,但排放怎么转移,怎么去消费它是问题。三是根据生产状况,实现系统自我调整。在工业大数据里,我们称之为自适应。整个工业4.0讲的就是自适应、自感应、自调理。大数据分析到最后有很大程度取决于人工智能,指的是自适应能力的强弱,机器自我学习能力的强弱。四是实现制造业的价值化。五是实现用户需求、产品设计、制造和营销的配合。

这五大支柱的焦点就是显性因素和非显性因素。我们曾经关心的是产品的制造、产品的制造工艺、产品本身的质量等显性因素。考虑的点都是可触摸的或可量化的。在工业大数据里,想要解决的问题就是那些非显性因素。

设备处于亚健康状态,我们看不到。对于未来的智能工业来说,想要达到零宕机、零排放、零维修等目的,必须突破的一个关键点就是关注相关的隐形因素,做好量化与数据交叉关联分析。

工业4.0到底会带来什么

智能分析和网络物理系统的出现,为我们实现生产管理和工厂转型提供了新的思路。我们今天卖的已经不再是一个产品,卖的是为客户创造价值的能力。这里包含三方面:

管理优化的综合价值链:管理是一门艺术,一定是融合的产物。综合价值链体现于信息自动性和主动性到一定的量化后,帮助管理者自动形成生产系统的决策,需要大量的数据交叉模型分析,同时需要全方位地对设备进行综合管理。

数字化:数字化是全产业链各个环节相互合作的一种新纬度,这是信息物理系统框架的信息虚拟空间的体现。粗放式制造管理的主要表现是订单式的管理。订单多了,我就生产;订单没有,就假设下个季度它会继续有,继续生产。结果发现产品更新换代了,市场已经对所生产的产品不感兴趣了,企业倒闭的风险就骤然升高。所以工业大数据对工业链的管理能为企业带来价值。数字化就是如何把物理空间全面对应到数字虚拟空间,把整个产业链目前的状态通过数字描述出来,知道消费者在干什么,厂商在干什么,客户心态又是什么样子,甚至可能早于供应商、原厂商掌握这些数字,从而改变产品的设计。

颠覆性商业模式:应该关注商业模式,尤其是商业模式引导下的服务价值体系创新。德国的战略就是要改变只卖一次设备、挣到一笔钱的现状。通过产品的服务,可以一直跟随着消费者。在全产业环节中,做好做强产品的服务升级换代,能享受更多的服务利润。

今天工业数据并没有给企业带来竞争力,因为数据本身没有竞争力。 要实现数据竞争力,系统自我学习能力很重要,数学模型就是不断自我学习和发展的产物。大数据给数据打上标签就是一个行业模式的数字化体现,标签是跟着管理思路走而不是数据。如何形成全信息空间与物理空间的映射,然后做分析才是我们面临的挑战。

数据信息驱动工业革命

首先,今天面临的第一个挑战是怎么让用户有更好的消费体验。其次,企业各部门的竖井没有打通,缺乏环境数据,包括类似地理位置信息、设备的生命状态等。产品的设定和生产要素,跟流程、工艺都有千丝万缕的关系,数字化能够帮我们把这个轮廓勾勒出来。工业数据通过哪些能力最终形成商业机会?有四个方面需要关注:

一是沟通。即设备环境信号识别。信号识别的关键点是信息收集过程中实时性还不够,信号识别的对象不够完整和全面,这是建立工业大数据能力需要考虑的第一个问题。

二是集成与融合。即大数据的数据平台。所谓融合就是说,OA、知识库、ERP、采购系统等所有可触摸和非可触摸的数据都应该串联起来。这一串联工作还有非常漫长的路要走。

三是分析与决策。我们大数据的建模能力不差,缺的是对行业理解的投入以及形成模型的能力,以及不断推倒重建和调整的持续投入。

四是创建自助服务文化。机器能够自我学习和自我调节。通过焦点转移到不可见的因素,数据给了我们发现创新的全新多视角,最终导向了革命性的商业机会。

工业数据“富有”vs.信息“贫穷”

数据本身不会为你带来价值,数据的技术也不会让你的产业更先进,数据必须转成信息后才会对产业产生价值。智能工厂通过与环境系统的无缝交互,设备能够有自我意识和自学能力,在未来可以实现更高程度的智能控制和优化控制。目前自学设备还远未达到工业实施阶段。

工业大数据给了我们一个看世界的新角度。通过360度全景的数字视角,可能给我们带来些新的优势,这就是所谓信息技术成为创新驱动核心动力的来源。

那么工业数据来源于内源数据和外源数据。企业内部在运行中,积累了大量的内源数据。互联网的今天,外源数据更多。事实上,很多企业不缺数据,主要问题是数据质量低下以及采集手段不科学。

工业数据到底在哪里?我们要什么样的数据?对于生产价值来讲,核心就是工业物联网(IOT)。从智能设备角度,普适计算有很大的空间,现代工人可以带一个普适感应器等设备来参加生产和管理。所以工业数据源是大量设备(250亿左右)之间的关联,这才是我们未来真正需要去采纳的数据。

从今天的制造业现代化转型到未来的智能工厂,我们要把管理员与操作员互动的数据、设备机群的数据、流程质量相关的数据,通过传感器与控制器网络整合。大数据和云技术是整合的核心科技。大数据环境中的数据管理与分配对实现自我意识设备和自学设备至关重要。

数据丰富,但我们的信息很贫乏。目前存在两个问题: 第一个就是数据的有效利用率很低。数据80%在过滤,80%的时间在洗数据,80%的数据是在收集又在重复被洗。由于垃圾数据过多,捕获数据的效率有时候更低。第二个就是缺乏分析能力,需要大量的好工具。

我们再看大数据2.0的概念,要做到三个“实”,那就是实时、现实和真实。我们今天的大数据工作大多还在基础建设。要真正形成工业“大数据”,我们需要一个集成平台、预测分析工具和虚拟化工具作为核心的三大构件。

决策的价值随着做出决策的时间的增加而削弱。

本文转自d1net(转载)

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
3月前
|
存储 数据采集 大数据
大数据处理与分析技术:驱动智能决策的引擎
本文介绍了大数据处理与分析技术在现代社会中的重要性和应用。从数据采集、存储、处理到分析决策,大数据技术为我们提供了深入洞察和智能决策的能力,推动着各行各业的创新和发展。
50 0
|
4月前
|
数据采集 监控 数据挖掘
如何更有价值采集电商数据,高效分析数据?
大数据,就是在一定时间范围内用常规工具软件对历史数据捕捉、处理,加以分析,进而改善决策和管理。在大数据时代,企业必须用大数据分析方法来做电商。
|
3月前
|
机器学习/深度学习 人工智能 分布式计算
跨越时代的数据力量:大规模数据处理的技术突破
在信息爆炸的时代,大规模数据处理成为了推动科技进步的重要驱动力。本文将探讨大规模数据处理所涉及的技术突破,包括分布式计算、机器学习和人工智能等,以及其在各个领域的应用,展现数据的无限潜力。
|
3月前
|
存储 机器学习/深度学习 数据采集
解析大规模数据处理:数据洪流中的智慧抉择
在信息爆炸的时代,大规模数据处理成为了科技领域的核心挑战之一。本文将深入探讨大规模数据处理的定义、挑战和应用,并强调数据洪流中智慧抉择的重要性,为读者带来新的思考。
29 1
|
3月前
|
存储 数据采集 机器学习/深度学习
数据时代的新疆域:大规模数据处理的技术启示
大规模数据处理已经成为当今数字化时代的核心竞争力。本文将探讨大规模数据处理的重要性以及相关技术的应用,展示数据时代带来的新疆域,为企业和社会创造巨大的机遇。
27 0
|
3月前
|
存储 数据采集 机器学习/深度学习
大规模数据处理:解析数据时代的技术洪流
随着数字化时代的到来,大规模数据处理成为企业取得竞争优势的重要手段。本文将深入探讨大规模数据处理的意义、挑战和解决方案,并介绍了现代技术在数据处理领域的新进展。
27 0
EMQ
|
机器学习/深度学习 人工智能 运维
激活海量数据价值,实现生产过程优化
EMQ云边协同工业互联网解决方案,将人工智能与云计算技术接入到传统的工业生产中,帮助企业实现数据流、生产流与控制流的协同,降本增效。
EMQ
153 0
激活海量数据价值,实现生产过程优化
|
人工智能 搜索推荐 物联网
谈谈数据标准化是数据有效流动的基础
技术的变革正在打破市场平衡。大数据、数据分析、人工智能(AI)和物联网(IoT)正在改变组织间联系和互动的方式。
谈谈数据标准化是数据有效流动的基础
|
监控 数据可视化 搜索推荐
对数据可视化工具应当具备的核心能力和价值的几点思考
可能大家都听说过这样一句话"字不如表、表不如图",其实背后所表达出来的意思是对于复杂难懂且体量庞大的数据而言,图表的信息量要大得多,这也是数据可视化的核心价值所在。
对数据可视化工具应当具备的核心能力和价值的几点思考
|
消息中间件 SQL 运维
如何设计实时数据平台(技术篇)
本文从技术角度入手,介绍RTDP的技术选型和相关组件,探讨适用不同应用场景的相关模式。