工业大数据的3大来源、3大关键问题、2个实施案例

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

2011年麦肯锡全球研究院大数据报告表明,2009年美国以装备制造为代表的离散工业领域拥有的数据规模为各领域之首,比美国政府拥有的数据还要多。近年来,随着德国工业4.0和美国工业互联网为代表的新工业革命深入发展,以及“中国制造2025”、“互联网+”行动计划与“促进大数据发展行动纲要”的颁布实施,工业大数据得到了越来越多的关注。这里分享一下我们的思考与实践。

1、工业大数据三大来源

企业信息系统、装备物联网和企业外部互联网是工业大数据的三大来源:

企业信息系统存储了高价值密度的核心业务数据。上世纪60年代以来信息技术加速应用于工业领域,形成了产品生命周期管理(PLM)、企业资源规划(ERP)、供应链管理(SCM)和客户关系管理(CRM)等企业信息系统。这些系统中积累的产品研发数据、生产制造数据、物流供应数据以及客户服务数据,存在于企业或产业链内部,是工业领域传统数据资产。

近年来物联网技术快速发展,装备物联网成为工业大数据新的、增长最快的来源,它实时自动采集了生产设备和交付产品的状态与工况数据。一方面,机床等生产设备物联网数据为智能工厂生产调度、质量控制和绩效管理提供了实时数据基础;另一方面,2012年美国通用电气公司提出的工业大数据(狭义的),专指装备使用过程中由传感器采集的大规模时间序列数据,包括装备状态参数、工况负载和作业环境等信息,可以帮助用户提高装备运行效率,拓展制造服务。

当前互联网与工业深度融合,企业外部互联网已成为工业大数据不可忽视的来源。本世纪初,日本企业就开始利用互联网数据分析获取用户的产品评价,时至今日,小米手机利用社交媒体数据成功实现产品创新研发。此外,外部互联网还存在着海量的“跨界”数据,比如影响装备作业的气象数据、影响产品市场预测的宏观经济数据、影响企业生产成本的环境法规数据……

2、工业大数据实施的关键问题

数据质量、多源关联和系统集成是工业大数据实施的关键问题:

拥有大数据不是目的,发掘其价值才是关键。由企业信息化数据、装备物联网数据和外部互联网数据汇聚而成的工业大数据,蕴藏着巨大价值。例如,通过分析用户使用数据改进产品,通过分析现场测量数据提高工件加工水平,通过工况数据进行产品健康管理等。

笔者认为实施工业大数据项目需要关注以下3个关键问题:

(1)数据质量控制问题

原始数据(生数据)质量决定分析结果的质量。企业信息系统数据质量仍然存在问题,例如2014年某大型机车企业ERP系统中近20%物料存在“一物多码”问题。装备物联网数据质量堪忧,某大型制造企业1个月的状态工况数据中,无效工况(如盾构机传回了工程车工况)、重名工况(同一状态工况使用不同名字)、时标混乱(当前时间错误或时标对不齐)等数据质量问题约30%。

(2)多源数据关联问题

层次化的物料表(Bill Of Material, BOM)定义了企业信息系统数据的核心语义结构。针对跨生命周期的研制BOM和实例BOM间结构失配问题,我们提出了中性BOM模型,并以此为核心,向前关联设计制造BOM,向后关联服务保障BOM,形成星型结构,极大地降低了数据关联的复杂度。同时,针对装备物联网数据和外部互联网数据,可以根据其绑定的物理对象(零部件或产品)与相应的BOM节点相关联。从而以BOM为桥梁,关联3个不同来源的工业大数据。

(3)大数据系统集成问题

工业大数据其来源更加广泛,并且装备物联网数据(半结构化数据)和外部互联网数据(非结构化数据)都要与企业信息系统(结构化数据)进行集成,因此要重构数据支撑平台,甚至替换“旧”系统。

3、工业大数据实施工程案例

工业大数据分析提升工程装备服务保障水平,这里分享两个工程案例:

案例1、工业大数据提供故障分析新手段

液压系统是工程机械的关键部件。2013年我们发现液压系统的油缸密封套腐蚀故障数量异常。于是依据企业信息系统记录的液压系统维修历史数据,通过比对相关状态工况数据(装备物联网数据),搜索推荐与故障车辆关系密切的工况,发现车辆油缸换向频率的波动幅度与这些故障高度相关。

进一步,引入互联网上的行政区划数据和历年工程建设数据(外部互联网数据)后,发现2012~2013年期间这些典型故障均发生在沿海省份,从而推断出盐雾环境是导致密封套腐蚀故障的主要诱因。

案例2、工业大数据提升备件需求预测精度

随着工程装备增量市场增长乏力,以维修保障为主的存量市场成为企业盈利新的增长点。我们利用了企业信息系统中的备件销售订单、采购订单和备件库存状态数据,以及工程物联网采集到的工况数据和外部互联网数据(如每个省的GDP,建筑、交通等规划数据)。

针对30个省市区进行了备件需要预测,平均预测精度为82%,每旬备件需求预测误差在5件或真实值的20%以内。库存水平控制在一个较低的稳定水平,仅为原来库存水平的48%。同时,因为考虑到了20天的配货周期,基于预测的补货策略可以保证现货满足率,消除紧急临时订单。如果按备件库存占有资金1亿元计算,可节约库存资金占用5000万元。

工业大数据是实现智能制造的基础原料,是提升工业生产力、竞争力、创新力的关键要素。然而必须看到,工业大数据是一个正在发展的学科领域,其内涵外延、模型理论、技术方法及其实施策略等还有待发展与创新。唯有结合中国国情认真实践,才能走出中国工业大数据自主之路,实现制造强国的战略目标。


本文作者:王建民

来源:51CTO

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
分布式计算 关系型数据库 MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
56 3
|
2月前
|
分布式计算 监控 大数据
大数据-131 - Flink CEP 案例:检测交易活跃用户、超时未交付
大数据-131 - Flink CEP 案例:检测交易活跃用户、超时未交付
86 0
|
2月前
|
消息中间件 关系型数据库 MySQL
大数据-117 - Flink DataStream Sink 案例:写出到MySQL、写出到Kafka
大数据-117 - Flink DataStream Sink 案例:写出到MySQL、写出到Kafka
200 0
|
2月前
|
存储 分布式计算 算法
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
72 0
|
2月前
|
SQL 分布式计算 NoSQL
大数据-164 Apache Kylin Cube优化 案例1 定义衍生维度与对比 超详细
大数据-164 Apache Kylin Cube优化 案例1 定义衍生维度与对比 超详细
37 1
大数据-164 Apache Kylin Cube优化 案例1 定义衍生维度与对比 超详细
|
2月前
|
分布式计算 大数据 Linux
大数据体系知识学习(二):WordCount案例实现及错误总结
这篇文章介绍了如何使用PySpark进行WordCount操作,包括环境配置、代码实现、运行结果和遇到的错误。作者在运行过程中遇到了Py4JJavaError和JAVA_HOME未设置的问题,并通过导入findspark初始化和设置环境变量解决了这些问题。文章还讨论了groupByKey和reduceByKey的区别。
42 1
|
2月前
|
消息中间件 存储 druid
大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计
大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计
51 3
|
2月前
|
存储 大数据 分布式数据库
大数据-165 Apache Kylin Cube优化 案例 2 定义衍生维度及对比 & 聚合组 & RowKeys
大数据-165 Apache Kylin Cube优化 案例 2 定义衍生维度及对比 & 聚合组 & RowKeys
48 1
|
2月前
|
消息中间件 druid 大数据
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析(二)
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析(二)
42 2
|
2月前
|
消息中间件 分布式计算 druid
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析(一)
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析(一)
62 1