1工业企业大数据平台构建的一些思路和方法-阿里云开发者社区

开发者社区> 灵珠> 正文

1工业企业大数据平台构建的一些思路和方法

简介: 大数据平台统一管理、集中存储大数据资源,满足高并发,海量数据对高性能计算能力和大容量存储能力的需求,提供数据采集,数据计算,数据存储,数据分析,数据可视化等大量开放能力,确保各系统之间数据的互联互通和共享,为数据的全链条透明化、运营决策的高度智能化提供依据,尽早建立大数据平台具有重要意义。
+关注继续查看

数据平台的概述
大数据平台统一管理、集中存储大数据资源,满足高并发,海量数据对高性能计算能力和大容量存储能力的需求,提供数据采集,数据计算,数据存储,数据分析,数据可视化等大量开放能力,确保各系统之间数据的互联互通和共享,为数据的全链条透明化、运营决策的高度智能化提供依据,尽早建立大数据平台具有重要意义。

构建大数据平台的必要性

大数据平台承载所有数据的管理,为上层应用提供数据支撑。传统的开发模式中,各个应用开发独立进行,各自沉淀自己的数据。各个应
用的数据缺乏整合,形成数据孤岛,后续无法沉淀数据资产。同时,因为没有一个统一的大数据平台,各个应用都会有自己的数据存储和计算体系,存在大量的重复建设。
以数据中台为核心的上层智能应用的开发,离不开大数据平台的支持。大数据平台提供统一的数据数据存储,计算能力。上层应用不需要再重复开发,只需要使用数据中台提供的能力。同时,多个上层应用的数据也集中沉淀到一起,形成有效的数据资产。

大数据平台建设

一般来说大数据主要具有以下特征

  • 数据海量性
  • 数据稀疏性
  • 数据复杂性
  • 数据丰富性

大数据平台架构一般包含以下组件

  • 数据采集
  • 数据存储
  • 数据计算
  • 数据管理
  • 数据服务

大数据集成子系统

大数据平台需要提供数据采集能力,完成从传统数据库到大数据平台的数据采集,包含批量采集和基于流处理的实时采集,平台提供如下能力:

  • 批量数据采集:大数据平台支持数据批量采集,对于大量、实时性要求不高的数据适宜采用定时执行批量采集。
  • 实时数据采集:对于实时性要求较高的数据,支持实时数据采集的方式,保障平台数据及时性。
  • 互联网数据采集:互联网的数据采集方式主要以页面文本或文档形式的数据为主,为了兼容不同类型的互联网输入方式,一般先将数据进行流式数据清洗后,再送到搜索引擎或者其他数据库中。

大数据开发子系统

大数据平台需要提供对海量数据汇总后的多种数据并行处理,包括离线的批处理、SQL 处理、以及近实时的内存处理等,大数据平台提供如下数据开发功能,帮助实现数据治理,数据聚合和数据转换,平台提供如下能力:

  • 数据查询:数据开发支持各种常用数据库的SQL语句,例如Oracle、MySql、SQLite、PostgreSQL、Hive等等。
  • 数据开发编辑器:数据开发编辑器支持常见语言及脚本编辑模式,可以结合实际情况,自由选择开发形式,轻松实现数据治理任务开发的模块化、组件化。
  • 数据处理工作流配置:在数据开发编辑器中,写好数据处理的任务后,可以将这些任务添加到数据处理工作流中,让这些处理任务按顺序逐个执行,实现数据处理工作流程的自动化。如下图所示,拖动任务类型图标至工作流中即可,所有任务将按照箭头顺序从上到下执行。
  • 数据工作流定时执行设置:新增定时任务,选择需要定时执行的工作流,配置工作流运行周期、时区和运行时间区间,即可实现数据处理任务的自动定时执行。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
从0到1,云服务助力全民直播快速构建大数据平台
随着业务的快速发展,全民直播如何应对来自技术与运营方面的挑战?6月7日,在上海世博中心,2018云栖大会·上海峰会阿里云支持与服务专场上,全民直播大数据架构师朱益发表主题演讲,详细介绍了从0到1,云服务助力全民直播快速构建大数据平台的过程。
1849 0
阿里大数据产品Dataphin上线公共云,将助力更多企业构建数据中台
日前,由阿里数据打造的智能数据构建与管理Dataphin,重磅上线阿里云-公共云,开启智能研发版本的公共云公测!在此之前,Dataphin以独立部署方式输出并服务线下客户,已助力多家大型客户高效自动化构建企业数据中台,不仅大幅度提升大数据研发效率,实现数据资产的标准化管理,更通过数据服务体系让数据智能驱动业务。
2452 0
+关注
15
文章
1
问答
来源圈子
更多
阿里云最有价值专家,简称 MVP(Most Valuable Professional),是专注于帮助他人充分了解和使用阿里云技术的意见领袖阿里云 MVP 奖项为我们提供了这样一个机会,向杰出的意见领袖表示感谢,更希望通过 MVP 将开发者的声音反映到我们的技术路线图上。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载