传统企业业务升级的一些思路和方法-阿里云开发者社区

开发者社区> 大数据> 正文

传统企业业务升级的一些思路和方法

简介: 大数据平台的概述 大数据平台统一管理、集中存储大数据资源,满足高并发,海量数据对高性能计算能力和大容量存储能力的需求,提供数据采集,数据计算,数据存储,数据分析,数据可视化等大量开放能力,确保各系统之间数据的互联互通和共享,为数据的全链条透明化、运营决策的高度智能化提供依据,尽早建立大数据平台具有重要意义。

大数据平台的概述

大数据平台统一管理、集中存储大数据资源,满足高并发,海量数据对高性能计算能力和大容量存储能力的需求,提供数据采集,数据计算,数据存储,数据分析,数据可视化等大量开放能力,确保各系统之间数据的互联互通和共享,为数据的全链条透明化、运营决策的高度智能化提供依据,尽早建立大数据平台具有重要意义。

构建大数据平台的必要性

大数据平台承载所有数据的管理,为上层应用提供数据支撑。传统的开发模式中,各个应用开发独立进行,各自沉淀自己的数据。各个应
用的数据缺乏整合,形成数据孤岛,后续无法沉淀数据资产。同时,因为没有一个统一的大数据平台,各个应用都会有自己的数据存储和计算体系,存在大量的重复建设。
以数据中台为核心的上层智能应用的开发,离不开大数据平台的支持。大数据平台提供统一的数据数据存储,计算能力。上层应用不需要再重复开发,只需要使用数据中台提供的能力。同时,多个上层应用的数据也集中沉淀到一起,形成有效的数据资产。

大数据平台建设

一般来说大数据主要具有以下特征

  • 数据海量性
  • 数据稀疏性
  • 数据复杂性
  • 数据丰富性

大数据平台架构一般包含以下组件

  • 数据采集
  • 数据存储
  • 数据计算
  • 数据管理
  • 数据服务

大数据集成子系统

大数据平台需要提供数据采集能力,完成从传统数据库到大数据平台的数据采集,包含批量采集和基于流处理的实时采集,平台提供如下能力:

  • 批量数据采集:大数据平台支持数据批量采集,对于大量、实时性要求不高的数据适宜采用定时执行批量采集。
  • 实时数据采集:对于实时性要求较高的数据,支持实时数据采集的方式,保障平台数据及时性。
  • 互联网数据采集:互联网的数据采集方式主要以页面文本或文档形式的数据为主,为了兼容不同类型的互联网输入方式,一般先将数据进行流式数据清洗后,再送到搜索引擎或者其他数据库中。

大数据开发子系统

大数据平台需要提供对海量数据汇总后的多种数据并行处理,包括离线的批处理、SQL 处理、以及近实时的内存处理等,大数据平台提供如下数据开发功能,帮助实现数据治理,数据聚合和数据转换,平台提供如下能力:

  • 数据查询:数据开发支持各种常用数据库的SQL语句,例如Oracle、MySql、SQLite、PostgreSQL、Hive等等。
  • 数据开发编辑器:数据开发编辑器支持常见语言及脚本编辑模式,可以结合实际情况,自由选择开发形式,轻松实现数据治理任务开发的模块化、组件化。
  • 数据处理工作流配置:在数据开发编辑器中,写好数据处理的任务后,可以将这些任务添加到数据处理工作流中,让这些处理任务按顺序逐个执行,实现数据处理工作流程的自动化。如下图所示,拖动任务类型图标至工作流中即可,所有任务将按照箭头顺序从上到下执行。
  • 数据工作流定时执行设置:新增定时任务,选择需要定时执行的工作流,配置工作流运行周期、时区和运行时间区间,即可实现数据处理任务的自动定时执行。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

其他文章