集团型企业大数据平台建设的演进路径

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

随着大数据等技术的成熟,信息化建设的重心将逐步从IT(信息技术)向DT(数据技术)转化,从以流程为中心向以数据中心转化,未来信息化建设的重心将是如何对组织内外部的数据进行深入、多维、实时的挖掘和分析,以满足决策层的需求,推动信息化向更高层面进化。大数据应用(BDA)是集团型企业应用的新方向,大数据应用架构也成为新一代集团型企业应用架构的核心,其一般由业务架构、数据架构和技术架构组成。

业务是大数据应用的目的。大数据目的是“针对正确的人,在正确的时间,获得正确的信息”,其本质为服务于业务的,大数据分析的目的也是为了管理提升或业务创新。通过大数据分析,要发现业务活动的规律和其中蕴含的信息价值。这种应用,带来了巨大的商业价值,其本质就是为业务需要从大数据中提取出洞察力。

数据是大数据应用的前提。数据不只是业务系统中的数据,它们可能来自互联网、移动互联网、社区网络、物联网上的各个角落,采集这些数据本身就是一件复杂的事情,更何况还要对它们进行处理和分析。积累数据成为业务分析的关键,再通过将客户细分、聚类、相关性分析、预测分析等相关的数据算法,使积累的数据产生价值。

技术是大数据应用的基础。大数据有2个特点:一是处理的数据是大体量(TB级以上)、结构类型复杂(非结构化为主)、数据变化快;二是所采用的技术是分布式技术,包括分布式文件系统、分布式计算框架、分布式存储和分布式查询分析等。数据与业务、技术的关系是,大数据处理的业务目的是发现大数据中的“信息”和“知识”,大数据对技术的要求是能够高效地处理这么复杂的数据。

随着数据量的累积和大数据处理技术的成熟,未来企业信息化建设将从关注系统实施向关注数据分析方向转化,大数据应用成为新的重心,集团型企业大数据平台建设的演进路径一般分五步。

第一咨询规划。大数据应用,从大数据咨询起步,这是一个事半功倍的作法。大数据的建设、实施和应用需要专业的分析、规划和设计,否则成为一种门面。为了帮助用户破解这一难题,大数据咨询服务正被用户广泛采用。大数据咨询旨在帮助用户分析业务需求,梳理数据类型,确定分析模型,设计技术架构,选择实施路径。通过大数据解决方案的规划和设计,让用户在大数据建设和应用中掌握主动,稳步推进。

第二管理配套。企业大数据建设是一个漫长、艰苦的过程。在这个过程中,将面临许多困难的挑战,面对这些困难,需要组织、文化、制度、流程、考核各方面的保障体系建设。企业领导需要加强协调力度,保证业务部门、信息部门等部门在友好的氛围下通力合作,同时企业需要具有业务管理经验和数据管理经验的人才参与工作并加强参与人员的培训教育工作。只有这样,才可以保证大数据建设的顺利进行。

第三平台建设。基于大数据平台咨询设计的成果,进行大数据的建设和实施。从实现技术手段、业务属性、管理单位等角度考虑,划分出需要重点关注的若干个核心应用系统和平台,并根据应用系统和平台的功能关联性、工程建设要求等特点,将核心应用系统和平台归纳成若干重点的项目,再根据优先次序,明确在近期、中期、远期分阶段启动的工程项目。

第四业务建模。梳理数据类型,确定分析模型,这属于数据建模的范畴。对现实世界各类数据的抽象组织,确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。将经过系统分析后抽象出来的概念模型转化为物理模型。数据建模常常促使企业认识到数据系统是如何相互依存的,并且鼓励企业抓住协调后的业务建模所带来的效率提高、成本节约和战略性机遇。

第五决策分析。用来将企业中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助企业做出明智的业务经营决策。在此基础上利用合适的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理(这时信息变为辅助决策的知识),最后将知识呈现给管理者,为管理者的决策过程提供数据支持。

本文转自d1net(转载)

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
2月前
|
数据采集 人工智能 大数据
10倍处理效率提升!阿里云大数据AI平台发布智能驾驶数据预处理解决方案
阿里云大数据AI平台推出智能驾驶数据预处理解决方案,助力车企构建高效稳定的数据处理流程。相比自建方案,数据包处理效率提升10倍以上,推理任务提速超1倍,产能翻番,显著提高自动驾驶模型产出效率。该方案已服务80%以上中国车企,支持多模态数据处理与百万级任务调度,全面赋能智驾技术落地。
213 0
|
2月前
|
分布式计算 算法 大数据
大数据时代的智能研发平台需求与阿里云DIDE的定位
阿里云DIDE是一站式智能大数据开发与治理平台,致力于解决传统大数据开发中的效率低、协同难等问题。通过全面整合资源、高度抽象化设计及流程自动化,DIDE显著提升数据处理效率,降低使用门槛,适用于多行业、多场景的数据开发需求,助力企业实现数字化转型与智能化升级。
81 1
|
11月前
|
SQL 存储 分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台,支持海量数据的存储与计算,适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面,确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序,用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
1315 1
|
7月前
|
存储 SQL 大数据
【重磅发布】AllData数据中台核心功能:湖仓一体化平台
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
【重磅发布】AllData数据中台核心功能:湖仓一体化平台
|
7月前
|
SQL 存储 HIVE
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
本文整理自鹰角网络大数据开发工程师朱正军在Flink Forward Asia 2024上的分享,主要涵盖四个方面:鹰角数据平台架构、数据湖选型、湖仓一体建设及未来展望。文章详细介绍了鹰角如何构建基于Paimon的数据湖,解决了Hudi入湖的痛点,并通过Trino引擎和Ranger权限管理实现高效的数据查询与管控。此外,还探讨了湖仓一体平台的落地效果及未来技术发展方向,包括Trino与Paimon的集成增强、StarRocks的应用以及Paimon全面替换Hive的计划。
699 1
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
|
6月前
|
SQL 存储 HIVE
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
388 2
|
7月前
|
SQL 人工智能 大数据
【4月重点功能发布】阿里云大数据+ AI 一体化平台
【4月重点功能发布】阿里云大数据+ AI 一体化平台
142 0
|
7月前
|
SQL 人工智能 分布式计算
【3月重点功能发布】阿里云大数据+ AI 一体化平台
【3月重点功能发布】阿里云大数据+ AI 一体化平台
|
9月前
|
SQL 人工智能 自然语言处理
DataWorks年度发布:智能化湖仓一体数据开发与治理平台的演进
阿里云在过去15年中持续为268集团提供数据服务,积累了丰富的实践经验,并连续三年在IDC中国数据治理市场份额中排名第一。新一代智能数据开发平台DateWorks推出了全新的DateStudio IDE,支持湖仓一体化开发,新增Flink计算引擎和全面适配locs,优化工作流程系统和数据目录管理。同时,阿里云正式推出个人开发环境模式和个人Notebook,提升开发者体验和效率。此外,DateWorks Copilot通过自然语言生成SQL、代码补全等功能,显著提升了数据开发与分析的效率,已累计帮助开发者生成超过3200万行代码。
|
10月前
|
SQL 数据采集 分布式计算
【赵渝强老师】基于大数据组件的平台架构
本文介绍了大数据平台的总体架构及各层的功能。大数据平台架构分为五层:数据源层、数据采集层、大数据平台层、数据仓库层和应用层。其中,大数据平台层为核心,负责数据的存储和计算,支持离线和实时数据处理。数据仓库层则基于大数据平台构建数据模型,应用层则利用这些模型实现具体的应用场景。文中还提供了Lambda和Kappa架构的视频讲解。
881 3
【赵渝强老师】基于大数据组件的平台架构

热门文章

最新文章