阿里云云原生一体化数仓发布

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 高雪峰阿里云计算平台产品与解决方案总经理

一、市场背景
现代企业的数字化转型经历了几十年的发展历程,已经积累了非常丰富的技术与数据的沉淀。近期被热议的第四次工业革命,就是指企业全链路的智能化的升级、数据驱动的业务变革。如何挖掘大数据能够带来的核心的业务价值,是这次变革发生的核心驱动力。

image.png

去年,全球大数据软件的市场规模已经超过5,000亿元,且一直保有超过10%的复合增长率。中国是拥有数据量和数据规模最大的国家和市场之一,去年大数据相关软件的规模已经超过百亿元,同比增速接近40%,且未来几年的预期复合增长率都会超过30%。
IDC的报告明确指出,阿里云在2021年上半年的大数据公共云的市场份额为43.5%,稳居中国各大大数据服务提供商的前列。而阿里云的大数据相关产业的规模更加巨大,我国由大数据的软件带动的硬件与服务的整体市场规模,在2025年预计突破3万亿,复合增长率将会一直保持在25%左右。
我国的十四五规划中也明确提到,要加快数据的高价值转化,必须实现以下条件:
①大体量的数据汇聚、全环节的数据采集以及工业基础大数据的建设等。
②多样性的数据处理,包括多种数据类型、多模态以及多行业的数据处理等。
③时效性的数据流动,包括数据的动态更新、数据共享空间的建立等。
④高质量的数据治理,将数据的资产和全生命周期很好地管理起来。
⑤高价值的数据转化,包括通过数据进行政府治理、社会治理、风险控制、工业升级、金融科技的升级等。

image.png

大数据在不同的行业中已经有越来越多、越来越成熟的应用。
在互联网行业的应用场景基本都是业务指标驱动的数仓的建设,目标的核心是提升运营效率、降低运营成本,通过索广推来促进用户的增长;在金融行业和传统的政企行业也已经投入数据中台的建设,从原来稳态的IT基础设施慢慢转向由数据驱动的敏态与稳态IT并存的双模IT架构,开始为整个产业链的智能化升级去搭建核心的数据基础设施。
国家规划中也明确提出,我们要培育专业化、场景化的大数据解决方案,构建多层次的工业互联网平台、建设行业的大数据平台等。
比如,在原材料企业,如何推进流程的智能化?在制造业相关企业,如何推进全价值数据链的数据流,以真正实现数据的驱动?在消费品行业如何实现精准的供需需求对接?在通信、金融、医疗、应急、农业、水利、公安、交通、电力等其他诸多行业,如何构建行业的数据平台,来推动整体的产业化升级?这些都是大数据在各产业中能够真正发挥核心价值之处。

image.png

现阶段,各行业和产业都在利用大数据的能力进行产业升级,这也对承载整个数据分析的基础大数据的平台提出了更多和更高的要求。
首先,数据的类型变得越来越丰富。在原来结构化数据BI分析的基础上,越来越多企业开始有了对半结构化、非结构化数据进行分析的需求。如何结合数据湖的技术以及数仓成熟的数据治理建模经验,为企业带来更好的分析多样化数据的能力,已经成为很多企业关注的核心问题。
其次,越来越多企业已经出现了数据孤岛问题,各个部门之间分别有属于自己的数据平台,但是数据之间的协同分析也是非常基本的刚性需求。阿里巴巴曾经耗时18个月,将不同的数据汇集到统一的数据平台,然而这对大部分企业来说是难以实现的。
因此,如何利用好企业现有的分离的数据平台,进行统一的数据管理、数据治理以及数据价值的挖掘,也已经成为当前企业对数据平台提供商非常重要的考核点。

image.png

此前,很多企业对数据分析的需求是能够花几天的时间产出一个非常丰富的报表即可,即传统的离线大数据分析。但是随着商业竞争越来越激烈,对于指导商业决策的数据分析的时效性要求越来越高。很多时候都需要针对数据进行实时分析,并结合部分离线数据分析结果,实时地提供给商业决策做分析。因此分析的时效性、相应的性价比以及最终数据分析结果的一致性,也开始被越来越多的企业所关注。
随着大数据市场的繁荣,越来越多的分析引擎涌现出来,数据湖和数仓的技术也分别在不同程度进迭代和发展。为了保证数据分析产生的价值的有效性,企业的数据质量和标准以及数据的管理和治理已经被各个行业的客户所关注。必须防止数据的garbage in和garbage out来提升数据价值挖掘的密度和有效性,因此数据平台必须要具备数据的管理和治理能力。
除此之外,数据分析全生命周期的价值也被越来越多的企业关注。不只是建设数据平台的成本,前期的硬件投入成本、后期复杂的运维成本、软件研发应用开发成本以及企业应对突发的业务增长带来应急成本,都是企业构建大数据分析平台的基本的成本。

image.png

我们将重磅发布阿里云一体化数仓,结合阿里云大数据的明星产品——MaxCompute、Hologres和DataWorks,通过一站式的大数据分析平台来解决各行各业的诸多痛点:
①通过MaxCompute与Hologres的深度融合,阿里云一体化数仓提供了丰富和灵活的离/在线一体化能力。
②通过更开放的对数据湖的支持,以及对数据分析多样化,提供了统一管理的湖仓一体的能力。
③以一份数据为基础,不断追求数仓的实时化与在线化能力的结合。
④通过DataWorks自顶向下和自底向上的双向建模能力以及数据治理与企业数据成熟度评估模型的新能力,帮助企业更加直观地感受其自身的数据成熟度。开放的DataWorks插件体系,也让阿里云的客户与行业的SV可以围绕自身的大数据去构建更多场景化数据分析的能力,从而真正助力其业务的智能化升级。
简而言之,阿里云一体化数仓会通过离/在线一体化、湖仓一体以及分析服务一体化,和全链路数据治理能力来满足各企业不断提升的对大数据分析平台能力的期待。

阿里云大数据是为业务敏捷而生的简单、易用、全托管的云原生大数据服务。激活数据生产力,分析产生业务价值。详情访问:
https://www.aliyun.com/product/bigdata/apsarabigdata

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
8天前
|
运维 Cloud Native 应用服务中间件
阿里云微服务引擎 MSE 及 云原生 API 网关 2025 年 2 月产品动态
阿里云微服务引擎 MSE 面向业界主流开源微服务项目, 提供注册配置中心和分布式协调(原生支持 Nacos/ZooKeeper/Eureka )、云原生网关(原生支持Higress/Nginx/Envoy,遵循Ingress标准)、微服务治理(原生支持 Spring Cloud/Dubbo/Sentinel,遵循 OpenSergo 服务治理规范)能力。API 网关 (API Gateway),提供 APl 托管服务,覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等 API 生命周期阶段。帮助您快速构建以 API 为核心的系统架构.满足新技术引入、系统集成、业务中台等诸多场景需要
322 10
阿里云微服务引擎 MSE 及 云原生 API 网关 2025 年 2 月产品动态
|
11天前
|
Cloud Native Serverless 数据中心
阿里云ACK One:注册集群支持ACS算力——云原生时代的计算新引擎
阿里云ACK One:注册集群支持ACS算力——云原生时代的计算新引擎
22 10
|
10天前
|
负载均衡 容灾 Cloud Native
云原生应用网关进阶:阿里云网络ALB Ingress 全面增强
云原生应用网关进阶:阿里云网络ALB Ingress 全面增强
|
11天前
|
Cloud Native 安全 Serverless
云原生应用实战:基于阿里云Serverless的API服务开发与部署
随着云计算的发展,Serverless架构日益流行。阿里云函数计算(Function Compute)作为Serverless服务,让开发者无需管理服务器即可运行代码,按需付费,简化开发运维流程。本文从零开始,介绍如何使用阿里云函数计算开发简单的API服务,并探讨其核心优势与最佳实践。通过Python示例,演示创建、部署及优化API的过程,涵盖环境准备、代码实现、性能优化和安全管理等内容,帮助读者快速上手Serverless开发。
|
10天前
|
边缘计算 Cloud Native 调度
感谢认可!阿里云云原生大规模云边协同技术荣获浙江省科学技术进步奖一等奖
感谢认可!阿里云云原生大规模云边协同技术荣获浙江省科学技术进步奖一等奖
|
11天前
|
SQL 存储 OLAP
阿里云 EMR Serverless StarRocks3.x,极速统一的湖仓新范式
阿里云 EMR Serverless StarRocks3.x,极速统一的湖仓新范式
|
11天前
|
人工智能 关系型数据库 分布式数据库
阿里云PolarDB重磅发布云原生与Data+AI新特性,打造智能时代数据引擎
阿里云PolarDB重磅发布云原生与Data+AI新特性,打造智能时代数据引擎
|
3月前
|
运维 Cloud Native 持续交付
深入理解云原生架构及其在现代企业中的应用
随着数字化转型的浪潮席卷全球,企业正面临着前所未有的挑战与机遇。云计算技术的迅猛发展,特别是云原生架构的兴起,正在重塑企业的IT基础设施和软件开发模式。本文将深入探讨云原生的核心概念、关键技术以及如何在企业中实施云原生策略,以实现更高效的资源利用和更快的市场响应速度。通过分析云原生架构的优势和面临的挑战,我们将揭示它如何助力企业在激烈的市场竞争中保持领先地位。
|
3月前
|
Kubernetes Cloud Native 微服务
探索云原生技术:容器化与微服务架构的融合之旅
本文将带领读者深入了解云原生技术的核心概念,特别是容器化和微服务架构如何相辅相成,共同构建现代软件系统。我们将通过实际代码示例,探讨如何在云平台上部署和管理微服务,以及如何使用容器编排工具来自动化这一过程。文章旨在为开发者和技术决策者提供实用的指导,帮助他们在云原生时代中更好地设计、部署和维护应用。
|
5天前
|
存储 缓存 Cloud Native
云原生时代的架构革新,Apache Doris 存算分离如何实现弹性与性能双重提升
随着云基础设施的成熟,Apache Doris 3.0 正式支持了存算分离全新模式。基于这一架构,能够实现更低成本、极致弹性以及负载隔离。本文将介绍存算分离架构及其优势,并通过导入性能、查询性能、资源成本的测试,直观展现存算分离架构下的性能表现,为读者提供具体场景下的使用参考。
云原生时代的架构革新,Apache Doris 存算分离如何实现弹性与性能双重提升