阿里云云原生一体化数仓发布

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 高雪峰阿里云计算平台产品与解决方案总经理

一、市场背景
现代企业的数字化转型经历了几十年的发展历程,已经积累了非常丰富的技术与数据的沉淀。近期被热议的第四次工业革命,就是指企业全链路的智能化的升级、数据驱动的业务变革。如何挖掘大数据能够带来的核心的业务价值,是这次变革发生的核心驱动力。

image.png

去年,全球大数据软件的市场规模已经超过5,000亿元,且一直保有超过10%的复合增长率。中国是拥有数据量和数据规模最大的国家和市场之一,去年大数据相关软件的规模已经超过百亿元,同比增速接近40%,且未来几年的预期复合增长率都会超过30%。
IDC的报告明确指出,阿里云在2021年上半年的大数据公共云的市场份额为43.5%,稳居中国各大大数据服务提供商的前列。而阿里云的大数据相关产业的规模更加巨大,我国由大数据的软件带动的硬件与服务的整体市场规模,在2025年预计突破3万亿,复合增长率将会一直保持在25%左右。
我国的十四五规划中也明确提到,要加快数据的高价值转化,必须实现以下条件:
①大体量的数据汇聚、全环节的数据采集以及工业基础大数据的建设等。
②多样性的数据处理,包括多种数据类型、多模态以及多行业的数据处理等。
③时效性的数据流动,包括数据的动态更新、数据共享空间的建立等。
④高质量的数据治理,将数据的资产和全生命周期很好地管理起来。
⑤高价值的数据转化,包括通过数据进行政府治理、社会治理、风险控制、工业升级、金融科技的升级等。

image.png

大数据在不同的行业中已经有越来越多、越来越成熟的应用。
在互联网行业的应用场景基本都是业务指标驱动的数仓的建设,目标的核心是提升运营效率、降低运营成本,通过索广推来促进用户的增长;在金融行业和传统的政企行业也已经投入数据中台的建设,从原来稳态的IT基础设施慢慢转向由数据驱动的敏态与稳态IT并存的双模IT架构,开始为整个产业链的智能化升级去搭建核心的数据基础设施。
国家规划中也明确提出,我们要培育专业化、场景化的大数据解决方案,构建多层次的工业互联网平台、建设行业的大数据平台等。
比如,在原材料企业,如何推进流程的智能化?在制造业相关企业,如何推进全价值数据链的数据流,以真正实现数据的驱动?在消费品行业如何实现精准的供需需求对接?在通信、金融、医疗、应急、农业、水利、公安、交通、电力等其他诸多行业,如何构建行业的数据平台,来推动整体的产业化升级?这些都是大数据在各产业中能够真正发挥核心价值之处。

image.png

现阶段,各行业和产业都在利用大数据的能力进行产业升级,这也对承载整个数据分析的基础大数据的平台提出了更多和更高的要求。
首先,数据的类型变得越来越丰富。在原来结构化数据BI分析的基础上,越来越多企业开始有了对半结构化、非结构化数据进行分析的需求。如何结合数据湖的技术以及数仓成熟的数据治理建模经验,为企业带来更好的分析多样化数据的能力,已经成为很多企业关注的核心问题。
其次,越来越多企业已经出现了数据孤岛问题,各个部门之间分别有属于自己的数据平台,但是数据之间的协同分析也是非常基本的刚性需求。阿里巴巴曾经耗时18个月,将不同的数据汇集到统一的数据平台,然而这对大部分企业来说是难以实现的。
因此,如何利用好企业现有的分离的数据平台,进行统一的数据管理、数据治理以及数据价值的挖掘,也已经成为当前企业对数据平台提供商非常重要的考核点。

image.png

此前,很多企业对数据分析的需求是能够花几天的时间产出一个非常丰富的报表即可,即传统的离线大数据分析。但是随着商业竞争越来越激烈,对于指导商业决策的数据分析的时效性要求越来越高。很多时候都需要针对数据进行实时分析,并结合部分离线数据分析结果,实时地提供给商业决策做分析。因此分析的时效性、相应的性价比以及最终数据分析结果的一致性,也开始被越来越多的企业所关注。
随着大数据市场的繁荣,越来越多的分析引擎涌现出来,数据湖和数仓的技术也分别在不同程度进迭代和发展。为了保证数据分析产生的价值的有效性,企业的数据质量和标准以及数据的管理和治理已经被各个行业的客户所关注。必须防止数据的garbage in和garbage out来提升数据价值挖掘的密度和有效性,因此数据平台必须要具备数据的管理和治理能力。
除此之外,数据分析全生命周期的价值也被越来越多的企业关注。不只是建设数据平台的成本,前期的硬件投入成本、后期复杂的运维成本、软件研发应用开发成本以及企业应对突发的业务增长带来应急成本,都是企业构建大数据分析平台的基本的成本。

image.png

我们将重磅发布阿里云一体化数仓,结合阿里云大数据的明星产品——MaxCompute、Hologres和DataWorks,通过一站式的大数据分析平台来解决各行各业的诸多痛点:
①通过MaxCompute与Hologres的深度融合,阿里云一体化数仓提供了丰富和灵活的离/在线一体化能力。
②通过更开放的对数据湖的支持,以及对数据分析多样化,提供了统一管理的湖仓一体的能力。
③以一份数据为基础,不断追求数仓的实时化与在线化能力的结合。
④通过DataWorks自顶向下和自底向上的双向建模能力以及数据治理与企业数据成熟度评估模型的新能力,帮助企业更加直观地感受其自身的数据成熟度。开放的DataWorks插件体系,也让阿里云的客户与行业的SV可以围绕自身的大数据去构建更多场景化数据分析的能力,从而真正助力其业务的智能化升级。
简而言之,阿里云一体化数仓会通过离/在线一体化、湖仓一体以及分析服务一体化,和全链路数据治理能力来满足各企业不断提升的对大数据分析平台能力的期待。

阿里云大数据是为业务敏捷而生的简单、易用、全托管的云原生大数据服务。激活数据生产力,分析产生业务价值。详情访问:
https://www.aliyun.com/product/bigdata/apsarabigdata

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
29天前
|
边缘计算 运维 Cloud Native
浙江省科技进步奖一等奖!阿里云云原生技术实现新突破
科技成果鉴定委员会高度评价该技术,“项目研发难度大,成果创新性强,对促进关键技术进步及自主可控具有重大意义,成果在国内外开源社区产生了广泛影响,并成功应用于互联网、交通、金融、物流、医疗等多个行业。”
|
10天前
|
供应链 安全 Cloud Native
阿里云容器服务助力企业构建云原生软件供应链安全
本文基于2024云栖大会演讲,探讨了软件供应链攻击的快速增长趋势及对企业安全的挑战。文中介绍了如何利用阿里云容器服务ACK、ACR和ASM构建云原生软件供应链安全,涵盖容器镜像的可信生产、管理和分发,以及服务网格ASM实现应用无感的零信任安全,确保企业在软件开发和部署过程中的安全性。
|
10天前
|
人工智能 Kubernetes Cloud Native
阿里云容器服务,智算时代云原生操作系统
2024云栖大会,阿里巴巴研究员易立分享了阿里云容器服务的最新进展。容器技术已成为云原生操作系统的基石,支持多样化的应用场景,如自动驾驶、AI训练等。阿里云容器服务覆盖公共云、边缘云、IDC,提供统一的基础设施,助力客户实现数字化转型和技术创新。今年,阿里云在弹性计算、网络优化、存储解决方案等方面进行了多项重要升级,进一步提升了性能和可靠性。
|
12天前
|
运维 Cloud Native 应用服务中间件
阿里云微服务引擎 MSE 及 云原生 API 网关 2024 年 11 月产品动态
阿里云微服务引擎 MSE 面向业界主流开源微服务项目, 提供注册配置中心和分布式协调(原生支持 Nacos/ZooKeeper/Eureka )、云原生网关(原生支持Higress/Nginx/Envoy,遵循Ingress标准)、微服务治理(原生支持 Spring Cloud/Dubbo/Sentinel,遵循 OpenSergo 服务治理规范)能力。API 网关 (API Gateway),提供 APl 托管服务,覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等 API 生命周期阶段。帮助您快速构建以 API 为核心的系统架构.满足新技术引入、系统集成、业务中台等诸多场景需要
|
25天前
|
敏捷开发 Kubernetes Cloud Native
阿里云云原生技术为企业提供了一套高效、灵活的解决方案,支持跨云部署与管理
在多云环境中,阿里云云原生技术为企业提供了一套高效、灵活的解决方案,支持跨云部署与管理。通过容器化、服务网格等技术,实现了应用的一致性与可移植性,简化了多云环境下的资源管理和服务治理,帮助企业应对复杂的云环境挑战,加速数字化转型。
39 5
|
25天前
|
存储 Prometheus 运维
在云原生环境中,阿里云ARMS与Prometheus的集成提供了强大的应用实时监控解决方案
在云原生环境中,阿里云ARMS与Prometheus的集成提供了强大的应用实时监控解决方案。该集成结合了ARMS的基础设施监控能力和Prometheus的灵活配置及社区支持,实现了全面、精准的系统状态、性能和错误监控,提升了应用的稳定性和管理效率。通过统一的数据视图和高级查询功能,帮助企业有效应对云原生挑战,促进业务的持续发展。
34 3
|
29天前
|
边缘计算 运维 Cloud Native
阿里云基于云原生的大规模云边协同关键技术及应用荣获浙江省科学技术进步一等奖
11月22日, 2023年度浙江省科学技术奖获奖成果公布,阿里云与浙江大学、支付宝、谐云科技联合完成的基于云原生的大规模云边协同关键技术及应用获得浙江省科学技术进步一等奖。
|
18天前
|
运维 Cloud Native 持续交付
深入理解云原生架构及其在现代企业中的应用
随着数字化转型的浪潮席卷全球,企业正面临着前所未有的挑战与机遇。云计算技术的迅猛发展,特别是云原生架构的兴起,正在重塑企业的IT基础设施和软件开发模式。本文将深入探讨云原生的核心概念、关键技术以及如何在企业中实施云原生策略,以实现更高效的资源利用和更快的市场响应速度。通过分析云原生架构的优势和面临的挑战,我们将揭示它如何助力企业在激烈的市场竞争中保持领先地位。
|
15天前
|
Kubernetes Cloud Native 微服务
探索云原生技术:容器化与微服务架构的融合之旅
本文将带领读者深入了解云原生技术的核心概念,特别是容器化和微服务架构如何相辅相成,共同构建现代软件系统。我们将通过实际代码示例,探讨如何在云平台上部署和管理微服务,以及如何使用容器编排工具来自动化这一过程。文章旨在为开发者和技术决策者提供实用的指导,帮助他们在云原生时代中更好地设计、部署和维护应用。
|
25天前
|
Cloud Native Devops 云计算
云计算的未来:云原生架构与微服务的革命####
【10月更文挑战第21天】 随着企业数字化转型的加速,云原生技术正迅速成为IT行业的新宠。本文深入探讨了云原生架构的核心理念、关键技术如容器化和微服务的优势,以及如何通过这些技术实现高效、灵活且可扩展的现代应用开发。我们将揭示云原生如何重塑软件开发流程,提升业务敏捷性,并探索其对企业IT架构的深远影响。 ####
40 3
下一篇
DataWorks