阿里云云原生一体化数仓发布

简介: 高雪峰阿里云计算平台产品与解决方案总经理

一、市场背景
现代企业的数字化转型经历了几十年的发展历程,已经积累了非常丰富的技术与数据的沉淀。近期被热议的第四次工业革命,就是指企业全链路的智能化的升级、数据驱动的业务变革。如何挖掘大数据能够带来的核心的业务价值,是这次变革发生的核心驱动力。

image.png

去年,全球大数据软件的市场规模已经超过5,000亿元,且一直保有超过10%的复合增长率。中国是拥有数据量和数据规模最大的国家和市场之一,去年大数据相关软件的规模已经超过百亿元,同比增速接近40%,且未来几年的预期复合增长率都会超过30%。
IDC的报告明确指出,阿里云在2021年上半年的大数据公共云的市场份额为43.5%,稳居中国各大大数据服务提供商的前列。而阿里云的大数据相关产业的规模更加巨大,我国由大数据的软件带动的硬件与服务的整体市场规模,在2025年预计突破3万亿,复合增长率将会一直保持在25%左右。
我国的十四五规划中也明确提到,要加快数据的高价值转化,必须实现以下条件:
①大体量的数据汇聚、全环节的数据采集以及工业基础大数据的建设等。
②多样性的数据处理,包括多种数据类型、多模态以及多行业的数据处理等。
③时效性的数据流动,包括数据的动态更新、数据共享空间的建立等。
④高质量的数据治理,将数据的资产和全生命周期很好地管理起来。
⑤高价值的数据转化,包括通过数据进行政府治理、社会治理、风险控制、工业升级、金融科技的升级等。

image.png

大数据在不同的行业中已经有越来越多、越来越成熟的应用。
在互联网行业的应用场景基本都是业务指标驱动的数仓的建设,目标的核心是提升运营效率、降低运营成本,通过索广推来促进用户的增长;在金融行业和传统的政企行业也已经投入数据中台的建设,从原来稳态的IT基础设施慢慢转向由数据驱动的敏态与稳态IT并存的双模IT架构,开始为整个产业链的智能化升级去搭建核心的数据基础设施。
国家规划中也明确提出,我们要培育专业化、场景化的大数据解决方案,构建多层次的工业互联网平台、建设行业的大数据平台等。
比如,在原材料企业,如何推进流程的智能化?在制造业相关企业,如何推进全价值数据链的数据流,以真正实现数据的驱动?在消费品行业如何实现精准的供需需求对接?在通信、金融、医疗、应急、农业、水利、公安、交通、电力等其他诸多行业,如何构建行业的数据平台,来推动整体的产业化升级?这些都是大数据在各产业中能够真正发挥核心价值之处。

image.png

现阶段,各行业和产业都在利用大数据的能力进行产业升级,这也对承载整个数据分析的基础大数据的平台提出了更多和更高的要求。
首先,数据的类型变得越来越丰富。在原来结构化数据BI分析的基础上,越来越多企业开始有了对半结构化、非结构化数据进行分析的需求。如何结合数据湖的技术以及数仓成熟的数据治理建模经验,为企业带来更好的分析多样化数据的能力,已经成为很多企业关注的核心问题。
其次,越来越多企业已经出现了数据孤岛问题,各个部门之间分别有属于自己的数据平台,但是数据之间的协同分析也是非常基本的刚性需求。阿里巴巴曾经耗时18个月,将不同的数据汇集到统一的数据平台,然而这对大部分企业来说是难以实现的。
因此,如何利用好企业现有的分离的数据平台,进行统一的数据管理、数据治理以及数据价值的挖掘,也已经成为当前企业对数据平台提供商非常重要的考核点。

image.png

此前,很多企业对数据分析的需求是能够花几天的时间产出一个非常丰富的报表即可,即传统的离线大数据分析。但是随着商业竞争越来越激烈,对于指导商业决策的数据分析的时效性要求越来越高。很多时候都需要针对数据进行实时分析,并结合部分离线数据分析结果,实时地提供给商业决策做分析。因此分析的时效性、相应的性价比以及最终数据分析结果的一致性,也开始被越来越多的企业所关注。
随着大数据市场的繁荣,越来越多的分析引擎涌现出来,数据湖和数仓的技术也分别在不同程度进迭代和发展。为了保证数据分析产生的价值的有效性,企业的数据质量和标准以及数据的管理和治理已经被各个行业的客户所关注。必须防止数据的garbage in和garbage out来提升数据价值挖掘的密度和有效性,因此数据平台必须要具备数据的管理和治理能力。
除此之外,数据分析全生命周期的价值也被越来越多的企业关注。不只是建设数据平台的成本,前期的硬件投入成本、后期复杂的运维成本、软件研发应用开发成本以及企业应对突发的业务增长带来应急成本,都是企业构建大数据分析平台的基本的成本。

image.png

我们将重磅发布阿里云一体化数仓,结合阿里云大数据的明星产品——MaxCompute、Hologres和DataWorks,通过一站式的大数据分析平台来解决各行各业的诸多痛点:
①通过MaxCompute与Hologres的深度融合,阿里云一体化数仓提供了丰富和灵活的离/在线一体化能力。
②通过更开放的对数据湖的支持,以及对数据分析多样化,提供了统一管理的湖仓一体的能力。
③以一份数据为基础,不断追求数仓的实时化与在线化能力的结合。
④通过DataWorks自顶向下和自底向上的双向建模能力以及数据治理与企业数据成熟度评估模型的新能力,帮助企业更加直观地感受其自身的数据成熟度。开放的DataWorks插件体系,也让阿里云的客户与行业的SV可以围绕自身的大数据去构建更多场景化数据分析的能力,从而真正助力其业务的智能化升级。
简而言之,阿里云一体化数仓会通过离/在线一体化、湖仓一体以及分析服务一体化,和全链路数据治理能力来满足各企业不断提升的对大数据分析平台能力的期待。

阿里云大数据是为业务敏捷而生的简单、易用、全托管的云原生大数据服务。激活数据生产力,分析产生业务价值。详情访问:
https://www.aliyun.com/product/bigdata/apsarabigdata

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
11月前
|
Kubernetes Cloud Native 安全
云原生机密计算新范式 PeerPods技术方案在阿里云上的落地和实践
PeerPods 技术价值已在阿里云实际场景中深度落地。
|
9月前
|
消息中间件 人工智能 监控
【云故事探索 | NO.15】:阿里云云原生加速鸣鸣很忙数字化
【云故事探索 | NO.15】:阿里云云原生加速鸣鸣很忙数字化
|
12月前
|
存储 缓存 分布式计算
StarRocks x Iceberg:云原生湖仓分析技术揭秘与最佳实践
本文将深入探讨基于 StarRocks 和 Iceberg 构建的云原生湖仓分析技术,详细解析两者结合如何实现高效的查询性能优化。内容涵盖 StarRocks Lakehouse 架构、与 Iceberg 的性能协同、最佳实践应用以及未来的发展规划,为您提供全面的技术解读。 作者:杨关锁,北京镜舟科技研发工程师
StarRocks x Iceberg:云原生湖仓分析技术揭秘与最佳实践
|
10月前
|
消息中间件 人工智能 监控
【云故事探索】NO.15:阿里云云原生加速鸣鸣很忙数字化
鸣鸣很忙集团作为中国最大休闲食品饮料连锁零售商,通过数字化与云原生技术实现快速扩张,4年完成其他企业10年的数字化进程。其采用阿里云全栈云原生方案,实现弹性扩容、智能补货、模块化开店等创新实践,支撑日均超430万交易数据稳定运行。未来将深化AI应用,推动供应链智能化与业务全面升级。
|
运维 Cloud Native 应用服务中间件
阿里云微服务引擎 MSE 及 API 网关 2025 年 4 月产品动态
阿里云微服务引擎 MSE 面向业界主流开源微服务项目, 提供注册配置中心和分布式协调(原生支持 Nacos/ZooKeeper/Eureka )、云原生网关(原生支持Higress/Nginx/Envoy,遵循Ingress标准)、微服务治理(原生支持 Spring Cloud/Dubbo/Sentinel,遵循 OpenSergo 服务治理规范)能力。API 网关 (API Gateway),提供 APl 托管服务,覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等 API 生命周期阶段。帮助您快速构建以 API 为核心的系统架构.满足新技术引入、系统集成、业务中台等诸多场景需要
阿里云微服务引擎 MSE 及 API 网关 2025 年 4 月产品动态
|
11月前
|
Cloud Native 关系型数据库 分布式数据库
客户说|知乎基于阿里云PolarDB,实现最大数据库集群云原生升级
近日,知乎最大的风控业务数据库集群,基于阿里云瑶池数据库完成了云原生技术架构的升级。此次升级不仅显著提升了系统的高可用性和性能上限,还大幅降低了底层资源成本。
|
人工智能 运维 监控
阿里云携手神州灵云打造云内网络性能监测标杆 斩获中国信通院高质量数字化转型十大案例——金保信“云内网络可观测”方案树立云原生运维新范式
2025年,金保信社保卡有限公司联合阿里云与神州灵云申报的《云内网络性能可观测解决方案》入选高质量数字化转型典型案例。该方案基于阿里云飞天企业版,融合云原生引流技术和流量“染色”专利,解决云内运维难题,实现主动预警和精准观测,将故障排查时间从数小时缩短至15分钟,助力企业降本增效,形成可跨行业复制的数字化转型方法论。
680 6
|
存储 Cloud Native 数据处理
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
本文整理自阿里云资深技术专家、Apache Flink PMC 成员梅源在 Flink Forward Asia 新加坡 2025上的分享,深入解析 Flink 状态管理系统的发展历程,从核心设计到 Flink 2.0 存算分离架构,并展望未来基于流批一体的通用增量计算方向。
586 0
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
|
9月前
|
运维 监控 Cloud Native
从本土到全球,云原生架构护航灵犀互娱游戏出海
本文内容整理自「 2025 中企出海大会·游戏与互娱出海分论坛」,灵犀互娱基础架构负责人朱晓靖的演讲内容,从技术层面分享云原生架构护航灵犀互娱游戏出海经验。
765 15
|
9月前
|
运维 监控 Cloud Native
从本土到全球,云原生架构护航灵犀互娱游戏出海
内容整理自「 2025 中企出海大会·游戏与互娱出海分论坛」,灵犀互娱基础架构负责人朱晓靖的演讲内容,从技术层面分享云原生架构护航灵犀互娱游戏出海经验。

热门文章

最新文章