阿里云云原生一体化数仓发布

简介: 高雪峰阿里云计算平台产品与解决方案总经理

一、市场背景
现代企业的数字化转型经历了几十年的发展历程,已经积累了非常丰富的技术与数据的沉淀。近期被热议的第四次工业革命,就是指企业全链路的智能化的升级、数据驱动的业务变革。如何挖掘大数据能够带来的核心的业务价值,是这次变革发生的核心驱动力。

image.png

去年,全球大数据软件的市场规模已经超过5,000亿元,且一直保有超过10%的复合增长率。中国是拥有数据量和数据规模最大的国家和市场之一,去年大数据相关软件的规模已经超过百亿元,同比增速接近40%,且未来几年的预期复合增长率都会超过30%。
IDC的报告明确指出,阿里云在2021年上半年的大数据公共云的市场份额为43.5%,稳居中国各大大数据服务提供商的前列。而阿里云的大数据相关产业的规模更加巨大,我国由大数据的软件带动的硬件与服务的整体市场规模,在2025年预计突破3万亿,复合增长率将会一直保持在25%左右。
我国的十四五规划中也明确提到,要加快数据的高价值转化,必须实现以下条件:
①大体量的数据汇聚、全环节的数据采集以及工业基础大数据的建设等。
②多样性的数据处理,包括多种数据类型、多模态以及多行业的数据处理等。
③时效性的数据流动,包括数据的动态更新、数据共享空间的建立等。
④高质量的数据治理,将数据的资产和全生命周期很好地管理起来。
⑤高价值的数据转化,包括通过数据进行政府治理、社会治理、风险控制、工业升级、金融科技的升级等。

image.png

大数据在不同的行业中已经有越来越多、越来越成熟的应用。
在互联网行业的应用场景基本都是业务指标驱动的数仓的建设,目标的核心是提升运营效率、降低运营成本,通过索广推来促进用户的增长;在金融行业和传统的政企行业也已经投入数据中台的建设,从原来稳态的IT基础设施慢慢转向由数据驱动的敏态与稳态IT并存的双模IT架构,开始为整个产业链的智能化升级去搭建核心的数据基础设施。
国家规划中也明确提出,我们要培育专业化、场景化的大数据解决方案,构建多层次的工业互联网平台、建设行业的大数据平台等。
比如,在原材料企业,如何推进流程的智能化?在制造业相关企业,如何推进全价值数据链的数据流,以真正实现数据的驱动?在消费品行业如何实现精准的供需需求对接?在通信、金融、医疗、应急、农业、水利、公安、交通、电力等其他诸多行业,如何构建行业的数据平台,来推动整体的产业化升级?这些都是大数据在各产业中能够真正发挥核心价值之处。

image.png

现阶段,各行业和产业都在利用大数据的能力进行产业升级,这也对承载整个数据分析的基础大数据的平台提出了更多和更高的要求。
首先,数据的类型变得越来越丰富。在原来结构化数据BI分析的基础上,越来越多企业开始有了对半结构化、非结构化数据进行分析的需求。如何结合数据湖的技术以及数仓成熟的数据治理建模经验,为企业带来更好的分析多样化数据的能力,已经成为很多企业关注的核心问题。
其次,越来越多企业已经出现了数据孤岛问题,各个部门之间分别有属于自己的数据平台,但是数据之间的协同分析也是非常基本的刚性需求。阿里巴巴曾经耗时18个月,将不同的数据汇集到统一的数据平台,然而这对大部分企业来说是难以实现的。
因此,如何利用好企业现有的分离的数据平台,进行统一的数据管理、数据治理以及数据价值的挖掘,也已经成为当前企业对数据平台提供商非常重要的考核点。

image.png

此前,很多企业对数据分析的需求是能够花几天的时间产出一个非常丰富的报表即可,即传统的离线大数据分析。但是随着商业竞争越来越激烈,对于指导商业决策的数据分析的时效性要求越来越高。很多时候都需要针对数据进行实时分析,并结合部分离线数据分析结果,实时地提供给商业决策做分析。因此分析的时效性、相应的性价比以及最终数据分析结果的一致性,也开始被越来越多的企业所关注。
随着大数据市场的繁荣,越来越多的分析引擎涌现出来,数据湖和数仓的技术也分别在不同程度进迭代和发展。为了保证数据分析产生的价值的有效性,企业的数据质量和标准以及数据的管理和治理已经被各个行业的客户所关注。必须防止数据的garbage in和garbage out来提升数据价值挖掘的密度和有效性,因此数据平台必须要具备数据的管理和治理能力。
除此之外,数据分析全生命周期的价值也被越来越多的企业关注。不只是建设数据平台的成本,前期的硬件投入成本、后期复杂的运维成本、软件研发应用开发成本以及企业应对突发的业务增长带来应急成本,都是企业构建大数据分析平台的基本的成本。

image.png

我们将重磅发布阿里云一体化数仓,结合阿里云大数据的明星产品——MaxCompute、Hologres和DataWorks,通过一站式的大数据分析平台来解决各行各业的诸多痛点:
①通过MaxCompute与Hologres的深度融合,阿里云一体化数仓提供了丰富和灵活的离/在线一体化能力。
②通过更开放的对数据湖的支持,以及对数据分析多样化,提供了统一管理的湖仓一体的能力。
③以一份数据为基础,不断追求数仓的实时化与在线化能力的结合。
④通过DataWorks自顶向下和自底向上的双向建模能力以及数据治理与企业数据成熟度评估模型的新能力,帮助企业更加直观地感受其自身的数据成熟度。开放的DataWorks插件体系,也让阿里云的客户与行业的SV可以围绕自身的大数据去构建更多场景化数据分析的能力,从而真正助力其业务的智能化升级。
简而言之,阿里云一体化数仓会通过离/在线一体化、湖仓一体以及分析服务一体化,和全链路数据治理能力来满足各企业不断提升的对大数据分析平台能力的期待。

阿里云大数据是为业务敏捷而生的简单、易用、全托管的云原生大数据服务。激活数据生产力,分析产生业务价值。详情访问:
https://www.aliyun.com/product/bigdata/apsarabigdata

相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
2天前
|
人工智能 Serverless 异构计算
上海站丨飞天技术沙龙 Serverless + AI 专场开启报名!
"飞天技术沙龙——Serverless 技术实践营"将于2024年5月31日举行,聚焦Serverless在AI中的应用。活动包括演讲、实操,探讨Serverless演进趋势、AI应用开发及降低成本等议题。限额80人,报名审核制,现场还有大奖和证书待您领取。扫描链接<https://summit.aliyun.com/Serverless2024shanghai>报名。
上海站丨飞天技术沙龙 Serverless + AI 专场开启报名!
|
5天前
|
Cloud Native 关系型数据库 分布式数据库
PolarDB是阿里云自主研发的关系型云原生数据库
【5月更文挑战第14天】PolarDB是阿里云自主研发的关系型云原生数据库
44 3
|
5天前
|
存储 Cloud Native 对象存储
AutoMQ:如何基于阿里云计算与存储产品实现云原生架构升级
AutoMQ[1] 是新一代基于共享存储架构实现的云原生 Kafka。得益于其存算分离的共享存储架构,通过和阿里云合作,深度使用阿里云可靠、先进的云服务如对象存储OSS、块存储 ESSD、弹性伸缩ESS以及抢占式实例实现了相比 Apache Kafka 10倍的成本优势并且提供了自动弹性的能力。
83428 5
AutoMQ:如何基于阿里云计算与存储产品实现云原生架构升级
|
5天前
|
消息中间件 人工智能 监控
|
5天前
|
存储 Cloud Native 大数据
国内独家|阿里云瑶池发布ClickHouse企业版:云原生Serverless新体验
全面升级为云原生架构,支持云原生按需弹性Serverless能力,解决了长期困扰用户的集群扩展效率和平滑性问题。
国内独家|阿里云瑶池发布ClickHouse企业版:云原生Serverless新体验
|
5天前
|
弹性计算 运维 监控
解密阿里云弹性计算:探索云服务器ECS的核心功能
阿里云ECS是核心计算服务,提供弹性云服务器资源,支持实例按需配置、集群管理和监控,集成安全防护,确保服务稳定、安全,助力高效业务运营。
93 0
|
5天前
|
存储 弹性计算 固态存储
阿里云服务器CPU内存配置详细指南,如何选择合适云服务器配置?
阿里云服务器配置选择涉及CPU、内存、公网带宽和磁盘。个人开发者或中小企业推荐使用轻量应用服务器或ECS经济型e实例,如2核2G3M配置,适合低流量网站。企业用户则应选择企业级独享型ECS,如通用算力型u1、计算型c7或通用型g7,至少2核4G配置,公网带宽建议5M,系统盘可选SSD或ESSD云盘。选择时考虑实际应用需求和性能稳定性。
156 6
|
5天前
|
域名解析 弹性计算 Linux
阿里云购买云服务器、注册域名、备案及绑定图文教程参考
本文为大家介绍了2024年购买阿里云服务器和注册域名,绑定以及备案的教程,适合需要在阿里云购买云服务器、注册域名并备案的用户参考,新手用户可通过此文您了解在从购买云服务器到完成备案的流程。
阿里云购买云服务器、注册域名、备案及绑定图文教程参考
|
3天前
|
存储 安全 数据库
阿里云服务器计算型、通用型、内存型主要实例规格特点、适用场景及最新价格参考
在阿里云服务器的实例规格中,有共享型也有企业型,一般用户选择较多的企业级实例规格有计算型、通用型、内存型,每一种实例规格又有多个实例规格族可选,不同的云服务器实例规格在架构、计算、存储、网络、安全等方面有着不同,因此,其适用场景也有所不同。本文来详细介绍一下阿里云服务器计算型、通用型、内存型主要实例计算、存储等性能及其适用场景,以供参考。
阿里云服务器计算型、通用型、内存型主要实例规格特点、适用场景及最新价格参考
|
5天前
|
存储 弹性计算 固态存储
阿里云服务器租用价格参考,云服务器收费标准与实时活动价格整理
阿里云服务器租用价格参考,本文更新了阿里云服务器最新的租赁费用,包括云服务器实时的活动价格与云服务器收费标准。经济型e实例云服务器4核16G10M带宽配置30.00元/1个月、90.00元/3个月,独享型通用算力型u1实例2核4G服务器仅需199元1年,轻量云服务器2核2G新用户专享价格61元/1年,计算型c7a实例2核4G配置特惠价625.68元/1年。更多阿里云服务器热门配置活动价格及云服务器租赁费用及活动价格见下文。
阿里云服务器租用价格参考,云服务器收费标准与实时活动价格整理

热门文章

最新文章