阿里云云原生一体化数仓发布

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 高雪峰阿里云计算平台产品与解决方案总经理

一、市场背景
现代企业的数字化转型经历了几十年的发展历程,已经积累了非常丰富的技术与数据的沉淀。近期被热议的第四次工业革命,就是指企业全链路的智能化的升级、数据驱动的业务变革。如何挖掘大数据能够带来的核心的业务价值,是这次变革发生的核心驱动力。

image.png

去年,全球大数据软件的市场规模已经超过5,000亿元,且一直保有超过10%的复合增长率。中国是拥有数据量和数据规模最大的国家和市场之一,去年大数据相关软件的规模已经超过百亿元,同比增速接近40%,且未来几年的预期复合增长率都会超过30%。
IDC的报告明确指出,阿里云在2021年上半年的大数据公共云的市场份额为43.5%,稳居中国各大大数据服务提供商的前列。而阿里云的大数据相关产业的规模更加巨大,我国由大数据的软件带动的硬件与服务的整体市场规模,在2025年预计突破3万亿,复合增长率将会一直保持在25%左右。
我国的十四五规划中也明确提到,要加快数据的高价值转化,必须实现以下条件:
①大体量的数据汇聚、全环节的数据采集以及工业基础大数据的建设等。
②多样性的数据处理,包括多种数据类型、多模态以及多行业的数据处理等。
③时效性的数据流动,包括数据的动态更新、数据共享空间的建立等。
④高质量的数据治理,将数据的资产和全生命周期很好地管理起来。
⑤高价值的数据转化,包括通过数据进行政府治理、社会治理、风险控制、工业升级、金融科技的升级等。

image.png

大数据在不同的行业中已经有越来越多、越来越成熟的应用。
在互联网行业的应用场景基本都是业务指标驱动的数仓的建设,目标的核心是提升运营效率、降低运营成本,通过索广推来促进用户的增长;在金融行业和传统的政企行业也已经投入数据中台的建设,从原来稳态的IT基础设施慢慢转向由数据驱动的敏态与稳态IT并存的双模IT架构,开始为整个产业链的智能化升级去搭建核心的数据基础设施。
国家规划中也明确提出,我们要培育专业化、场景化的大数据解决方案,构建多层次的工业互联网平台、建设行业的大数据平台等。
比如,在原材料企业,如何推进流程的智能化?在制造业相关企业,如何推进全价值数据链的数据流,以真正实现数据的驱动?在消费品行业如何实现精准的供需需求对接?在通信、金融、医疗、应急、农业、水利、公安、交通、电力等其他诸多行业,如何构建行业的数据平台,来推动整体的产业化升级?这些都是大数据在各产业中能够真正发挥核心价值之处。

image.png

现阶段,各行业和产业都在利用大数据的能力进行产业升级,这也对承载整个数据分析的基础大数据的平台提出了更多和更高的要求。
首先,数据的类型变得越来越丰富。在原来结构化数据BI分析的基础上,越来越多企业开始有了对半结构化、非结构化数据进行分析的需求。如何结合数据湖的技术以及数仓成熟的数据治理建模经验,为企业带来更好的分析多样化数据的能力,已经成为很多企业关注的核心问题。
其次,越来越多企业已经出现了数据孤岛问题,各个部门之间分别有属于自己的数据平台,但是数据之间的协同分析也是非常基本的刚性需求。阿里巴巴曾经耗时18个月,将不同的数据汇集到统一的数据平台,然而这对大部分企业来说是难以实现的。
因此,如何利用好企业现有的分离的数据平台,进行统一的数据管理、数据治理以及数据价值的挖掘,也已经成为当前企业对数据平台提供商非常重要的考核点。

image.png

此前,很多企业对数据分析的需求是能够花几天的时间产出一个非常丰富的报表即可,即传统的离线大数据分析。但是随着商业竞争越来越激烈,对于指导商业决策的数据分析的时效性要求越来越高。很多时候都需要针对数据进行实时分析,并结合部分离线数据分析结果,实时地提供给商业决策做分析。因此分析的时效性、相应的性价比以及最终数据分析结果的一致性,也开始被越来越多的企业所关注。
随着大数据市场的繁荣,越来越多的分析引擎涌现出来,数据湖和数仓的技术也分别在不同程度进迭代和发展。为了保证数据分析产生的价值的有效性,企业的数据质量和标准以及数据的管理和治理已经被各个行业的客户所关注。必须防止数据的garbage in和garbage out来提升数据价值挖掘的密度和有效性,因此数据平台必须要具备数据的管理和治理能力。
除此之外,数据分析全生命周期的价值也被越来越多的企业关注。不只是建设数据平台的成本,前期的硬件投入成本、后期复杂的运维成本、软件研发应用开发成本以及企业应对突发的业务增长带来应急成本,都是企业构建大数据分析平台的基本的成本。

image.png

我们将重磅发布阿里云一体化数仓,结合阿里云大数据的明星产品——MaxCompute、Hologres和DataWorks,通过一站式的大数据分析平台来解决各行各业的诸多痛点:
①通过MaxCompute与Hologres的深度融合,阿里云一体化数仓提供了丰富和灵活的离/在线一体化能力。
②通过更开放的对数据湖的支持,以及对数据分析多样化,提供了统一管理的湖仓一体的能力。
③以一份数据为基础,不断追求数仓的实时化与在线化能力的结合。
④通过DataWorks自顶向下和自底向上的双向建模能力以及数据治理与企业数据成熟度评估模型的新能力,帮助企业更加直观地感受其自身的数据成熟度。开放的DataWorks插件体系,也让阿里云的客户与行业的SV可以围绕自身的大数据去构建更多场景化数据分析的能力,从而真正助力其业务的智能化升级。
简而言之,阿里云一体化数仓会通过离/在线一体化、湖仓一体以及分析服务一体化,和全链路数据治理能力来满足各企业不断提升的对大数据分析平台能力的期待。

阿里云大数据是为业务敏捷而生的简单、易用、全托管的云原生大数据服务。激活数据生产力,分析产生业务价值。详情访问:
https://www.aliyun.com/product/bigdata/apsarabigdata

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
1月前
|
人工智能 自然语言处理 关系型数据库
阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成
近日,阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成。
|
22天前
|
人工智能 分布式计算 数据管理
阿里云位居 IDC MarketScape 中国实时湖仓评估领导者类别
国际数据公司( IDC )首次发布了《IDC MarketScape: 中国实时湖仓市场 2024 年厂商评估》,阿里云在首次报告发布即位居领导者类别。
|
24天前
|
SQL 分布式计算 数据挖掘
加速数据分析:阿里云Hologres在实时数仓中的应用实践
【10月更文挑战第9天】随着大数据技术的发展,企业对于数据处理和分析的需求日益增长。特别是在面对海量数据时,如何快速、准确地进行数据查询和分析成为了关键问题。阿里云Hologres作为一个高性能的实时交互式分析服务,为解决这些问题提供了强大的支持。本文将深入探讨Hologres的特点及其在实时数仓中的应用,并通过具体的代码示例来展示其实际应用。
124 0
|
2月前
|
存储 机器学习/深度学习 监控
阿里云 Hologres OLAP 解决方案评测
随着大数据时代的到来,企业面临着海量数据的挑战,如何高效地进行数据分析和决策变得尤为重要。阿里云推出的 Hologres OLAP(在线分析处理)解决方案,旨在为用户提供快速、高效的数据分析能力。本文将深入探讨 Hologres OLAP 的特点、优势以及应用场景,并针对方案的技术细节、部署指导、代码示例和数据分析需求进行评测。
119 7
|
2月前
|
运维 数据挖掘 OLAP
阿里云Hologres:一站式轻量级OLAP分析平台的全面评测
在数据驱动决策的今天,企业对高效、灵活的数据分析平台的需求日益增长。阿里云的Hologres,作为一站式实时数仓引擎,提供了强大的OLAP(在线分析处理)分析能力。本文将对Hologres进行深入评测,探讨其在多源集成、性能、易用性以及成本效益方面的表现。
109 7
|
3月前
|
分布式计算 安全 OLAP
7倍性能提升|阿里云AnalyticDB Spark向量化能力解析
AnalyticDB Spark如何通过向量化引擎提升性能?
|
3月前
|
人工智能 分布式计算 数据管理
阿里云位居 IDC MarketScape 中国实时湖仓评估领导者类别
国际数据公司(IDC)首度发布《IDC MarketScape: 中国实时湖仓市场 2024 年厂商评估》,阿里云荣登领导者地位。报告评估了13家厂商,涵盖互联网、云服务及大数据领域。阿里云凭借其在实时湖仓领域的创新能力,特别是Apache Paimon及与Flink的集成,实现了高效流批处理和AI增强功能,为企业提供了一体化的湖仓解决方案,支持多种数据管理和AI应用场景,展现出了强大的市场领导力和技术实力。
133 8
|
5天前
|
弹性计算 Kubernetes Cloud Native
云原生架构下的微服务设计原则与实践####
本文深入探讨了在云原生环境中,微服务架构的设计原则、关键技术及实践案例。通过剖析传统单体架构面临的挑战,引出微服务作为解决方案的优势,并详细阐述了微服务设计的几大核心原则:单一职责、独立部署、弹性伸缩和服务自治。文章还介绍了容器化技术、Kubernetes等云原生工具如何助力微服务的高效实施,并通过一个实际项目案例,展示了从服务拆分到持续集成/持续部署(CI/CD)流程的完整实现路径,为读者提供了宝贵的实践经验和启发。 ####
|
13天前
|
Kubernetes Cloud Native 持续交付
云端新纪元:云原生技术重塑IT架构####
【10月更文挑战第20天】 本文深入探讨了云原生技术的兴起背景、核心理念、关键技术组件以及它如何引领现代IT架构迈向更高效、灵活与可扩展的新阶段。通过剖析Kubernetes、微服务、Docker等核心技术,本文揭示了云原生架构如何优化资源利用、加速应用开发与部署流程,并促进企业数字化转型的深度实践。 ####
|
12天前
|
监控 Cloud Native Java
云原生架构下微服务治理策略与实践####
【10月更文挑战第20天】 本文深入探讨了云原生环境下微服务架构的治理策略,通过分析当前技术趋势与挑战,提出了一系列高效、可扩展的微服务治理最佳实践方案。不同于传统摘要概述内容要点,本部分直接聚焦于治理核心——如何在动态多变的分布式系统中实现服务的自动发现、配置管理、流量控制及故障恢复,旨在为开发者提供一套系统性的方法论,助力企业在云端构建更加健壮、灵活的应用程序。 ####
58 10