数智时代新基石,贾扬清重磅发布新一代云原生数据仓库与数据湖

简介: 6月9日, 在2020阿里云峰会上,阿里巴巴副总裁、阿里云计算平台事业部高级研究员贾扬清宣布推出新一代云原生数据仓库和数据湖解决方案。基于创新的技术架构,新一代云原生数据仓库可支持PB级数据关联分析和实时查询,实现离线、实时、分析、服务的四位一体。同时推出的数据湖解决方案,采用一种存储多种计算理念,基于存储与计算分离架构和全新大数据分析加速引擎,可实现与本地计算一样的快速体验,激发企业数智动能。

6月9日, 在2020阿里云峰会上,阿里巴巴副总裁、阿里云计算平台事业部高级研究员贾扬清宣布推出新一代云原生数据仓库和数据湖解决方案。基于创新的技术架构,新一代云原生数据仓库可支持PB级数据关联分析和实时查询,实现离线、实时、分析、服务的四位一体。同时推出的数据湖解决方案,采用一种存储多种计算理念,基于存储与计算分离架构和全新大数据分析加速引擎,可实现与本地计算一样的快速体验,激发企业数智动能。
image.png

以下为贾扬清演讲全文[(附视频回顾>>)](https://summit.aliyun.com/events?liveId=2923image.png


如今我们谈到产业数字化,数字产业化,今天绝大多数的经济活动、数据的沉淀分析和服务都是离不开的。同时我们又说摸着石头过河,绝大多数的企业在业务升级跟技术升级的过程当中,往往都采取一个摸着石头过河的方法,在遇到不同的数据分析跟服务的需求的时候,寻找单个的单点的系统来解决它实际的单点的问题。这样的一个过程就会遇到最后的一个问题,是在一个看似完整的系统背后,是一个一个的数据的孤岛,这些孤岛之间数据的联通,数据的实时传输都变成了非常大的问题。
image.png
从一个整个企业的角度来说,业务所看到的是数据洞察的困难,而系统看到的是数据分裂的成本,作为企业业务如此重要的数据仓库的概念,我觉得我们需要顶层的设计来重构数据仓库,这是我们今天向大家展示的基于Hologres、MaxCompute、Realtime Compute的离线、实时、分析、服务一体化的,实时即服务的一个理念。如果我们回到数据仓库最本质的需求的话,其实它的本质问题并不复杂。数据仓库需要把多个来源的数据综合在一起,实时地沉淀到一套存储上去,同时在上面做多种形态的,无论是离线、实时还是交互式的分析,以及做结果的展示和服务。我们以前经常听到的一个概念叫HTAP(Hybrid Transaction and Analytical Process),事物跟分析的一体化,对于事物来说,它更多的是在考察一个数据的单位,比如说一个数据库,对于读写性能和安全性这样的一些指标。但是今天我们所看到的是,分析跟服务是更加一体的。分析,是说我们要把这样海量的数据当中的规律分析洞察出来,那么同时这些洞察的最终目的是为了服务,无论是数据大屏还是运营分析,它都是一个展示服务数据的一个过程。要解决数据孤岛的问题,我们就要把分析的形态跟服务的形态更紧的结合起来。我们把这样的一种模式叫HSAP(Hybrid Serving Analytical Processing),基于Hologres跟MaxCompute这样的一个数仓,我们可以实现Hologres跟MaxCompute数据的打通,通过Hologres来实现高性能、低延时的分析,同时通过MaxCompute来实现大规模、低成本的离线计算。在这样的一个基础上面,我们可以实时的将这些数据分析的结果以及实时沉淀的数据,推送到不同的像大屏和运营看板这样的一些服务上去。

image.png

在阿里巴巴集团内,对于数据最大的一个需求可能是在双11这一天,它有了大量的数据流转,也有着非常复杂的业务决策。在2019年的时候,我们通过Hologres跟MaxCompute这样的一个数仓,给我们支持业务的系统做了一次升级。在双11当天的时候,我们这一套系统支持了总共1.45亿次的在线查询,这些查询再往上所支持的是非常复杂的业务的分析和决策的一个过程。这些分析的背后同时又是带有着1.3亿条实时记录写入的一个大规模的数据体量。顶层设计走对了之后,性能其实并不是问题。基于MaxCompute、RealtimeCompute和Hologres,这样的一整套数仓体系可以解决我们数据孤岛的问题。在没有数据冗余的这样一个情况下面,来简化系统,降低成本,同时来提升我们数据分析的效率。我们也考虑到在建设一个数仓的时候,开源、社区和生态是很重要的,所以我们在建设Hologres的时候,采取了基于PostgreSQL这样的一个完全兼容开源的生态体系。数据工程师和上层的BI工具,可以更加容易地、无缝地把自己现有的系统接入到Hologres和MaxCompute,实现分析和服务的一个无缝迁移。
image.png

实时即服务,基于HSAP这样的一个理念,我们可以大大的简化数仓的设计,真正的实现在数据全生命周期当中离线、实时、分析、服务一体化的一个系统。

在企业上云的过程当中,我们还看到另外一个需求,就是海量的异构数据,这些数据可能是日志,可能是图片、视频、语音也有可能是在之前经营过程当中沉淀下来的大量的数据形态。这些数据和数仓所解决的结构化数据的问题是不太一致的,他们变得更加的多样,更加的非结构化,但是同时他们也有和结构化数据一样的需求:海量、高速、安全、智能以及无缝上云。基于这样的一个需求,已经有1000多家企业在我们阿里云OSS对象存储这样的一个通用存储的解决方案上面,来构建一体化的数据湖解决方案。数据湖可以给大家解决两个问题。第一个问题是解决多种形态的数据的无缝接入、聚合的一个问题,他可以把多样的数据都放在同一套存储上面,同时在这套存储上面,它可以更快地对接多种自建和托管的引擎,来实现不同的分析服务的业务的创新,无论是搜索推荐、机器学习,还是其他各种多种多样的服务形态。
image.png

今天我们在这里重磅发布新一代云原生的数据仓库和数据湖的解决方案,背后的理念是从数据孤岛到一种存储,多种计算、实时即服务这样的一个系统设计。在阿里云上面我们还有数据的综合治理DataWorks和机器学习PAI这样的平台,通过这一整套的数据产品,我们可以实现应用的数据化和智能化。我们认为未来每一家企业都应该在云上建设数据仓库和数据湖,解决纷繁复杂的数据问题。

本次峰会Hologres商业版首发,指定规格首月三折!立即体验>>
了解更多峰会大数据&AI详情请点击:https://www.aliyun.com/activity/bigdata/2020live

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
4月前
|
人工智能 弹性计算 自然语言处理
让 AI Agent 更懂 Terraform:用 Alibaba Cloud Agent Toolkit 生成和纳管阿里云资源
面向希望使用 Terraform 管理阿里云基础设施的开发者和企业用户,Alibaba Cloud Agent Toolkit 新增 Terraform 能力,覆盖 IaC 落地的两个关键入口:新资源建设与存量资源纳管。通过自然语言生成 Terraform HCL、存量资源导入 Terraform、IaCService Schema 实时查询、ResourceCenter 资源发现以及 Terraform Validate / Plan 校验闭环,Toolkit 让 AI Agent 不再只依赖模型记忆,而是基于真实云资源上下文辅助用户生成、迁移和持续治理阿里云资源。
522 0
|
存储 移动开发 前端开发
七夕特辑——3D爱心(可监听鼠标移动)
七夕特辑——3D爱心(可监听鼠标移动)
|
机器学习/深度学习 人工智能 芯片
极智AI | 谈谈为什么量化能加速推理
本文主要讨论一下为什么量化能加速模型推理。
1422 0
|
人工智能 API 数据库
MCP Server 开发实战 | 大模型无缝对接 Grafana
以 AI 世界的“USB-C”标准接口——MCP(Model Context Protocol)为例,演示如何通过 MCP Server 实现大模型与阿里云 Grafana 服务的无缝对接,让智能交互更加高效、直观。
4523 124
|
存储 人工智能 分布式计算
ODPS十五周年实录|为 AI 而生的数据平台
本文根据ODPS十五周年·年度升级发布实录整理而成,演讲信息如下: 陈守元(巴真):阿里云智能集团计算平台事业部大数据产品总监 活动:【数据进化·AI启航】ODPS年度升级发布
994 0
|
编解码 自然语言处理 安全
📣通义大模型新成员Qwen-VLo,重磅上线,它实现了从“看懂”世界到“描绘”世界
通义千问团队推出全新多模态统一理解与生成模型Qwen VLo,具备强大的图像理解与生成能力。它不仅能“看懂”图像内容,还能基于理解进行高质量再创造,实现从感知到生成的跨越。支持开放指令编辑、多语言交互及复杂任务处理,适用于图像生成、风格迁移、检测标注等多种场景。
2047 1
|
JavaScript Java 微服务
现代化 Java Web 在线商城项目技术方案与实战开发流程及核心功能实现详解
本项目基于Spring Boot 3与Vue 3构建现代化在线商城系统,采用微服务架构,整合Spring Cloud、Redis、MySQL等技术,涵盖用户认证、商品管理、购物车功能,并支持Docker容器化部署与Kubernetes编排。提供完整CI/CD流程,助力高效开发与扩展。
1368 64
|
分布式计算 数据处理 流计算
【原理】Flink如何巧用WaterMark机制解决乱序问题
【原理】Flink如何巧用WaterMark机制解决乱序问题
|
自然语言处理 Java API
音频的文本切换
音频的文本切换
462 0
|
安全 数据处理 云计算
阿里云神龙架构的背景
阿里云神龙架构的背景