离线实时一体化新能力解读5一、离线实时一体化新能力解读分享人:隆志强,阿里云智能高级产品专家扫码可在线观看课程1.实时离线一体化概述当前从第一代离线数仓发展到第二代实时数仓,再到第三代实时离线一体化数仓,演进过程和价值可以参考以下两篇文章,《离线实时一体化数仓与湖仓一体--云原生大数据平台的持续演进》、《云原生离线实时一体化数仓建设与实践》。本文分享的主要内容是实时离线一体化数仓的新能力。大数据数仓体系从“纷繁芜杂”的多组件多模块架构逐步演进到“化繁为简”的实时离线一体化数仓,其核心是面向海量数据加工场景设计的离线数仓引擎以及面向实时加工、实时存储、实时分析的实时数仓引擎,在阿里巴巴主要通过大数据计算服务MaxCompute和实时数仓Hologres来对应这两块核心引擎能力,同时匹配Flink的实时加工能力,将加工和服务,查询和存储尽量缩减为更少的组件,同时保留各个组件在对应场景的优势能力,构成了阿里云一体化数仓的核心引擎组件。通过组件间的数据和元数据互通实现数据的分层处理,当前这套架构适用于海量数据的数据治理、离线分析、实时分析、数仓集市、多模分析、机器学习在线模型等场景,帮助客户构
  • 提到的云产品
    云原生大数据计算服务 MaxCompute

      MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库,以 Serverless 架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您可以经济并高效的分析处理海量数据。数以万计的企业正基于 MaxCompute 进行数据计算与分析,将数据高效转换为业务洞察。点击查看产品详情!

  • 提到的云产品
    大数据开发治理平台 DataWorks

      DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。作为阿里巴巴数据中台的建设者,DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论,同时与数万名政务/金融/零售/互联网/能源/制造等客户携手,助力产业数字化升级。点击查看产品详情!

  • 提到的云产品
    实时数仓Hologres(原交互式分析)

      Hologres是一站式实时数据仓库引擎,支持海量数据实时写入、实时更新、实时分析,支持标准SQL(兼容PostgreSQL协议),支持PB级数据多维分析(OLAP)与即席分析(Ad Hoc),支持高并发低延迟的在线数据服务(Serving),与MaxCompute、Flink、DataWorks深度融合,提供离在线一体化全栈数仓解决方案。点击查看产品详情!

  • 配套课程
    |边读边学
  • 读书笔记
    我的笔记
    暂无相关笔记,快来写一篇吧!
点击浏览下一章>>