《阿里云认证的解析与实战-数据仓库ACP认证》——云上数据仓库的架构方案——四、基于AnalyticDB构建实时数据仓库

简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——云上数据仓库的架构方案——四、基于AnalyticDB构建实时数据仓库

1. AnalyticDB构建实时数仓大图

 

image.png

 

实时数仓要求数据具有实时性。数据链路实时化依赖阿里云的DTS,将MySQL、SQL Server、Oracle等数据实时传输到ADB中,DTS可以读取数据库的binlog,对源端无影响,也可以通过DMS、Dataworks对数据进行抽取到数仓里,还可以将日志数据、MQ、流计算产生的数据,通过SLS写入到ADB数仓里。

 

支持的数据源

https://help.aliyun.com/document_detail/123754.html

 

2. DTS实时同步

 

• 数据传输(Data Transmission)DTS的数据同步功能,旨在帮助用户实现两个数据源之间的数据实时同步。

• DTS通过解析数据源的增量日志,如binlog,将增量实时同步到AnalyticDB中。

 

创建DTS实时同步步骤:

 

1) 创建DTS同步:源库类型、目标库AnalyticDB、同步链路规格。

2) 配置任务:源库实例、目标实例、授权白名单。

3) 同步对象设置:全量数据、增量数据、DDL过滤、DML设置。

4) 对象映射 :源库对象、目标对象、多表归并、字段映射。

5) 日志表设置:分区键、主键键。

6) 预检查并启动:检查出错、重新修改、启动暂停。

 

多数据源支持:RDS MySQL、PolarDB MySQL、PolarDB-X

 

DTS RDS同步到AnalyticDB

https://help.aliyun.com/document_detail/49082.html?spm=a2c4g.11186623.6.700.1072612epv6gED

 

3. SLS实时投递

 

通过阿里云日志服务广泛的日志采集能力,加上AnalyticDB内建的灵活可定制的ETL能力,进行数据湖投递、处理、分析。

 

以游戏数据运营融合分析为例:

 

• SLS日志服务:项目Project、日志库、Logstore、配置数据接入(日志源)。

• 数据投递OSS:OSS投递选项、分区格式、压缩方式、RAM角色、投递时间、直接投递到AnalyticD。

• 清洗加工:配置OSS接入、DSL(处理数据)、投递到AnalyticDB。

• AnalyticDB分析:数据分析。

 

image.png

 

将日志服务SLS数据投递到AnalyticDB

https://help.aliyun.com/document_detail/149689.htm?spm=a2c4g.11186623.0.0.48012addh2hTqP#task-2376265

 

游戏数据运营最佳实践参考

https://bp.aliyun.com/front/home/detail/157?spm=a2c6h.12873639.0.0.76e32b86lokOfH

 

4. DMS企业版数仓开发与调度

 

数据管理(Data Management)DMS的数仓开发,旨在为用户提供数据集成、加工、可视化和价值挖掘的一站式开发平台。提供任务编排、数据仓库两种开发模式,均可以实现周期调度,满足用户不同应用场景的数仓开发需求。

 

• 多数据源支持:MySQL、PolarDB、PolarDB-X、AnalyticDB、PostgresSQL、SQL Server、Oracle

• 多周期:月、周、日、小时、分钟

• 两种方式增量:数据迁移、跨库SQL

 

DMS官网

https://cn.aliyun.com/product/dms

 

1) DMS数仓开发-数据迁移实现增量流程

 

• 创建任务流:设置任务基本信息。

• 创建数据迁移节点:设置源数据、设置目标为AnalyticDB、通过数据迁移实现。

• 编排任务:DAG任务节点顺序、前置依赖、试运行、指定时间运行。

• 配置调度:调度类型、调度周期、调度类型。

• 运维中心:执行日志查看、终止、重跑、暂停、恢复、置成功。

 

DMS数据迁移实现增量

https://help.aliyun.com/document detail/147250.html

 

2) DMS数仓开发 - 跨库SQL增量流程

 

• 创建任务流:设置任务基本信息。

• 创建跨库SQL任务:设通过DBlink获取数据、数据抽取SQL,设置增量变量(e.g.updata_at)变量格式定义。

• 编排任务:DAG任务节点顺序、前置依赖、试运行、指定时间运行。

• 配置调度:调度类型、调度周期、运行时带入变量的当前值。

• 运维中心:执行日志查看、终止、重跑、暂停、恢复、置成功。

 

DMS数据迁移实现增量

https://help.aliyun.com/document detail/139316.html

 

使用AnalyticDB构建实时数仓依赖DTS、SLS等实时工具,将关系型数据、日志类实时数据投递到AnalyticDB里,依赖DMS的数仓开发平台,基于AnalyticDB里的数据进行开发调度,包括实现DAG的任务重试能力。

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
机器学习/深度学习 算法 大数据
构建数据中台,为什么“湖仓一体”成了大厂标配?
在大数据时代,数据湖与数据仓库各具优势,但单一架构难以应对复杂业务需求。湖仓一体通过融合数据湖的灵活性与数据仓的规范性,实现数据分层治理、统一调度,既能承载海量多源数据,又能支撑高效分析决策,成为企业构建数据中台、推动智能化转型的关键路径。
|
人工智能 关系型数据库 OLAP
光云科技 X AnalyticDB:构建 AI 时代下的云原生企业级数仓
AnalyticDB承载了光云海量数据的实时在线分析,为各个业务线的商家提供了丝滑的数据服务,实时物化视图、租户资源隔离、冷热分离等企业级特性,很好的解决了SaaS场景下的业务痛点,也平衡了成本。同时也基于通义+AnalyticDB研发了企业级智能客服、智能导购等行业解决方案,借助大模型和云计算为商家赋能。
1278 17
|
存储 缓存 网络协议
阿里云特惠云服务器99元与199元配置与性能和适用场景解析:高性价比之选
2025年,阿里云长效特惠活动继续推出两款极具吸引力的特惠云服务器套餐:99元1年的经济型e实例2核2G云服务器和199元1年的通用算力型u1实例2核4G云服务器。这两款云服务器不仅价格亲民,而且性能稳定可靠,为入门级用户和普通企业级用户提供了理想的选择。本文将对这两款云服务器进行深度剖析,包括配置介绍、实例规格、使用场景、性能表现以及购买策略等方面,帮助用户更好地了解这两款云服务器,以供参考和选择。
|
存储 域名解析 弹性计算
阿里云上云流程参考:云服务器+域名+备案+域名解析绑定,全流程图文详解
对于初次通过阿里云完成上云的企业和个人用户来说,很多用户不仅是需要选购云服务器,同时还需要注册域名以及完成备案和域名的解析相关流程,从而实现网站的上线。本文将以上云操作流程为核心,结合阿里云的活动政策与用户系统梳理云服务器选购、域名注册、备案申请及域名绑定四大关键环节,以供用户完成线上业务部署做出参考。
|
分布式计算 Serverless OLAP
实时数仓Hologres V3.1版本发布,Serverless型实例从零开始构建OLAP系统
Hologres推出Serverless型实例,支持按需计费、无需独享资源,适合新业务探索分析。高性能查询内表及MaxCompute/OSS外表,弹性扩展至512CU,性能媲美主流开源产品。新增Dynamic Table升级、直读架构优化及ChatBI解决方案,助力高效数据分析。
实时数仓Hologres V3.1版本发布,Serverless型实例从零开始构建OLAP系统
|
存储 分布式计算 物联网
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台,实现了数据与 AI 技术的有效融合,解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台,最终实现不同场景下整体性能提升50%以上,同时综合成本下降30%。
1435 58
|
运维 API 开发工具
【阿里云】操作系统控制台操作体验与性能评测全解析
操作系统控制台是现代云计算环境中进行系统管理和运维的重要工具,提供系统概览、诊断、观测、管理等功能,支持API、SDK、CLI等管理方式。通过创建角色、系统配置和组件安装等操作,用户可以高效管理云端资源,提升操作系统的使用效率和稳定性。尤其适合需要高效管理操作系统的用户及学习云计算、网络管理的学生。建议增强自定义功能、优化性能报告和完善文档支持,以进一步提升用户体验。
600 21
【阿里云】操作系统控制台操作体验与性能评测全解析
|
存储 SQL 分布式计算
MaxCompute x 聚水潭:基于近实时数仓解决方案构建统一增全量一体化数据链路
聚水潭作为中国领先的电商SaaS ERP服务商,致力于为88,400+客户提供全链路数字化解决方案。其核心ERP产品助力企业实现数据驱动的智能决策。为应对业务扩展带来的数据处理挑战,聚水潭采用MaxCompute近实时数仓Delta Table方案,有效提升数据新鲜度和计算效率,提效比例超200%,资源消耗显著降低。未来,聚水潭将进一步优化数据链路,结合MaxQA实现实时分析,赋能商家快速响应市场变化。
729 0
|
SQL 存储 HIVE
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
本文整理自鹰角网络大数据开发工程师朱正军在Flink Forward Asia 2024上的分享,主要涵盖四个方面:鹰角数据平台架构、数据湖选型、湖仓一体建设及未来展望。文章详细介绍了鹰角如何构建基于Paimon的数据湖,解决了Hudi入湖的痛点,并通过Trino引擎和Ranger权限管理实现高效的数据查询与管控。此外,还探讨了湖仓一体平台的落地效果及未来技术发展方向,包括Trino与Paimon的集成增强、StarRocks的应用以及Paimon全面替换Hive的计划。
2317 1
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目

热门文章

最新文章

推荐镜像

更多
  • DNS