《阿里云认证的解析与实战-数据仓库ACP认证》——云上数据仓库的架构方案——四、基于AnalyticDB构建实时数据仓库

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——云上数据仓库的架构方案——四、基于AnalyticDB构建实时数据仓库

1. AnalyticDB构建实时数仓大图

 

image.png

 

实时数仓要求数据具有实时性。数据链路实时化依赖阿里云的DTS,将MySQL、SQL Server、Oracle等数据实时传输到ADB中,DTS可以读取数据库的binlog,对源端无影响,也可以通过DMS、Dataworks对数据进行抽取到数仓里,还可以将日志数据、MQ、流计算产生的数据,通过SLS写入到ADB数仓里。

 

支持的数据源

https://help.aliyun.com/document_detail/123754.html

 

2. DTS实时同步

 

数据传输(Data Transmission)DTS的数据同步功能,旨在帮助用户实现两个数据源之间的数据实时同步。

DTS通过解析数据源的增量日志,如binlog,将增量实时同步到AnalyticDB中。

 

创建DTS实时同步步骤

 

1) 创建DTS同步:源库类型、目标库AnalyticDB、同步链路规格。

2) 配置任务:源库实例、目标实例、授权白名单。

3) 同步对象设置:全量数据、增量数据、DDL过滤、DML设置。

4) 对象映射 :源库对象、目标对象、多表归并、字段映射。

5) 日志表设置:分区键、主键键。

6) 预检查并启动:检查出错、重新修改、启动暂停。

 

多数据源支持:RDS MySQL、PolarDB MySQL、PolarDB-X

 

DTS RDS同步到AnalyticDB

https://help.aliyun.com/document_detail/49082.html?spm=a2c4g.11186623.6.700.1072612epv6gED

 

3. SLS实时投递

 

通过阿里云日志服务广泛的日志采集能力,加上AnalyticDB内建的灵活可定制的ETL能力,进行数据湖投递、处理、分析。

 

以游戏数据运营融合分析为例:

 

SLS日志服务:项目Project、日志库、Logstore、配置数据接入(日志源)。

数据投递OSS:OSS投递选项、分区格式、压缩方式、RAM角色、投递时间、直接投递到AnalyticD。

清洗加工:配置OSS接入、DSL(处理数据)、投递到AnalyticDB。

AnalyticDB分析:数据分析。

 

image.png

 

将日志服务SLS数据投递到AnalyticDB

https://help.aliyun.com/document_detail/149689.htm?spm=a2c4g.11186623.0.0.48012addh2hTqP#task-2376265

 

游戏数据运营最佳实践参考

https://bp.aliyun.com/front/home/detail/157?spm=a2c6h.12873639.0.0.76e32b86lokOfH

 

4. DMS企业版数仓开发与调度

 

数据管理Data ManagementDMS的数仓开发,旨在为用户提供数据集成、加工、可视化和价值挖掘的一站式开发平台。提供任务编排、数据仓库两种开发模式,均可以实现周期调度,满足用户不同应用场景的数仓开发需求。

 

多数据源支持:MySQL、PolarDB、PolarDB-X、AnalyticDB、PostgresSQL、SQL Server、Oracle

多周期:月、周、日、小时、分钟

两种方式增量:数据迁移、跨库SQL

 

DMS官网

https://cn.aliyun.com/product/dms

 

1) DMS数仓开发-数据迁移实现增量流程

 

创建任务流:设置任务基本信息。

创建数据迁移节点:设置源数据、设置目标为AnalyticDB、通过数据迁移实现。

编排任务:DAG任务节点顺序、前置依赖、试运行、指定时间运行。

配置调度:调度类型、调度周期、调度类型。

运维中心:执行日志查看、终止、重跑、暂停、恢复、置成功。

 

DMS数据迁移实现增量

https://help.aliyun.com/document detail/147250.html

 

2) DMS数仓开发 - 跨库SQL增量流程

 

创建任务流:设置任务基本信息。

创建跨库SQL任务:设通过DBlink获取数据、数据抽取SQL,设置增量变量(e.g.updata_at)变量格式定义。

编排任务:DAG任务节点顺序、前置依赖、试运行、指定时间运行。

配置调度:调度类型、调度周期、运行时带入变量的当前值。

运维中心:执行日志查看、终止、重跑、暂停、恢复、置成功。

 

DMS数据迁移实现增量

https://help.aliyun.com/document detail/139316.html

 

使用AnalyticDB构建实时数仓依赖DTS、SLS等实时工具,将关系型数据、日志类实时数据投递到AnalyticDB里,依赖DMS的数仓开发平台,基于AnalyticDB里的数据进行开发调度,包括实现DAG的任务重试能力。

相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
10天前
|
资源调度 前端开发 JavaScript
第十章(应用场景篇) Single-SPA微前端架构深度解析与实践教程
第十章(应用场景篇) Single-SPA微前端架构深度解析与实践教程
|
2天前
|
设计模式 前端开发 Android开发
Android应用开发中的MVP架构模式解析
【5月更文挑战第25天】本文深入探讨了在Android应用开发中广泛采用的一种设计模式——Model-View-Presenter (MVP)。文章首先概述了MVP架构的基本概念和组件,接着分析了它与传统MVC模式的区别,并详细阐述了如何在实际开发中实现MVP架构。最后,通过一个具体案例,展示了MVP架构如何提高代码的可维护性和可测试性,以及它给开发者带来的其他潜在好处。
|
3天前
|
存储 弹性计算 人工智能
【阿里云弹性计算】深度解析阿里云ECS弹性裸金属服务器:性能与弹性的完美平衡
【5月更文挑战第24天】阿里云ECS弹性裸金属服务器融合物理机高性能与云服务弹性,提供计算、存储及网络优势。支持秒级伸缩、自动扩展,适用于高性能计算、游戏、企业应用及AI场景。示例代码展示如何通过CLI创建实例,是高需求场景的理想选择。
21 0
|
3天前
|
域名解析 网络协议 安全
【域名解析DNS专栏】云服务中的DNS解析服务比较:阿里云、AWS、Azure大PK
【5月更文挑战第23天】此对比分析探讨了阿里云DNS、AWS Route 53和Azure DNS的服务特点。阿里云DNS以其智能解析和IPv6支持脱颖而出,适合中国地区用户;AWS Route 53凭借其强大的路由策略和与AWS生态的深度集成吸引高级用户;Azure DNS则以简洁管理和DNSSEC安全支持见长,与Azure平台集成良好。选择取决于具体需求,如功能、易用性、性能、安全性和成本。
【域名解析DNS专栏】云服务中的DNS解析服务比较:阿里云、AWS、Azure大PK
|
5天前
|
存储 关系型数据库 分布式数据库
【PolarDB开源】PolarDB高可用架构解析:确保业务连续性的关键设计
【5月更文挑战第22天】阿里云PolarDB是一款高可用、高性能的云原生数据库,采用分布式共享存储架构实现计算与存储分离。通过主从复制保证数据实时同步,当主节点故障时,从节点能快速接管。此外,PolarDB提供自动故障转移和数据备份恢复功能,确保业务连续性和数据安全性。一个简单的Python SDK使用示例展示了查询数据的过程。总之,PolarDB通过多种机制保障了企业在异常情况下的服务稳定和数据完整性。
63 5
|
7天前
|
存储 弹性计算 监控
【阿里云弹性计算】阿里云ECS全面解析:弹性计算服务的核心优势与应用场景
【5月更文挑战第20天】阿里云ECS是提供可伸缩计算能力的云服务,支持多种规格实例,满足不同需求。其核心优势包括灵活性、高性能、高可用性、安全性和易用性。适用场景包括网站托管、大数据处理、游戏多媒体应用及测试开发环境。通过Python示例代码展示了如何创建ECS实例,助力企业专注业务发展,简化基础设施管理。
40 5
|
7天前
|
机器学习/深度学习 存储 并行计算
深入解析xLSTM:LSTM架构的演进及PyTorch代码实现详解
xLSTM的新闻大家可能前几天都已经看过了,原作者提出更强的xLSTM,可以将LSTM扩展到数十亿参数规模,我们今天就来将其与原始的lstm进行一个详细的对比,然后再使用Pytorch实现一个简单的xLSTM。
22 2
|
7天前
|
存储 弹性计算 Kubernetes
【阿里云云原生专栏】深入解析阿里云Kubernetes服务ACK:企业级容器编排实战
【5月更文挑战第20天】阿里云ACK是高性能的Kubernetes服务,基于开源Kubernetes并融合VPC、SLB等云资源。它提供强大的集群管理、无缝兼容Kubernetes API、弹性伸缩、安全隔离及监控日志功能。用户可通过控制台或kubectl轻松创建和部署应用,如Nginx。此外,ACK支持自动扩缩容、服务发现、负载均衡和持久化存储。多重安全保障和集成监控使其成为企业云原生环境的理想选择。
148 3
|
9天前
|
iOS开发 Python
mac:python安装路径,带你全面解析Python框架体系架构view篇
mac:python安装路径,带你全面解析Python框架体系架构view篇
|
12天前
|
前端开发 测试技术 数据处理
安卓开发中的MVP架构模式深度解析
【4月更文挑战第30天】在移动应用开发领域,模型-视图-呈现器(Model-View-Presenter, MVP)是一种广泛采用的架构模式。它旨在通过解耦组件间的直接交互来提高代码的可维护性和可测试性。本文将深入探讨MVP在安卓开发中的应用,揭示其如何促进代码的模块化,提升用户界面的响应性,并简化单元测试过程。我们将从理论概念出发,逐步过渡到实践案例,为读者提供一套行之有效的MVP实施策略。

热门文章

最新文章