《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(下)——二、数据导入导出与同步链路搭建(上)

简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(下)——二、数据导入导出与同步链路搭建(上)

AnalyticDB MySQL是云原生数据仓库产品,并不产生数据,数据源通过阿里云产品DTS数据传输工具,将业务数据库或生产数据库的数据导入。

 

1. 数据导入导出

 

AnalyticDB MySQL版提供多种数据导入方案,可满足不同场景下的数据导入需求。

 

数据库支持

RDS MySQL;PolarDB-X(原DRDS)

 PolarDB MySQL;Oracle;SQL Server

 

OSS导入方式

 INSERT外表:通过外表导入OSS数据

 DataWorks:配置OSS数据源

 

大数据MaxCompute导入方式

 INSERT外表:通过INSERT外表方式导入MaxCompute数据

 DataWorks:配置MaxCompute数据源

 Hadoop;Flink

 

消息队列Kafka数据导入方式

 使用Logstash插件:使用Logstash将Kafka数据写入AnalyticDB MySQL

 DataWorks:配置Kafka读取

 

日志类数据导入方式

 SLS:将SLS数据投递到AnalyticDB

 DataWorks:配置SLS读取

 日志数据使用Logstash插件:使用Logstash实时采集日志数据

 

本地数据导入方式

 LOAD DATA:使用LOAD DATA导入本地数据

 DataWorks:先将数据导入OSS或者FTP,再使用OSS读取或者FTP读取的方式导入

 导入工具:使用AnalyticDB MySQL版导入工具导入本地数据

 

2. DML本地数据导入

 

DML本地数据导入主要有三个步骤:

 

本地客户端:配置my.cnf配置文件,开启local-file功能

AnalyticDBMySQL:创建目标表

DML命令导入:LOAD DATA

 

image.png 

LOAD DATA导入示例

 

3. DML外表式数据导入导出

 

OSS、MySQL、MaxCompute可以通过AnalyticDB MySQL映射表进行数据导入导出操作。

 

说明

RDS MySQL与AnalyticDB MySQL必须在同一个VPC下,ADB通过VPC地址访问MySQL可以是ECS自建MySQL。OSS与AnalyticDB MySQL所属Region需要相同。

 

1) 创建外部表

 

示例:在AnalyticDB MySQL的adb_demo数据库中创建外部映射表courses external table。

 

CREATE TABLE IF NOT EXISTS courses_external_table(
id bigint NOT NULL,
name verchar(32) NOT NULL,
grade varchar(32) NOT NULL,
submission_date timestamp NOT NULL,
PRIMARY KEY(id)
)
ENGINE='mysql'
TABLE_PROPERTES='{
"url": "jdbc:mysql://mysql-vpc-address:3306/testadb",
"tablename":"courses",
"Username":"mysql-User-name",
"password":"mysql-user-password"
}'

 

参数说明

ENGINE='mysql':表示该表是外部表,使用的存储引擎是MySQL

TABLEPROPERTIES:用于告知AnalyticDB 如何访问MySQL中的数据

url:MySQL中的内网地址,即VPC连接地址,地址格式为:"jdbc:mysql://mysql-vpc-address:3306/rds-database-name"

tablename:MySQL中的源表

Username&password:MySQL中访问数据库的用户名和密码

 

2) DML外表式数据导入导出-MySQL

 

通过AnalyticDB MySQL映射表进行数据导入导出操作,需要如下三个步骤:

 

前提准备:完成实例创建、设置白名单、创建账号前提准备和数据库、创建表,示例:分别在两个数据库内创建表导入导出数据的表。

创建映射表:登录AnalyticDBMySQL,创建需导入导出数据的表的映射表。

 

image.png

 

数据导入导出

 

insert into courses_external_table select * from adb_courses;

 

——AnalyticDB导入到Rds

 

insert into adb_courses select * from courses_external_table;

 

——Rds导入到AnalyticDB

 

更多精彩内容,欢迎观看:

《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(下)——二、数据导入导出与同步链路搭建(下)https://developer.aliyun.com/article/1222971?groupCode=certification

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
SQL 分布式计算 DataWorks
破界·融合·进化:解码DataWorks与Hologres的湖仓一体实践
基于阿里云DataWorks与实时数仓Hologres,提供统一的大数据开发治理平台与全链路实时分析能力。DataWorks支持多行业数据集成与管理,Hologres实现海量数据的实时写入与高性能查询分析,二者深度融合,助力企业构建高效、实时的数据驱动决策体系,加速数字化升级。
|
存储 监控 数据挖掘
京东物流基于Flink & StarRocks的湖仓建设实践
本文整理自京东物流高级数据开发工程师梁宝彬在Flink Forward Asia 2024的分享,聚焦实时湖仓的探索与建设、应用实践、问题思考及未来展望。内容涵盖京东物流通过Flink和Paimon等技术构建实时湖仓体系的过程,解决复杂业务场景下的数据分析挑战,如多维OLAP分析、大屏监控等。同时,文章详细介绍了基于StarRocks的湖仓一体方案,优化存储成本并提升查询效率,以及存算分离的应用实践。最后,对未来数据服务的发展方向进行了展望,计划推广长周期数据存储服务和原生数据湖建设,进一步提升数据分析能力。
1444 1
京东物流基于Flink & StarRocks的湖仓建设实践
|
存储 SQL 运维
中国联通网络资源湖仓一体应用实践
本文分享了中国联通技术专家李晓昱在Flink Forward Asia 2024上的演讲,介绍如何借助Flink+Paimon湖仓一体架构解决传统数仓处理百亿级数据的瓶颈。内容涵盖网络资源中心概况、现有挑战、新架构设计及实施效果。新方案实现了数据一致性100%,同步延迟从3小时降至3分钟,存储成本降低50%,为通信行业提供了高效的数据管理范例。未来将深化流式数仓与智能运维融合,推动数字化升级。
790 0
中国联通网络资源湖仓一体应用实践
|
存储 消息中间件 分布式计算
Hologres实时数仓在B站游戏的建设与实践
本文介绍了B站游戏业务中实时数据仓库的构建与优化过程。为满足日益增长的数据实时性需求,采用了Hologres作为核心组件优化传统Lambda架构,实现了存储层面的流批一体化及离线-实时数据的无缝衔接。文章详细描述了架构选型、分层设计(ODS、DWD、DIM、ADS)及关键技术挑战的解决方法,如高QPS点查、数据乱序重写等。目前,该实时数仓已广泛应用于运营分析、广告投放等多个场景,并计划进一步完善实时指标体系、扩展明细层应用及研发数据实时解析能力。
Hologres实时数仓在B站游戏的建设与实践
|
存储 分布式计算 MaxCompute
Hologres实时湖仓能力入门实践
本文由武润雪(栩染)撰写,介绍Hologres 3.0版本作为一体化实时湖仓平台的升级特性。其核心能力包括湖仓存储一体、多模式计算一体、分析服务一体及Data+AI一体,极大提升数据开发效率。文章详细解析了两种湖仓架构:MaxCompute + Hologres实现离线实时一体化,以及Hologres + DLF + OSS构建开放湖仓架构,并深入探讨元数据抽象、权限互通等重点功能,同时提供具体使用说明与Demo演示。
|
12月前
|
SQL 存储 运维
Apache Doris 在菜鸟的大规模湖仓业务场景落地实践
本文介绍了 Apache Doris 在菜鸟的大规模落地的实践经验,菜鸟为什么选择 Doris,以及 Doris 如何在菜鸟从 0 开始,一步步的验证、落地,到如今上万核的规模,服务于各个业务线,Doris 已然成为菜鸟 OLAP 数据分析的最优选型。
682 2
Apache Doris 在菜鸟的大规模湖仓业务场景落地实践
|
监控 关系型数据库 MySQL
DTS实时同步进阶:MySQL到AnalyticDB毫秒级ETL管道搭建
本方案采用“Binlog解析-数据清洗-批量写入”三级流水线架构,实现MySQL到AnalyticDB的高效同步。通过状态机解析、内存格式转换与向量化写入技术,保障毫秒级延迟(P99<300ms)、50万+ TPS吞吐及99.99%数据一致性,支持高并发、低延迟的数据实时处理场景。
407 10
|
存储 消息中间件 Java
抖音集团电商流量实时数仓建设实践
本文基于抖音集团电商数据工程师姚遥在Flink Forward Asia 2024的分享,围绕电商流量数据处理展开。内容涵盖业务挑战、电商流量建模架构、流批一体实践、大流量任务调优及总结展望五个部分。通过数据建模与优化,实现效率、质量、成本和稳定性全面提升,数据质量达99%以上,任务性能提升70%。未来将聚焦自动化、低代码化与成本优化,探索更高效的流批一体化方案。
902 12
抖音集团电商流量实时数仓建设实践

推荐镜像

更多