《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(下)——二、数据导入导出与同步链路搭建(上)

简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(下)——二、数据导入导出与同步链路搭建(上)
+关注继续查看

AnalyticDB MySQL是云原生数据仓库产品,并不产生数据,数据源通过阿里云产品DTS数据传输工具,将业务数据库或生产数据库的数据导入。

 

1. 数据导入导出

 

AnalyticDB MySQL版提供多种数据导入方案,可满足不同场景下的数据导入需求。

 

• 数据库支持

√ RDS MySQL;PolarDB-X(原DRDS)

 PolarDB MySQL;Oracle;SQL Server

 

• OSS导入方式

 INSERT外表:通过外表导入OSS数据

 DataWorks:配置OSS数据源

 

• 大数据MaxCompute导入方式

 INSERT外表:通过INSERT外表方式导入MaxCompute数据

 DataWorks:配置MaxCompute数据源

 Hadoop;Flink

 

• 消息队列Kafka数据导入方式

 使用Logstash插件:使用Logstash将Kafka数据写入AnalyticDB MySQL

 DataWorks:配置Kafka读取

 

• 日志类数据导入方式

 SLS:将SLS数据投递到AnalyticDB

 DataWorks:配置SLS读取

 日志数据使用Logstash插件:使用Logstash实时采集日志数据

 

• 本地数据导入方式

 LOAD DATA:使用LOAD DATA导入本地数据

 DataWorks:先将数据导入OSS或者FTP,再使用OSS读取或者FTP读取的方式导入

 导入工具:使用AnalyticDB MySQL版导入工具导入本地数据

 

2. DML本地数据导入

 

DML本地数据导入主要有三个步骤:

 

• 本地客户端:配置my.cnf配置文件,开启local-file功能

• AnalyticDBMySQL:创建目标表

• DML命令导入:LOAD DATA

 

image.png 

LOAD DATA导入示例

 

3. DML外表式数据导入导出

 

OSS、MySQL、MaxCompute可以通过AnalyticDB MySQL映射表进行数据导入导出操作。

 

说明

RDS MySQL与AnalyticDB MySQL必须在同一个VPC下,ADB通过VPC地址访问MySQL可以是ECS自建MySQL。OSS与AnalyticDB MySQL所属Region需要相同。

 

1) 创建外部表

 

示例:在AnalyticDB MySQL的adb_demo数据库中创建外部映射表courses external table。

 

CREATE TABLE IF NOT EXISTS courses_external_table(
id bigint NOT NULL,
name verchar(32) NOT NULL,
grade varchar(32) NOT NULL,
submission_date timestamp NOT NULL,
PRIMARY KEY(id)
)
ENGINE='mysql'
TABLE_PROPERTES='{
"url": "jdbc:mysql://mysql-vpc-address:3306/testadb",
"tablename":"courses",
"Username":"mysql-User-name",
"password":"mysql-user-password"
}'

 

参数说明

• ENGINE='mysql':表示该表是外部表,使用的存储引擎是MySQL

• TABLEPROPERTIES:用于告知AnalyticDB 如何访问MySQL中的数据

• url:MySQL中的内网地址,即VPC连接地址,地址格式为:"jdbc:mysql://mysql-vpc-address:3306/rds-database-name"

• tablename:MySQL中的源表

• Username&password:MySQL中访问数据库的用户名和密码

 

2) DML外表式数据导入导出-MySQL

 

通过AnalyticDB MySQL映射表进行数据导入导出操作,需要如下三个步骤:

 

• 前提准备:完成实例创建、设置白名单、创建账号前提准备和数据库、创建表,示例:分别在两个数据库内创建表导入导出数据的表。

• 创建映射表:登录AnalyticDBMySQL,创建需导入导出数据的表的映射表。

 

image.png

 

• 数据导入导出

 

insert into courses_external_table select * from adb_courses;

 

——AnalyticDB导入到Rds

 

insert into adb_courses select * from courses_external_table;

 

——Rds导入到AnalyticDB

 

更多精彩内容,欢迎观看:

《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(下)——二、数据导入导出与同步链路搭建(下)https://developer.aliyun.com/article/1222971?groupCode=certification

相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
1天前
|
运维 Kubernetes Cloud Native
阿里云云原生开放日:云原生火力全开| KubeCon 热点速递 DAY1
阿里云云原生开放日:云原生火力全开| KubeCon 热点速递 DAY1
|
2天前
|
消息中间件 Cloud Native Serverless
阿里云在云原生领域喜获多项 OSCAR 开源尖峰案例奖
阿里云在云原生领域喜获多项 OSCAR 开源尖峰案例奖
|
8天前
|
存储 缓存 Cloud Native
阿里云 ClickHouse 企业版首发邀测&云原生 ClickHouse 技术揭秘
云数据库 ClickHouse 企业版是阿里云和 ClickHouse, Inc 战略合作打造的云原生ClickHouse 产品。企业版推出专属 SharedMergeTree 云原生引擎,支持存算分离,Serverless 秒级实时弹性,集群吞吐和查询效率线性扩展及 Lightweight update 实时更新能力。本文将详细揭秘 SharedMergeTree 实现机制,实时弹性扩展实现原理,lightweight update 技术实现原理,同时对企业版和开源版进行详细的性能测试对比。
|
8天前
|
运维 Cloud Native Java
课时3:阿里云 Serverless 助力企业全面拥抱云原生(四)
阿里云 Serverless 助力企业全面拥抱云原生
38 0
|
8天前
|
Cloud Native Java Serverless
课时3:阿里云 Serverless 助力企业全面拥抱云原生(三)
阿里云 Serverless 助力企业全面拥抱云原生
50 0
|
10天前
|
存储 缓存 Cloud Native
阿里云 ClickHouse 企业版首发邀测&云原生 ClickHouse 技术揭秘
云数据库 ClickHouse 企业版是阿里云和 ClickHouse, Inc 战略合作打造的云原生ClickHouse 产品。企业版推出专属 SharedMergeTree 云原生引擎,支持存算分离,Serverless 秒级实时弹性,集群吞吐和查询效率线性扩展及 Lightweight update 实时更新能力。本文将详细揭秘 SharedMergeTree 实现机制,实时弹性扩展实现原理,lightweight update 技术实现原理,同时对企业版和开源版进行详细的性能测试对比。
516 1
阿里云 ClickHouse 企业版首发邀测&云原生 ClickHouse 技术揭秘
|
18天前
|
运维 数据可视化 Devops
阿里云云原生DevOps-开启企业级DevOps方案
阿里云云原生DevOps-开启企业级DevOps方案
89 0
阿里云云原生DevOps-开启企业级DevOps方案
|
18天前
|
存储 安全 测试技术
阿里云云原生 DevOps-云效平台六大产品(2)
阿里云云原生 DevOps-云效平台六大产品(2)
131 0
阿里云云原生 DevOps-云效平台六大产品(2)
|
18天前
|
安全 数据可视化 Devops
阿里云云原生 DevOps - 云效平台核心价值与优势
阿里云云原生 DevOps - 云效平台核心价值与优势
84 0
阿里云云原生 DevOps - 云效平台核心价值与优势
|
18天前
|
运维 安全 Devops
阿里云云原生 DevOps - 企业一站式 DevOps 平台
阿里云云原生 DevOps - 企业一站式 DevOps 平台
50 0
阿里云云原生 DevOps - 企业一站式 DevOps 平台
热门文章
最新文章
相关产品
推荐文章
更多