AnalyticDB MySQL是云原生数据仓库产品,并不产生数据,数据源通过阿里云产品DTS数据传输工具,将业务数据库或生产数据库的数据导入。
1. 数据导入导出
AnalyticDB MySQL版提供多种数据导入方案,可满足不同场景下的数据导入需求。
• 数据库支持
√ RDS MySQL;PolarDB-X(原DRDS)
√ PolarDB MySQL;Oracle;SQL Server
• OSS导入方式
√ INSERT外表:通过外表导入OSS数据
√ DataWorks:配置OSS数据源
• 大数据MaxCompute导入方式
√ INSERT外表:通过INSERT外表方式导入MaxCompute数据
√ DataWorks:配置MaxCompute数据源
√ Hadoop;Flink
• 消息队列Kafka数据导入方式
√ 使用Logstash插件:使用Logstash将Kafka数据写入AnalyticDB MySQL
√ DataWorks:配置Kafka读取
• 日志类数据导入方式
√ SLS:将SLS数据投递到AnalyticDB
√ DataWorks:配置SLS读取
√ 日志数据使用Logstash插件:使用Logstash实时采集日志数据
• 本地数据导入方式
√ LOAD DATA:使用LOAD DATA导入本地数据
√ DataWorks:先将数据导入OSS或者FTP,再使用OSS读取或者FTP读取的方式导入
√ 导入工具:使用AnalyticDB MySQL版导入工具导入本地数据
2. DML本地数据导入
DML本地数据导入主要有三个步骤:
• 本地客户端:配置my.cnf配置文件,开启local-file功能
• AnalyticDBMySQL:创建目标表
• DML命令导入:LOAD DATA…
LOAD DATA导入示例
3. DML外表式数据导入导出
OSS、MySQL、MaxCompute可以通过AnalyticDB MySQL映射表进行数据导入导出操作。
说明
RDS MySQL与AnalyticDB MySQL必须在同一个VPC下,ADB通过VPC地址访问MySQL(可以是ECS自建MySQL)。OSS与AnalyticDB MySQL所属Region需要相同。
1) 创建外部表
示例:在AnalyticDB MySQL的adb_demo数据库中创建外部映射表courses external table。
CREATE TABLE IF NOT EXISTS courses_external_table( id bigint NOT NULL, name verchar(32) NOT NULL, grade varchar(32) NOT NULL, submission_date timestamp NOT NULL, PRIMARY KEY(id) ) ENGINE='mysql' TABLE_PROPERTES='{ "url": "jdbc:mysql://mysql-vpc-address:3306/testadb", "tablename":"courses", "Username":"mysql-User-name", "password":"mysql-user-password" }'
参数说明
• ENGINE='mysql':表示该表是外部表,使用的存储引擎是MySQL
• TABLEPROPERTIES:用于告知AnalyticDB 如何访问MySQL中的数据
• url:MySQL中的内网地址,即VPC连接地址,地址格式为:"jdbc:mysql://mysql-vpc-address:3306/rds-database-name"
• tablename:MySQL中的源表
• Username&password:MySQL中访问数据库的用户名和密码
2) DML外表式数据导入导出-MySQL
通过AnalyticDB MySQL映射表进行数据导入导出操作,需要如下三个步骤:
• 前提准备:完成实例创建、设置白名单、创建账号前提准备和数据库、创建表,示例:分别在两个数据库内创建表导入导出数据的表。
• 创建映射表:登录AnalyticDBMySQL,创建需导入导出数据的表的映射表。
• 数据导入导出
insert into courses_external_table select * from adb_courses; |
——AnalyticDB导入到Rds
insert into adb_courses select * from courses_external_table; |
——Rds导入到AnalyticDB
更多精彩内容,欢迎观看:
《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(下)——二、数据导入导出与同步链路搭建(下):https://developer.aliyun.com/article/1222971?groupCode=certification