《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(下)——二、数据导入导出与同步链路搭建(上)

本文涉及的产品
云数据库 RDS MySQL,集群版 2核4GB 100GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
对象存储 OSS,20GB 3个月
简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(下)——二、数据导入导出与同步链路搭建(上)

AnalyticDB MySQL是云原生数据仓库产品,并不产生数据,数据源通过阿里云产品DTS数据传输工具,将业务数据库或生产数据库的数据导入。

 

1. 数据导入导出

 

AnalyticDB MySQL版提供多种数据导入方案,可满足不同场景下的数据导入需求。

 

数据库支持

RDS MySQL;PolarDB-X(原DRDS)

 PolarDB MySQL;Oracle;SQL Server

 

OSS导入方式

 INSERT外表:通过外表导入OSS数据

 DataWorks:配置OSS数据源

 

大数据MaxCompute导入方式

 INSERT外表:通过INSERT外表方式导入MaxCompute数据

 DataWorks:配置MaxCompute数据源

 Hadoop;Flink

 

消息队列Kafka数据导入方式

 使用Logstash插件:使用Logstash将Kafka数据写入AnalyticDB MySQL

 DataWorks:配置Kafka读取

 

日志类数据导入方式

 SLS:将SLS数据投递到AnalyticDB

 DataWorks:配置SLS读取

 日志数据使用Logstash插件:使用Logstash实时采集日志数据

 

本地数据导入方式

 LOAD DATA:使用LOAD DATA导入本地数据

 DataWorks:先将数据导入OSS或者FTP,再使用OSS读取或者FTP读取的方式导入

 导入工具:使用AnalyticDB MySQL版导入工具导入本地数据

 

2. DML本地数据导入

 

DML本地数据导入主要有三个步骤:

 

本地客户端:配置my.cnf配置文件,开启local-file功能

AnalyticDBMySQL:创建目标表

DML命令导入:LOAD DATA

 

image.png 

LOAD DATA导入示例

 

3. DML外表式数据导入导出

 

OSS、MySQL、MaxCompute可以通过AnalyticDB MySQL映射表进行数据导入导出操作。

 

说明

RDS MySQL与AnalyticDB MySQL必须在同一个VPC下,ADB通过VPC地址访问MySQL可以是ECS自建MySQL。OSS与AnalyticDB MySQL所属Region需要相同。

 

1) 创建外部表

 

示例:在AnalyticDB MySQL的adb_demo数据库中创建外部映射表courses external table。

 

CREATE TABLE IF NOT EXISTS courses_external_table(
id bigint NOT NULL,
name verchar(32) NOT NULL,
grade varchar(32) NOT NULL,
submission_date timestamp NOT NULL,
PRIMARY KEY(id)
)
ENGINE='mysql'
TABLE_PROPERTES='{
"url": "jdbc:mysql://mysql-vpc-address:3306/testadb",
"tablename":"courses",
"Username":"mysql-User-name",
"password":"mysql-user-password"
}'

 

参数说明

ENGINE='mysql':表示该表是外部表,使用的存储引擎是MySQL

TABLEPROPERTIES:用于告知AnalyticDB 如何访问MySQL中的数据

url:MySQL中的内网地址,即VPC连接地址,地址格式为:"jdbc:mysql://mysql-vpc-address:3306/rds-database-name"

tablename:MySQL中的源表

Username&password:MySQL中访问数据库的用户名和密码

 

2) DML外表式数据导入导出-MySQL

 

通过AnalyticDB MySQL映射表进行数据导入导出操作,需要如下三个步骤:

 

前提准备:完成实例创建、设置白名单、创建账号前提准备和数据库、创建表,示例:分别在两个数据库内创建表导入导出数据的表。

创建映射表:登录AnalyticDBMySQL,创建需导入导出数据的表的映射表。

 

image.png

 

数据导入导出

 

insert into courses_external_table select * from adb_courses;

 

——AnalyticDB导入到Rds

 

insert into adb_courses select * from courses_external_table;

 

——Rds导入到AnalyticDB

 

更多精彩内容,欢迎观看:

《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(下)——二、数据导入导出与同步链路搭建(下)https://developer.aliyun.com/article/1222971?groupCode=certification

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
6天前
|
消息中间件 存储 大数据
大数据-数据仓库-实时数仓架构分析
大数据-数据仓库-实时数仓架构分析
22 1
|
21天前
|
SQL Cloud Native 关系型数据库
云原生数据仓库使用问题之分组优化如何实现
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
21天前
|
Cloud Native 关系型数据库 OLAP
云原生数据仓库操作报错合集之遇到“table does not exist”错误,该怎么办
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
21天前
|
SQL Cloud Native 关系型数据库
云原生数据仓库操作报错合集之遇到报错“DDL forbidden because backupTask is doing snapshot”如何处理
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
21天前
|
JSON Cloud Native 关系型数据库
云原生数据仓库操作报错合集之遇到报错 "ERROR: out of shared memory" ,该怎么办
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
21天前
|
SQL Cloud Native 关系型数据库
云原生数据仓库使用问题之如何使用UPDATE语句进行单表更新和多表关联更新
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
21天前
|
SQL 运维 Cloud Native
云原生数据仓库使用问题之运维常用操作文档有哪些
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
21天前
|
SQL Cloud Native 关系型数据库
云原生数据仓库使用问题之如何创建内表
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
21天前
|
SQL Cloud Native 关系型数据库
云原生数据仓库使用问题之如何实现adb到adb的整库迁移或同步
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
21天前
|
存储 SQL Cloud Native
云原生数据仓库使用问题之如何将数据设置为冷存储
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

热门文章

最新文章