《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(下)——二、数据导入导出与同步链路搭建(上)

简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(下)——二、数据导入导出与同步链路搭建(上)

AnalyticDB MySQL是云原生数据仓库产品,并不产生数据,数据源通过阿里云产品DTS数据传输工具,将业务数据库或生产数据库的数据导入。

 

1. 数据导入导出

 

AnalyticDB MySQL版提供多种数据导入方案,可满足不同场景下的数据导入需求。

 

• 数据库支持

√ RDS MySQL;PolarDB-X(原DRDS)

√ PolarDB MySQL;Oracle;SQL Server

 

• OSS导入方式

√ INSERT外表:通过外表导入OSS数据

√ DataWorks:配置OSS数据源

 

• 大数据MaxCompute导入方式

√ INSERT外表:通过INSERT外表方式导入MaxCompute数据

√ DataWorks:配置MaxCompute数据源

√ Hadoop;Flink

 

• 消息队列Kafka数据导入方式

√ 使用Logstash插件:使用Logstash将Kafka数据写入AnalyticDB MySQL

√ DataWorks:配置Kafka读取

 

• 日志类数据导入方式

√ SLS:将SLS数据投递到AnalyticDB

√ DataWorks:配置SLS读取

√ 日志数据使用Logstash插件:使用Logstash实时采集日志数据

 

• 本地数据导入方式

√ LOAD DATA:使用LOAD DATA导入本地数据

√ DataWorks:先将数据导入OSS或者FTP,再使用OSS读取或者FTP读取的方式导入

√ 导入工具:使用AnalyticDB MySQL版导入工具导入本地数据

 

2. DML本地数据导入

 

DML本地数据导入主要有三个步骤:

 

• 本地客户端:配置my.cnf配置文件,开启local-file功能

• AnalyticDBMySQL:创建目标表

• DML命令导入:LOAD DATA…

 

image.png 

LOAD DATA导入示例

 

3. DML外表式数据导入导出

 

OSS、MySQL、MaxCompute可以通过AnalyticDB MySQL映射表进行数据导入导出操作。

 

说明

RDS MySQL与AnalyticDB MySQL必须在同一个VPC下,ADB通过VPC地址访问MySQL(可以是ECS自建MySQL)。OSS与AnalyticDB MySQL所属Region需要相同。

 

1) 创建外部表

 

示例:在AnalyticDB MySQL的adb_demo数据库中创建外部映射表courses external table。

 

CREATE TABLE IF NOT EXISTS courses_external_table(
id bigint NOT NULL,
name verchar(32) NOT NULL,
grade varchar(32) NOT NULL,
submission_date timestamp NOT NULL,
PRIMARY KEY(id)
)
ENGINE='mysql'
TABLE_PROPERTES='{
"url": "jdbc:mysql://mysql-vpc-address:3306/testadb",
"tablename":"courses",
"Username":"mysql-User-name",
"password":"mysql-user-password"
}'

 

参数说明

• ENGINE='mysql':表示该表是外部表,使用的存储引擎是MySQL

• TABLEPROPERTIES:用于告知AnalyticDB 如何访问MySQL中的数据

• url:MySQL中的内网地址,即VPC连接地址,地址格式为:"jdbc:mysql://mysql-vpc-address:3306/rds-database-name"

• tablename:MySQL中的源表

• Username&password:MySQL中访问数据库的用户名和密码

 

2) DML外表式数据导入导出-MySQL

 

通过AnalyticDB MySQL映射表进行数据导入导出操作,需要如下三个步骤:

 

• 前提准备:完成实例创建、设置白名单、创建账号前提准备和数据库、创建表,示例:分别在两个数据库内创建表导入导出数据的表。

• 创建映射表:登录AnalyticDBMySQL,创建需导入导出数据的表的映射表。

 

image.png

 

• 数据导入导出

 

insert into courses_external_table select * from adb_courses;

 

——AnalyticDB导入到Rds

 

insert into adb_courses select * from courses_external_table;

 

——Rds导入到AnalyticDB

 

更多精彩内容,欢迎观看:

《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(下)——二、数据导入导出与同步链路搭建(下):https://developer.aliyun.com/article/1222971?groupCode=certification

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
负载均衡 算法 关系型数据库
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
本文聚焦 MySQL 集群架构中的负载均衡算法,阐述其重要性。详细介绍轮询、加权轮询、最少连接、加权最少连接、随机、源地址哈希等常用算法,分析各自优缺点及适用场景。并提供 Java 语言代码实现示例,助力直观理解。文章结构清晰,语言通俗易懂,对理解和应用负载均衡算法具有实用价值和参考价值。
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
|
运维 算法 机器人
阿里云AnalyticDB具身智能方案:破解机器人仿真数据、算力与运维之困
本文将介绍阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL推出的全托管云上仿真解决方案,方案采用云原生架构,为开发者提供从开发环境、仿真计算到数据管理的全链路支持。
|
人工智能 关系型数据库 OLAP
光云科技 X AnalyticDB:构建 AI 时代下的云原生企业级数仓
AnalyticDB承载了光云海量数据的实时在线分析,为各个业务线的商家提供了丝滑的数据服务,实时物化视图、租户资源隔离、冷热分离等企业级特性,很好的解决了SaaS场景下的业务痛点,也平衡了成本。同时也基于通义+AnalyticDB研发了企业级智能客服、智能导购等行业解决方案,借助大模型和云计算为商家赋能。
1245 17
|
关系型数据库 MySQL Shell
MySQL 备份 Shell 脚本:支持远程同步与阿里云 OSS 备份
一款自动化 MySQL 备份 Shell 脚本,支持本地存储、远程服务器同步(SSH+rsync)、阿里云 OSS 备份,并自动清理过期备份。适用于数据库管理员和开发者,帮助确保数据安全。
|
NoSQL 算法 Redis
【Docker】(3)学习Docker中 镜像与容器数据卷、映射关系!手把手带你安装 MySql主从同步 和 Redis三主三从集群!并且进行主从切换与扩容操作,还有分析 哈希分区 等知识点!
Union文件系统(UnionFS)是一种**分层、轻量级并且高性能的文件系统**,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem) Union 文件系统是 Docker 镜像的基础。 镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
1143 6
|
存储 缓存 分布式计算
StarRocks x Iceberg:云原生湖仓分析技术揭秘与最佳实践
本文将深入探讨基于 StarRocks 和 Iceberg 构建的云原生湖仓分析技术,详细解析两者结合如何实现高效的查询性能优化。内容涵盖 StarRocks Lakehouse 架构、与 Iceberg 的性能协同、最佳实践应用以及未来的发展规划,为您提供全面的技术解读。 作者:杨关锁,北京镜舟科技研发工程师
StarRocks x Iceberg:云原生湖仓分析技术揭秘与最佳实践
|
人工智能 API 开发者
HarmonyOS Next~鸿蒙应用框架开发实战:Ability Kit与Accessibility Kit深度解析
本书深入解析HarmonyOS应用框架开发,聚焦Ability Kit与Accessibility Kit两大核心组件。Ability Kit通过FA/PA双引擎架构实现跨设备协同,支持分布式能力开发;Accessibility Kit提供无障碍服务构建方案,优化用户体验。内容涵盖设计理念、实践案例、调试优化及未来演进方向,助力开发者打造高效、包容的分布式应用,体现HarmonyOS生态价值。
1172 27
|
数据采集 JSON 数据可视化
JSON数据解析实战:从嵌套结构到结构化表格
在信息爆炸的时代,从杂乱数据中提取精准知识图谱是数据侦探的挑战。本文以Google Scholar为例,解析嵌套JSON数据,提取文献信息并转换为结构化表格,通过Graphviz制作技术关系图谱,揭示文献间的隐秘联系。代码涵盖代理IP、请求头设置、JSON解析及可视化,提供完整实战案例。
1022 4
JSON数据解析实战:从嵌套结构到结构化表格
|
存储 SQL 数据挖掘
数据无界、湖仓无界, Apache Doris 湖仓一体解决方案全面解读(上篇)
湖仓一体架构融合了数据湖的低成本、高扩展性,以及数据仓库的高性能、强数据治理能力,高效应对大数据时代的挑战。为助力企业实现湖仓一体的建设,Apache Doris 提出了数据无界和湖仓无界核心理念,并结合自身特性,助力企业加速从 0 到 1 构建湖仓体系,降低转型过程中的风险和成本。本文将对湖仓一体演进及 Apache Doris 湖仓一体方案进行介绍。
1754 1
数据无界、湖仓无界, Apache Doris 湖仓一体解决方案全面解读(上篇)

推荐镜像

更多