《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(下)——二、数据导入导出与同步链路搭建(上)

本文涉及的产品
对象存储 OSS,20GB 3个月
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
对象存储 OSS,内容安全 1000 次 1年
简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(下)——二、数据导入导出与同步链路搭建(上)

AnalyticDB MySQL是云原生数据仓库产品,并不产生数据,数据源通过阿里云产品DTS数据传输工具,将业务数据库或生产数据库的数据导入。

 

1. 数据导入导出

 

AnalyticDB MySQL版提供多种数据导入方案,可满足不同场景下的数据导入需求。

 

数据库支持

RDS MySQL;PolarDB-X(原DRDS)

 PolarDB MySQL;Oracle;SQL Server

 

OSS导入方式

 INSERT外表:通过外表导入OSS数据

 DataWorks:配置OSS数据源

 

大数据MaxCompute导入方式

 INSERT外表:通过INSERT外表方式导入MaxCompute数据

 DataWorks:配置MaxCompute数据源

 Hadoop;Flink

 

消息队列Kafka数据导入方式

 使用Logstash插件:使用Logstash将Kafka数据写入AnalyticDB MySQL

 DataWorks:配置Kafka读取

 

日志类数据导入方式

 SLS:将SLS数据投递到AnalyticDB

 DataWorks:配置SLS读取

 日志数据使用Logstash插件:使用Logstash实时采集日志数据

 

本地数据导入方式

 LOAD DATA:使用LOAD DATA导入本地数据

 DataWorks:先将数据导入OSS或者FTP,再使用OSS读取或者FTP读取的方式导入

 导入工具:使用AnalyticDB MySQL版导入工具导入本地数据

 

2. DML本地数据导入

 

DML本地数据导入主要有三个步骤:

 

本地客户端:配置my.cnf配置文件,开启local-file功能

AnalyticDBMySQL:创建目标表

DML命令导入:LOAD DATA

 

image.png 

LOAD DATA导入示例

 

3. DML外表式数据导入导出

 

OSS、MySQL、MaxCompute可以通过AnalyticDB MySQL映射表进行数据导入导出操作。

 

说明

RDS MySQL与AnalyticDB MySQL必须在同一个VPC下,ADB通过VPC地址访问MySQL可以是ECS自建MySQL。OSS与AnalyticDB MySQL所属Region需要相同。

 

1) 创建外部表

 

示例:在AnalyticDB MySQL的adb_demo数据库中创建外部映射表courses external table。

 

CREATE TABLE IF NOT EXISTS courses_external_table(
id bigint NOT NULL,
name verchar(32) NOT NULL,
grade varchar(32) NOT NULL,
submission_date timestamp NOT NULL,
PRIMARY KEY(id)
)
ENGINE='mysql'
TABLE_PROPERTES='{
"url": "jdbc:mysql://mysql-vpc-address:3306/testadb",
"tablename":"courses",
"Username":"mysql-User-name",
"password":"mysql-user-password"
}'

 

参数说明

ENGINE='mysql':表示该表是外部表,使用的存储引擎是MySQL

TABLEPROPERTIES:用于告知AnalyticDB 如何访问MySQL中的数据

url:MySQL中的内网地址,即VPC连接地址,地址格式为:"jdbc:mysql://mysql-vpc-address:3306/rds-database-name"

tablename:MySQL中的源表

Username&password:MySQL中访问数据库的用户名和密码

 

2) DML外表式数据导入导出-MySQL

 

通过AnalyticDB MySQL映射表进行数据导入导出操作,需要如下三个步骤:

 

前提准备:完成实例创建、设置白名单、创建账号前提准备和数据库、创建表,示例:分别在两个数据库内创建表导入导出数据的表。

创建映射表:登录AnalyticDBMySQL,创建需导入导出数据的表的映射表。

 

image.png

 

数据导入导出

 

insert into courses_external_table select * from adb_courses;

 

——AnalyticDB导入到Rds

 

insert into adb_courses select * from courses_external_table;

 

——Rds导入到AnalyticDB

 

更多精彩内容,欢迎观看:

《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(下)——二、数据导入导出与同步链路搭建(下)https://developer.aliyun.com/article/1222971?groupCode=certification

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
2月前
|
SQL 关系型数据库 MySQL
客户说|保险极客引入阿里云AnalyticDB,多业务场景效率大幅提升
“通过引入AnalyticDB,我们在复杂数据查询和实时同步方面取得了显著突破,其分布式、弹性与云计算的优势得以充分体现,帮助企业快速响应业务变化,实现降本增效。AnalyticDB的卓越表现保障了保险极客数据服务的品质和效率。”
|
1月前
|
关系型数据库 MySQL
MySQL字符串拼接方法全解析
本文介绍了四种常用的字符串处理函数及其用法。方法一:CONCAT,用于基础拼接,参数含NULL时返回NULL;方法二:CONCAT_WS,带分隔符拼接,自动忽略NULL值;方法三:GROUP_CONCAT,适用于分组拼接,支持去重、排序和自定义分隔符;方法四:算术运算符拼接,仅适用于数值类型,字符串会尝试转为数值处理。通过示例展示了各函数的特点与应用场景。
|
5月前
|
存储 分布式计算 物联网
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台,实现了数据与 AI 技术的有效融合,解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台,最终实现不同场景下整体性能提升50%以上,同时综合成本下降30%。
458 58
|
3月前
|
SQL 运维 关系型数据库
MySQL Binlog 日志查看方法及查看内容解析
本文介绍了 MySQL 的 Binlog(二进制日志)功能及其使用方法。Binlog 记录了数据库的所有数据变更操作,如 INSERT、UPDATE 和 DELETE,对数据恢复、主从复制和审计至关重要。文章详细说明了如何开启 Binlog 功能、查看当前日志文件及内容,并解析了常见的事件类型,包括 Format_desc、Query、Table_map、Write_rows、Update_rows 和 Delete_rows 等,帮助用户掌握数据库变化历史,提升维护和排障能力。
|
5月前
|
SQL 存储 OLAP
阿里云 EMR Serverless StarRocks3.x,极速统一的湖仓新范式
阿里云 EMR Serverless StarRocks3.x,极速统一的湖仓新范式
109 0
|
6月前
|
存储 人工智能 Cloud Native
NAS深度解析:面向云原生应用的文件存储
本文深入解析了面向云原生应用的文件存储NAS,由阿里云专家分享。内容涵盖Cloud Native与AI浪潮下的技术创新,包括高性能、弹性伸缩、成本优化及数据安全等方面。针对云原生应用的特点,NAS在Serverless生态中不断演进,提供多种产品规格以满足不同需求,如极速型NAS、归档存储等,确保用户在高并发场景下获得稳定低延时的存储体验。同时,通过优化挂载参数和容器访问策略,提升整体性能与可用性。
240 11
|
3月前
|
运维 Cloud Native 测试技术
极氪汽车云原生架构落地实践
随着极氪数字业务的飞速发展,背后的 IT 技术也在不断更新迭代。极氪极为重视客户对服务的体验,并将系统稳定性、业务功能的迭代效率、问题的快速定位和解决视为构建核心竞争力的基石。
|
2月前
|
人工智能 Cloud Native 容灾
深圳农商银行三代核心系统全面投产 以云原生架构筑牢数字化转型基石
深圳农商银行完成第三代核心系统全面上云,日均交易超3000万笔,峰值处理效率提升2倍以上。扎根深圳70余年,与阿里云共建“两地三中心”分布式云平台,实现高可用体系及全栈护航。此次云原生转型为行业提供可复制样本,未来将深化云计算与AI合作,推动普惠金融服务升级。
260 17
|
2月前
|
存储 Cloud Native 关系型数据库
PolarDB开源:云原生数据库的架构革命
本文围绕开源核心价值、社区运营实践和技术演进路线展开。首先解读存算分离架构的三大突破,包括基于RDMA的分布式存储、计算节点扩展及存储池扩容机制,并强调与MySQL的高兼容性。其次分享阿里巴巴开源治理模式,涵盖技术决策、版本发布和贡献者成长体系,同时展示企业应用案例。最后展望技术路线图,如3.0版本的多写多读架构、智能调优引擎等特性,以及开发者生态建设举措,推荐使用PolarDB-Operator实现高效部署。
181 2

热门文章

最新文章

推荐镜像

更多