《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(下)——二、数据导入导出与同步链路搭建(上)

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
对象存储 OSS,20GB 3个月
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(下)——二、数据导入导出与同步链路搭建(上)

AnalyticDB MySQL是云原生数据仓库产品,并不产生数据,数据源通过阿里云产品DTS数据传输工具,将业务数据库或生产数据库的数据导入。

 

1. 数据导入导出

 

AnalyticDB MySQL版提供多种数据导入方案,可满足不同场景下的数据导入需求。

 

数据库支持

RDS MySQL;PolarDB-X(原DRDS)

 PolarDB MySQL;Oracle;SQL Server

 

OSS导入方式

 INSERT外表:通过外表导入OSS数据

 DataWorks:配置OSS数据源

 

大数据MaxCompute导入方式

 INSERT外表:通过INSERT外表方式导入MaxCompute数据

 DataWorks:配置MaxCompute数据源

 Hadoop;Flink

 

消息队列Kafka数据导入方式

 使用Logstash插件:使用Logstash将Kafka数据写入AnalyticDB MySQL

 DataWorks:配置Kafka读取

 

日志类数据导入方式

 SLS:将SLS数据投递到AnalyticDB

 DataWorks:配置SLS读取

 日志数据使用Logstash插件:使用Logstash实时采集日志数据

 

本地数据导入方式

 LOAD DATA:使用LOAD DATA导入本地数据

 DataWorks:先将数据导入OSS或者FTP,再使用OSS读取或者FTP读取的方式导入

 导入工具:使用AnalyticDB MySQL版导入工具导入本地数据

 

2. DML本地数据导入

 

DML本地数据导入主要有三个步骤:

 

本地客户端:配置my.cnf配置文件,开启local-file功能

AnalyticDBMySQL:创建目标表

DML命令导入:LOAD DATA

 

image.png 

LOAD DATA导入示例

 

3. DML外表式数据导入导出

 

OSS、MySQL、MaxCompute可以通过AnalyticDB MySQL映射表进行数据导入导出操作。

 

说明

RDS MySQL与AnalyticDB MySQL必须在同一个VPC下,ADB通过VPC地址访问MySQL可以是ECS自建MySQL。OSS与AnalyticDB MySQL所属Region需要相同。

 

1) 创建外部表

 

示例:在AnalyticDB MySQL的adb_demo数据库中创建外部映射表courses external table。

 

CREATE TABLE IF NOT EXISTS courses_external_table(
id bigint NOT NULL,
name verchar(32) NOT NULL,
grade varchar(32) NOT NULL,
submission_date timestamp NOT NULL,
PRIMARY KEY(id)
)
ENGINE='mysql'
TABLE_PROPERTES='{
"url": "jdbc:mysql://mysql-vpc-address:3306/testadb",
"tablename":"courses",
"Username":"mysql-User-name",
"password":"mysql-user-password"
}'

 

参数说明

ENGINE='mysql':表示该表是外部表,使用的存储引擎是MySQL

TABLEPROPERTIES:用于告知AnalyticDB 如何访问MySQL中的数据

url:MySQL中的内网地址,即VPC连接地址,地址格式为:"jdbc:mysql://mysql-vpc-address:3306/rds-database-name"

tablename:MySQL中的源表

Username&password:MySQL中访问数据库的用户名和密码

 

2) DML外表式数据导入导出-MySQL

 

通过AnalyticDB MySQL映射表进行数据导入导出操作,需要如下三个步骤:

 

前提准备:完成实例创建、设置白名单、创建账号前提准备和数据库、创建表,示例:分别在两个数据库内创建表导入导出数据的表。

创建映射表:登录AnalyticDBMySQL,创建需导入导出数据的表的映射表。

 

image.png

 

数据导入导出

 

insert into courses_external_table select * from adb_courses;

 

——AnalyticDB导入到Rds

 

insert into adb_courses select * from courses_external_table;

 

——Rds导入到AnalyticDB

 

更多精彩内容,欢迎观看:

《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(下)——二、数据导入导出与同步链路搭建(下)https://developer.aliyun.com/article/1222971?groupCode=certification

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
6天前
|
存储 Cloud Native 块存储
EBS深度解析:云原生时代企业级块存储
企业上云的策略,从 Cloud-Hosting 转向 Serverless 架构。块存储作为企业应用上云的核心存储产品,将通过 Serverless 化来加速新的计算范式全面落地。在本话题中,我们将会介绍阿里云块存储企业级能力的创新,深入解析背后的技术细节,分享对未来趋势的判断。
|
8天前
|
Kubernetes Cloud Native 云计算
云原生技术深度解析:重塑企业IT架构的未来####
本文深入探讨了云原生技术的核心理念、关键技术组件及其对企业IT架构转型的深远影响。通过剖析Kubernetes、微服务、容器化等核心技术,本文揭示了云原生如何提升应用的灵活性、可扩展性和可维护性,助力企业在数字化转型中保持领先地位。 ####
|
9天前
|
运维 Kubernetes Cloud Native
Kubernetes云原生架构深度解析与实践指南####
本文深入探讨了Kubernetes作为领先的云原生应用编排平台,其设计理念、核心组件及高级特性。通过剖析Kubernetes的工作原理,结合具体案例分析,为读者呈现如何在实际项目中高效部署、管理和扩展容器化应用的策略与技巧。文章还涵盖了服务发现、负载均衡、配置管理、自动化伸缩等关键议题,旨在帮助开发者和运维人员掌握利用Kubernetes构建健壮、可伸缩的云原生生态系统的能力。 ####
|
14天前
|
Kubernetes Cloud Native 调度
云原生批量任务编排引擎Argo Workflows发布3.6,一文解析关键新特性
Argo Workflows是CNCF毕业项目,最受欢迎的云原生工作流引擎,专为Kubernetes上编排批量任务而设计,本文主要对最新发布的Argo Workflows 3.6版本的关键新特性做一个深入的解析。
|
16天前
|
监控 Cloud Native 持续交付
云原生技术深度解析:重塑现代应用开发与部署范式####
本文深入探讨了云原生技术的核心概念、关键技术组件及其在现代软件开发中的重要性。通过剖析容器化、微服务架构、持续集成/持续部署(CI/CD)等关键技术,本文旨在揭示云原生技术如何促进应用的敏捷性、可扩展性和高可用性,进而推动企业数字化转型进程。不同于传统摘要仅概述内容要点,本部分将融入具体案例分析,直观展示云原生技术在实际应用中的显著成效与挑战应对策略,为读者提供更加丰富、立体的理解视角。 ####
|
23天前
|
人工智能 Cloud Native Java
云原生技术深度解析:从IO优化到AI处理
【10月更文挑战第24天】在当今数字化时代,云计算已经成为企业IT架构的核心。云原生作为云计算的最新演进形态,旨在通过一系列先进的技术和实践,帮助企业构建高效、弹性、可观测的应用系统。本文将从IO优化、key问题解决、多线程意义以及AI处理等多个维度,深入探讨云原生技术的内涵与外延,并结合Java和AI技术给出相应的示例。
81 1
|
1月前
|
人工智能 自然语言处理 关系型数据库
阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成
近日,阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成。
|
23天前
|
运维 Cloud Native 持续交付
云原生技术解析:从IO出发,以阿里云原生为例
【10月更文挑战第24天】随着互联网技术的不断发展,传统的单体应用架构逐渐暴露出扩展性差、迭代速度慢等问题。为了应对这些挑战,云原生技术应运而生。云原生是一种利用云计算的优势,以更灵活、可扩展和可靠的方式构建和部署应用程序的方法。它强调以容器、微服务、自动化和持续交付为核心,旨在提高开发效率、增强系统的灵活性和可维护性。阿里云作为国内领先的云服务商,在云原生领域有着深厚的积累和实践。
51 0
|
1月前
|
人工智能 分布式计算 数据管理
阿里云位居 IDC MarketScape 中国实时湖仓评估领导者类别
国际数据公司( IDC )首次发布了《IDC MarketScape: 中国实时湖仓市场 2024 年厂商评估》,阿里云在首次报告发布即位居领导者类别。
|
1月前
|
SQL 分布式计算 数据挖掘
加速数据分析:阿里云Hologres在实时数仓中的应用实践
【10月更文挑战第9天】随着大数据技术的发展,企业对于数据处理和分析的需求日益增长。特别是在面对海量数据时,如何快速、准确地进行数据查询和分析成为了关键问题。阿里云Hologres作为一个高性能的实时交互式分析服务,为解决这些问题提供了强大的支持。本文将深入探讨Hologres的特点及其在实时数仓中的应用,并通过具体的代码示例来展示其实际应用。
155 0

推荐镜像

更多