《阿里云认证的解析与实战-数据仓库ACP认证》——功能演示二:创建数据仓库并完成数据同步——四、操作步骤

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——功能演示二:创建数据仓库并完成数据同步——四、操作步骤

1. 首先创建源库和源表,登录阿里云控制台创建源库名为test_adb后,通过DMS登录数据库RDS MySQL,并在该库中创建了一张名为goods的源表,建表语句如下:

 

CREATE TABLE goods ( goods_id bigint(20) NOT NULL, price double NOT NULL, 
class bigint(20) NOT NULL, name varchar(32) NOT NULL, update_time timestamp 
NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, PRIMARY KEY 
(goods_id) );

 

2. 连接目标AnalyticDB MySQL集群

3. 创建目标数据库。

4. 创建外部映射表,使用以下命令在目标库adb_demo中创建一张名为goods_external_table的外部映射表:

 

CREATE TABLE IF NOT EXISTS goods_external_table (
 goods_id bigint(20) NOT NULL,
 price double NOT NULL,
 class bigint(20) NOT NULL,
 name varchar(32) NOT NULL,
 update_time timestamp,
 PRIMARY KEY (goods_id)
)
 ENGINE='mysql' 
 TABLE_PROPERTIES='{ 
 "url":"jdbc:mysql://mysql-vpc-address:3306/test_adb", 
 "tablename":"goods", 
 "username":"mysql-user-name", 
 "password":"mysql-user-password" 
 }';CREATE TABLE goods ( goods_id bigint(20) NOT NULL, price double NOT NULL, 
class bigint(20) NOT NULL, name varchar(32) NOT NULL, update_time timestamp 
NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, PRIMARY KEY 
(goods_id) );

 

参数说明

 

ENGINE=’mysql’:外部表的存储引擎说明,本文使用的是MySQL。

TABLE_PROPERTIES:AnalyticDB MySQL访问RDS MySQL数据的访问方式。

url:RDS MySQL实例中的内网地址(即VPC连接地址)和源库名(本文示例中为test_adb)。

 

RDS地址信息的查看方法,请参见查看或修改内外网地址和端口。

格式:"jdbc:mysql://mysql-vpc-address:3306/rds-database-name"。

例:jdbc:mysql://rm-****************.mysql.rds.aliyuncs.com:3306/test_adb。

 

tablename:RDS MySQL中源表名,本文示例中为goods。

username:需要访问RDS MySQL源库的账号。

password:以上账号对应的密码。

 

5. 创建目标表,使用以下命令在目标数据库adb_demo中创建一张名为mysql_import_test的目标表,用于存储从RDS MySQL导入的数据。

 

CREATE TABLE IF NOT EXISTS mysql_import_test (
 goods_id bigint(20) NOT NULL,
 price double NOT NULL,
 class bigint(20) NOT NULL,
 name varchar(32) NOT NULL,
 update_time timestamp,
 PRIMARY KEY (goods_id)
)
DISTRIBUTED BY HASH(goods_id);

 

6. 将源RDS MySQL实例中的数据导入至目标AnalyticDB MySQL集群中。

 

REPLACE INTO mysql_import_test
SELECT * FROM goods_external_table;

 

7. 导入完成后,可以登录AnalyticDB MySQL的目标库adb_demo中,执行如下命令查看并验证源表数据是否成功导入至目标mysql_import_test表中:

 

SELECT * FROM mysql_import_test LIMIT 100;


相关文章
|
6月前
|
SQL 存储 分布式计算
Hive数据仓库设计与优化策略:面试经验与必备知识点解析
本文深入探讨了Hive数据仓库设计原则(分区、分桶、存储格式选择)与优化策略(SQL优化、内置优化器、统计信息、配置参数调整),并分享了面试经验及常见问题,如Hive与RDBMS的区别、实际项目应用和与其他组件的集成。通过代码样例,帮助读者掌握Hive核心技术,为面试做好充分准备。
561 0
|
6月前
|
存储 数据管理 物联网
深入解析数据仓库与数据湖:建构智能决策的桥梁
在当今信息时代,数据成为企业决策与创新的关键资源。本文将深入探讨数据仓库与数据湖的概念与应用,介绍其在数据管理和分析中的作用,以及如何构建智能决策的桥梁。
|
6月前
|
存储 安全 JavaScript
【分布式技术专题】「授权认证体系」深度解析OAuth2.0协议的原理和流程框架实现指南(授权流程和模式)
在传统的客户端-服务器身份验证模式中,客户端请求服务器上访问受限的资源(受保护的资源)时,需要使用资源所有者的凭据在服务器上进行身份验证。资源所有者为了给第三方应用提供受限资源的访问权限,需要与第三方共享它的凭据。这就导致一些问题和局限:
485 2
【分布式技术专题】「授权认证体系」深度解析OAuth2.0协议的原理和流程框架实现指南(授权流程和模式)
|
canal 消息中间件 关系型数据库
系统重构数据同步利器之Canal实战篇
系统重构数据同步利器之Canal实战篇
638 1
|
4月前
|
存储 数据挖掘 BI
数据仓库深度解析与实时数仓应用案例探析
随着数据量的不断增长和数据应用的广泛深入,数据治理和隐私保护将成为数据仓库建设的重要议题。企业需要建立完善的数据治理体系,确保数据的准确性、一致性和完整性;同时加强隐私保护机制建设,确保敏感数据的安全性和合规性。
516 55
|
3月前
|
存储 关系型数据库 MySQL
【TiDB原理与实战详解】5、BR 物理备份恢复与Binlog 数据同步~学不会? 不存在的!
BR(Backup & Restore)是 TiDB 分布式备份恢复的命令行工具,适用于大数据量场景,支持常规备份恢复及大规模数据迁移。BR 通过向各 TiKV 节点下发命令执行备份或恢复操作,生成 SST 文件存储数据信息与 `backupmeta` 文件存储元信息。推荐部署配置包括在 PD 节点部署 BR 工具,使用万兆网卡等。本文介绍 BR 的工作原理、部署配置、使用限制及多种备份恢复方式,如全量备份、单库/单表备份、过滤备份及增量备份等。
|
3月前
|
存储 机器学习/深度学习 数据采集
深入解析大数据核心概念:数据平台、数据中台、数据湖与数据仓库的异同与应用
深入解析大数据核心概念:数据平台、数据中台、数据湖与数据仓库的异同与应用
|
3月前
|
关系型数据库 MySQL 调度
【TiDB原理与实战详解】4、DM 迁移和TiCDC数据同步~学不会? 不存在的!
TiDB Data Migration (DM) 和 TiCDC 是两款用于数据库迁移和同步的强大工具。DM 支持将兼容 MySQL 协议的数据库(如 MySQL、MariaDB)的数据异步迁移到 TiDB 中,具备全量和增量数据传输能力,并能合并分库分表的数据。TiCDC 则专注于 TiDB 的增量同步,利用 TiKV 日志实现高可用性和水平扩展,支持多种下游系统和输出格式。两者均可通过 TiUP 工具进行部署与管理,简化了集群的安装、配置及任务管理过程。
|
3月前
|
canal 关系型数据库 MySQL
"揭秘阿里数据同步黑科技Canal:从原理到实战,手把手教你玩转MySQL数据秒级同步,让你的数据处理能力瞬间飙升,成为技术界的新晋网红!"
【8月更文挑战第18天】Canal是一款由阿里巴巴开源的高性能数据同步系统,它通过解析MySQL的增量日志(Binlog),提供低延迟、可靠的数据订阅和消费功能。Canal模拟MySQL Slave与Master间的交互协议来接收并解析Binary Log,支持数据的增量同步。配置简单直观,包括Server和Instance两层配置。在实战中,Canal可用于数据库镜像、实时备份等多种场景,通过集成Canal Client可实现数据的消费和处理,如更新缓存或写入消息队列。
742 0
|
4月前
|
存储 消息中间件 数据挖掘
数据仓库的深度探索与实时数仓应用案例解析
大数据技术的发展,使得数据仓库能够支持大量和复杂数据类型(如文本、图像、视频、音频等)。数据湖作为一种新的数据存储架构,强调原始数据的全面保留和灵活访问,与数据仓库形成互补,共同支持企业的数据分析需求。

热门文章

最新文章

推荐镜像

更多