shell脚本使用mysqldump+mysql同步线上库和测试库数据

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: shell脚本使用mysqldump+mysql同步线上库和测试库数据

实现同一台服务器不同数据库的单表同步


完整脚本


#!/bin/bash
# 执行方式
# bash demo.sh <table_name>
# 配置数据库账号密码
username='root'
password='123456'
# 配置数据源库 和 数据目标库
source_database='data'
target_database='dev_data'
# 接收参数 表名
table_name=$1
if [ ! $table_name ]; then  
    echo "error: 数据表名称未知"
    echo "执行方式: bash demo.sh <table_name>"
    exit
fi  
echo "开始同步..."
echo "$source_database.$table_name => $target_database.$table_name"
# 2>/dev/null 可以抑制警告信息
mysqldump -u"${username}" -p"${password}"  $source_database $table_name 2>/dev/null \
| mysql -u"${username}" -p"${password}" $target_database 2>/dev/null \
&& echo "同步完成 success"

可以根据需求自行修改

使用方式

$ bash demo.sh <table_name>

遇到的问题及解决

mysqldump: Couldn't execute '
SELECT COLUMN_NAME, JSON_EXTRACT(HISTOGRAM, '$."number-of-buckets-specified"')  
FROM information_schema.COLUMN_STATISTICS
WHERE SCHEMA_NAME = 'admin_xlmstore_c' AND TABLE_NAME = 'tb_article';': 
Unknown table 'COLUMN_STATISTICS' in information_schema (1109)

解决方法:


# 添加参数 --column-statistics=0
mysqldump --column-statistics=0 -h ip -u root -p dbname > db.sql;

参考

mysqldump 导出提示Couldn’t execute SELECT COLUMN_NAME…


同步不同主机数据

#!/bin/bash
# 执行方式
# bash sync_data.sh [table_name]
####################################################
# 参数配置
####################################################
# 数据源
source_host='127.0.0.1'
source_port='3306'
source_user='root'
source_password='123456'
source_database='data'
# 数据目标
target_host='127.0.0.1'
target_port='3306'
target_user='root'
target_password='123456'
target_database='data_dev'
# 可选接收参数 表名
table_name=$1
# if [ ! $table_name ]; then
#     echo "error: 数据表名称未知"
#     echo "执行方式: bash demo.sh <table_name>"
#     exit
# fi
####################################################
# 脚本执行
####################################################
echo "开始同步..."
echo "$source_database.$table_name => $target_database.$table_name"
# 2>/dev/null 可以抑制警告信息
mysqldump \
--column-statistics=0 \
--host $source_host \
--port $source_port \
--user $source_user \
--password $source_password \
$source_database \
$table_name \
| mysql \
--host $target_host \
--port $target_port \
--user $target_user \
--password $target_password \
$target_database \
&& echo "同步完成 success"

报错及解决

尝试使用mysqldump导出数据报错:


mysqldump: Error: 'Access denied; 
you need (at least one of) the PROCESS privilege(s) for this operation' 
when trying to dump tablespaces

需要授权


> grant process on *.* to user@'%';
-- 刷新数据库
flush privileges;

注意:process权限是一个全局权限,所以不可以指定在某一个库上,否则会报错


ERROR 1221 (HY000): Incorrect usage of DB GRANT and GLOBAL PRIVILEGES


相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
1月前
|
分布式计算 Shell MaxCompute
odps测试表及大量数据构建测试
odps测试表及大量数据构建测试
|
2月前
|
开发框架 .NET Java
C#集合数据去重的5种方式及其性能对比测试分析
C#集合数据去重的5种方式及其性能对比测试分析
38 11
|
2月前
|
开发框架 .NET Java
C#集合数据去重的5种方式及其性能对比测试分析
C#集合数据去重的5种方式及其性能对比测试分析
55 10
|
3月前
|
机器学习/深度学习 算法 UED
在数据驱动时代,A/B 测试成为评估机器学习项目不同方案效果的重要方法
在数据驱动时代,A/B 测试成为评估机器学习项目不同方案效果的重要方法。本文介绍 A/B 测试的基本概念、步骤及其在模型评估、算法改进、特征选择和用户体验优化中的应用,同时提供 Python 实现示例,强调其在确保项目性能和用户体验方面的关键作用。
68 6
|
3月前
|
机器学习/深度学习 算法 UED
在数据驱动时代,A/B 测试成为评估机器学习项目效果的重要手段
在数据驱动时代,A/B 测试成为评估机器学习项目效果的重要手段。本文介绍了 A/B 测试的基本概念、步骤及其在模型评估、算法改进、特征选择和用户体验优化中的应用,强调了样本量、随机性和时间因素的重要性,并展示了 Python 在 A/B 测试中的具体应用实例。
47 1
|
3月前
|
缓存 监控 Shell
如何使用 HBase Shell 进行数据的实时监控和备份?
如何使用 HBase Shell 进行数据的实时监控和备份?
|
3月前
|
Shell 分布式数据库 Hbase
如何使用 HBase Shell 进行数据的批量导入和导出?
如何使用 HBase Shell 进行数据的批量导入和导出?
247 5
|
3月前
|
开发框架 安全 .NET
.NET使用Moq开源模拟库简化单元测试
.NET使用Moq开源模拟库简化单元测试~
|
3月前
|
资源调度 前端开发 JavaScript
React 测试库 React Testing Library
【10月更文挑战第22天】本文介绍了 React Testing Library 的基本概念和使用方法,包括安装、基本用法、常见问题及解决方法。通过代码案例详细解释了如何测试 React 组件,帮助开发者提高应用质量和稳定性。
119 0
|
Shell Linux
Linux shell编程 8 ---- 退出+测试
 1 退出状态     1 在Linux shell编程中,每个命令在脚本完成后都会有一个退出状态          2 退出状态用一个整数值表示,若退出状态为0表示成功,若退出状态非0表示失败。
1071 0

热门文章

最新文章

推荐镜像

更多