使用ssh远程执行命令批量导出数据库到本地(转)

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 前天正在跟前端的同事调试功能。服务器开好,模拟的玩家登录好,就在倒计时。这时突然运营的同事跑过来说要统计几个服务器玩家的一些情况,也就是需要从几个服的数据库导出部分玩家的数据。好吧,我看了一下时间,11:47。

 

前天正在跟前端的同事调试功能。服务器开好,模拟的玩家登录好,就在倒计时。这时突然运营的同事跑过来说要统计几个服务器玩家的一些情况,也就是需要从几个服的 数据库导出部分玩家的数据。好吧,我看了一下时间,11:47。心想,跟前端调试完,去吃个饭再午休一下那就下午再给吧。没想对方来一句"就导个数据库而已,要这么久么?",而且还是直接跟我上司说的。我嚓,好吧,我导。可问题来了,平时的统计是由php做的,批量部署这些是由运维做的。服务端完全没有对应的工具。而且服务器是在阿里云上的,数据库的用户是限制了ip段登录的,我所在的ip没法登录的。于是,只好终止调试,切ip,写sql,然后用navicat手动一个个服务器导出数据到excel。
  事后想想,还是写个脚本吧,不然以后还是会被坑的。
  从环境来看,数据库不能直接登录,没法直接导出。不过可以由运维提供key通过ssh登录到远程服务器再将数据导出到本地。
  先配置ssh通过key登录服务器。这里略过...
  然后就是通过ssh执行命令。先看一下ssh的帮助文档:
  usage: ssh [-1246AaCfgKkMNnqsTtVvXxYy] [-b bind_address] [-c cipher_spec]
  [-D [bind_address:]port] [-E log_file] [-e escape_char]
  [-F configfile] [-I pkcs11] [-i identity_file]
  [-L [bind_address:]port:host:hostport] [-l login_name] [-m mac_spec]
  [-O ctl_cmd] [-o option] [-p port]
  [-Q cipher | cipher-auth | mac | kex | key]
  [-R [bind_address:]port:host:hostport] [-S ctl_path] [-W host:port]
  [-w local_tun[:remote_tun]] [user@]hostname [command]
  最后一项就是执行指令的。假如远程服务器地址为180.97.33.108,开启的ssh端口为998,ssh用户名为xzc,然后想通过在远程服务器上执行命令ls,那么脚本应该这么写:
  ssh xzc@180.97.33.108 -p 998 "ls"
  如果ssh的认证key已配置好,那么会把登录后当前目录下的文件列出来,当然第一次登录会提示保存远程服务器的指纹。现在是要导出数据库的数据,那么需要把ls命令换成导出数据库的命令。
  echo "select * from user;" | mysql xzc_db -uxzc -pxzcpwd
  #或者
  mysql xzc_db -uxzc -pxzcpwd -e "select * from user"
  上面两命令都可以使用数据库用户xzc,密码xzcpwd从数据库xzc_db打印出user表,使用的是默认的本地数据库地址localhost,默认的端口。如果不是默认,需要指定。
  登录OK了,打印也OK了,那么下一步就是导出到文件了。这在bash也就是一个 > 的事。把上面的命令拼起来就是:
  ssh xzc@180.97.33.108 -p 998 'echo "select * from user;" | mysql xzc_db -uxzc -pxzcpwd' > user.txt
  这样就把user表导出来本地的user.txt中了。注意"> user.txt"如果放到 ''里则是在远程服务器执行,导出的文件在远程服务器。文件现在也有了,不过是txt,这样交给运营不太好吧。那就导出excel吧。不过遗憾的是我查了N多资料,也找不到mysql不依赖第三方插件或工具导出原生excel的方法。而navicat导出的可是货真价实的excel,如果用notepad++之类的文本工具打开是会乱码的,并且导出的文件不会有编码问题。幸好如果一个txt以tab分割的话,excel也是能认得出来的。于是把user.txt改名user.xls就可以了。但这样做的问题是excel会按自己的方式处理内容的。比如把一个很大的数字转换成科学记数法形式。这些都得手动去处理一下了。
最后,就是写成脚本批量操作了。附上我使用的脚本一个:
  #!/bin/bash
  # 通过ssh远程执行远程指令
  # 需要先部署key认证,保证ssh只需要ip、port即可连接
  # 如果需要和远程服务器交互,请参考ssh的-t、-tt参数
  # 如果需要反复登录服务器执行多条指令,请使用ssh的通道重用
  # 参考:http://en.wikibooks.org/wiki/OpenSSH/Cookbook/Multiplexing
  # 使用通道需要注意退出通道,如"ssh github.com -O exit"或者"ssh github.com -O stop"
  #                                              --by coding my life
  #分别设置ssh用户名、数据库用户名、数据库密码、导出数据
  SSH_USER='xzc_ssh'
  DB_USER='xzc_db'
  DB_PWD='xzc_db_pwd123'
  EXP_PATH=export_data/
  # 执行远程命令
  # $1 服务器ip
  # $2 ssh端口
  # $3 指令
  function exec_remote_command()
  {
  ssh $SSH_USER@$1 -p $2 '$3'
  }
  # 执行远程sql,导出数据
  # $1 服务器ip
  # $2 ssh端口
  # $3 指令,多个sql指令如select * from user;select * from bag;也可执行,但结果将会写到同一个文件
  # s4 服务器
  # $5 导出文件
  function export_remote_sql()
  {
  echo export from $4 ...
  cmd="echo \"$3\" | mysql $4 -u$DB_USER -p$DB_PWD --default-character-set=utf8"
  ssh $SSH_USER@$1 -p $2 "$cmd" > $EXP_PATH$4_$5    #如果要导出到远程服务器,将把 > $EXP_PATH$4_$5放到cmd中
  }
  # $1 区服名
  # $2 ip
  # $3 端口
  function exec_sqls()
  {
  cat SQLS | while read sql ; do
  fc=${sql:0:1}
  if [ "#" == "$fc" ]; then    #被注释的不处理
  continue
  fi
  #sql语句中包含空格,不能再以空格来区分。最后一个空格后的是导出的文件名
  exp_file="${sql##* }"                #两个#表示正则以最大长度匹配*和一个空格(*后面的空格),截取余下的赋值给exp_file
  sql_cmd="${sql%% $exp_file}"         #两个%表示从右至左删除%%以后的内容
  export_remote_sql $2 $3 "$sql_cmd" $1 "$exp_file"
  done
  }
  # 需要在当前目录下创建服务器列表文件SERVERS,格式为"数据库名 ip ssh端口",如"xzc_game_s99 127.0.0.1 22"
  # 需要在当前目录下创建sql命令列表文件SQLS,格式为"sql语句 导出的文件",如"select * from user; user.xls"
  # 多个sql请注意用;分开,sql必须以;结束
  # 文件名中不能包含空格,最终导出的文件为"数据库名_文件名",如"xzc_game_s99_user.xls"
  mkdir -p $EXP_PATH
  cat SERVERS | while read server ; do
  fc=${server:0:1}
  if [ "#" == "$fc" ]; then    #被注释的不处理
  continue
  fi
  name=`echo $server|awk '{print $1}'`
  ip=`echo $server|awk '{print $2}'`
  port=`echo $server|awk '{print $3}'`
  exec_sqls $name $ip $port
  done
  当前目录下的文件如下,其中SERVERS是服务器列表,里面指定数据库名,ip,ss端口,SQLS则指定sql指令及导出的文件名。这两个文件里以#开头的都不会处理:
  xzc@xzc-HP-ProBook-4446s:~/桌面/remote_cmd$ ls
  remote_cmd.sh  SERVERS  SQLS
  xzc@xzc-HP-ProBook-4446s:~/桌面/remote_cmd$ cat SERVERS
  xzc_game_s99 120.0.0.99 6162
  xzc_game_s91 120.0.0.91 6162
  xzc_game_s92 120.0.0.92 6162
  xzc_game_s93 120.0.0.93 6162
  xzc_game_s94 120.0.0.94 6162
  #xzc_game_s91 120.0.0.91 6162
  xzc@xzc-HP-ProBook-4446s:~/桌面/remote_cmd$ cat SQLS
  #select * money from money; money.xls
  select * from user; user.xls
  xzc@xzc-HP-ProBook-4446s:~/桌面/remote_cmd$
  到这里,脚本基本完成了要求。
 
http://pda158.iteye.com/blog/2172345
 
 
相关实践学习
【文生图】一键部署Stable Diffusion基于函数计算
本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群:29290019867
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
相关文章
|
13天前
|
关系型数据库 数据库连接 数据库
循序渐进丨MogDB 中 gs_dump 数据库导出工具源码概览
通过这种循序渐进的方式,您可以深入理解 `gs_dump` 的实现,并根据需要进行定制和优化。这不仅有助于提升数据库管理的效率,还能为数据迁移和备份提供可靠的保障。
31 6
|
12天前
|
数据库 数据安全/隐私保护
【YashanDB 知识库】exp 导出数据库时,报错 YAS-00402
**简介:** 在执行数据导出命令 `exp --csv -f csv -u sales -p sales -T area -O sales` 时,出现 YAS-00402 错误,提示“Connection refused”。原因是数据库安装时定义的 IP 地址或未正确配置导致连接失败。解决方法是添加 `--server-host ip:port` 参数,例如 `exp --csv -f csv -u sales -p sales -T area -O sales --server-host 192.168.33.167:1688`。
|
3月前
|
关系型数据库 MySQL Linux
Linux下mysql数据库的导入与导出以及查看端口
本文详细介绍了在Linux下如何导入和导出MySQL数据库,以及查看MySQL运行端口的方法。通过这些操作,用户可以轻松进行数据库的备份与恢复,以及确认MySQL服务的运行状态和端口。掌握这些技能,对于日常数据库管理和维护非常重要。
164 8
|
7月前
|
存储 关系型数据库 MySQL
初步了解MySQL数据库的基本命令
初步了解MySQL数据库的基本命令
67 0
|
4月前
|
网络安全 数据库
gbase 8a 数据库 安装8ampp 常见ssh报错问题
gbase 8a 数据库 安装8ampp 常见ssh报错问题
|
5月前
|
tengine 关系型数据库 MySQL
Tengine、Nginx安装MySQL数据库命令教程
本指南详细介绍了在Linux系统上安装与配置MySQL数据库的步骤。首先通过下载并安装MySQL社区版本,接着启动MySQL服务,使用`systemctl start mysqld.service`命令。若启动失败,可尝试使用`sudo /etc/init.d/mysqld start`。利用`systemctl status mysqld.service`检查MySQL的服务状态,确保其处于运行中。通过日志文件获取初始密码,使用该密码登录数据库,并按要求更改初始密码以增强安全性。随后创建一个名为`tengine`的数据库,最后验证数据库创建是否成功以及完成整个设置流程。
|
5月前
|
NoSQL MongoDB 数据库
MongoDB是一个NoSQL数据库,有着多种不同的命令和操作。以下是一些常见的MongoDB命令:
一些常用的MongoDB命令,如数据库和集合的管理、数据的插入、查询、更新、删除以及聚合操作等。
58 1
|
6月前
|
关系型数据库 MySQL 数据库
6-2|测试连接数据库的命令
6-2|测试连接数据库的命令
|
5月前
|
SQL Shell 数据库
在TDengine容器中创建初始化数据库的Shell命令实例
以上就是在Docker容器环境中部署并初始化TDengine数据库的全过程,希望对你有所帮助。
160 0
|
8月前
|
NoSQL MongoDB 数据库
Mongo 数据库备份和恢复命令
Mongo 数据库备份和恢复命令
316 4

热门文章

最新文章