大文件跨服务器传送

简介: 2015年9月15日 19:02:47 里的内容 场景是将数据从一个服务器传递到另一个服务器中用于mysql数据初始化或恢复 本质的原理是压缩传输 1. 使用管道命令, 压缩的时候直接传输, 不再压缩到本地, 再传输到另一台server压缩 server1$ gzip -c /server...

2015年9月15日 19:02:47

<高性能mysql>里的内容

场景是将数据从一个服务器传递到另一个服务器中用于mysql数据初始化或恢复

本质的原理是压缩传输

1. 使用管道命令, 压缩的时候直接传输, 不再压缩到本地, 再传输到另一台server压缩

server1$ gzip -c /server1/data/file | ssh root@server2 "gunzip -c - > /server2/data/file"

2. 上一步用了ssh加密, 也可以不用加密的nc命令传输, 需要监听一个端口

server2$ nc -l -p 12345 | gunzip -c - > /server2/data/file //server2监听端口,等待数据传递进行解压缩

server1$ gzip -c - /server1/data/file | nc -q 1 server2 12345

注意:

1. 压缩命令的选择: 更快的压缩/解压但压缩率不高, 慢一些的压缩速度, 但是压缩率比较高 (gzip -l 压缩更快, lzo压缩更快, bzip2压缩率更高)

2. 压缩的时候用tar打包, 他解压的时候会自动命名

3. 用rsync支持断点续传

4. 通过监控来选择更好的方法 vmstat -n 5, 查看是磁盘IO还是cpu速度是瓶颈(千兆网卡的话,但cpu/磁盘不咋滴, 瓶颈就可能在读写文件上, 不压缩反而更快)

 

目录
相关文章
|
2月前
Netty实战: HTTP文件列表服务器
Netty实战: HTTP文件列表服务器
23 0
|
2月前
|
存储 弹性计算 数据可视化
要将ECS中的文件直接传输到阿里云网盘与相册(
【2月更文挑战第31天】要将ECS中的文件直接传输到阿里云网盘与相册(
424 4
|
3月前
|
数据可视化 Shell Linux
shell+crontab+gitlab实现ecs服务器文件的web展示
本文通过把ecs服务器上的文件定时上传至gitlab,实现文件的页面可视化和修改历史。技术点:shell、crontab、gitlab。
54 3
|
4月前
|
弹性计算 数据可视化 安全
云服务器ECS里文件的URL,如何查到呢?
云服务器ECS里文件的URL,如何查到呢?
55 0
|
4月前
|
Apache 项目管理 数据安全/隐私保护
【cpolar】TortoiseSVN如何安装并实现公网提交文件到本地SVN服务器
【cpolar】TortoiseSVN如何安装并实现公网提交文件到本地SVN服务器
49 0
|
2月前
|
Linux 网络安全 Python
如何在服务器上运行python文件
如何在服务器上运行python文件
|
3天前
|
安全 Linux 网络安全
Windows搭建Emby媒体库服务器,无公网IP远程访问本地影音文件
Windows搭建Emby媒体库服务器,无公网IP远程访问本地影音文件
14 0
|
8天前
|
Java
如何解决使用若依前后端分离打包部署到服务器上后主包无法找到从包中的文件的问题?如何在 Java 代码中访问 jar 包中的资源文件?
如何解决使用若依前后端分离打包部署到服务器上后主包无法找到从包中的文件的问题?如何在 Java 代码中访问 jar 包中的资源文件?
43 0
|
9天前
|
Apache 项目管理 数据安全/隐私保护
Windows安装TortoiseSVN客户端结合Cpolar实现公网提交文件到本地服务器
Windows安装TortoiseSVN客户端结合Cpolar实现公网提交文件到本地服务器
|
10天前
|
Apache 项目管理 数据安全/隐私保护
TortoiseSVN客户端如何安装配置并实现公网访问服务端提交文件到本地服务器
TortoiseSVN客户端如何安装配置并实现公网访问服务端提交文件到本地服务器