让远程传输大文件变得更快

简介:

我是在两台虚拟机做的测试。


如果用传统SCP远程拷贝,速度是比较慢的,如图:

225134616.jpg


现在采用lz4压缩传输。LZ4是一个非常快的无损压缩算法,压缩速度在单核300MB/S,可扩展支持多核CPU。它还具有一个非常快速的解码器,速度单核可达到和超越1GB/S。通常能够达到多核系统上的RAM速度限制。

225329569.jpg

项目主页:http://code.google.com/p/lz4/


安装(在本地和远程均安装lz4压缩工具)

# wget https://dl.dropboxusercontent.com/u/59565338/LZ4/lz4-r108.tar.gz

# cd lz4-r108/

# make;make install


远程传输

1
time  tar  -c aa.img |pv|lz4 -B4| ssh  192.168.17.129  "lz4 -d |tar -xC /root/"

225705201.jpg

传输2G的文件,速度是119M/S,花费了17秒传输完毕。


















本文转自hcymysql51CTO博客,原文链接:http://blog.51cto.com/hcymysql/1328071 ,如需转载请自行联系原作者







相关文章
|
7月前
|
安全 Shell 网络安全
【专栏】通过SSH在远程和本地系统间传输文件的主要四种方法
【4月更文挑战第28天】本文介绍了通过SSH在远程和本地系统间传输文件的四种方法:1) SCP,适用于熟悉命令行的用户;2) SFTP,提供更丰富的文件管理功能;3) SSHFS,可将远程文件系统挂载至本地;4) 图形化工具,如FileZilla和WinSCP,操作简便。根据需求、技能水平和系统环境选择合适的方法,并注重安全设置以确保文件传输的安全可靠。
3583 7
|
7月前
|
Linux
linux 服务器之间远程传输文件命令
linux 服务器之间远程传输文件命令
|
7月前
|
网络协议 安全 网络安全
openWRT SFTP 实现远程文件安全传输
openWRT SFTP 实现远程文件安全传输
|
消息中间件 NoSQL Linux
Linux系列——不同服务器之间的远程传输文件命令
Linux系列——不同服务器之间的远程传输文件命令
|
Unix Linux 测试技术
FTP命令不同系统之间传输文件
FTP命令不同系统之间传输文件
|
算法 安全 Ubuntu
Linux教程丨使用rsync在服务器中高效传输文件,断点续传快速上传下载数据
Linux教程丨使用rsync在服务器中高效传输文件,断点续传快速上传下载数据
|
Linux 虚拟化 Windows
VMware虚拟机和主机传输文件
VMware虚拟机和主机传输文件
650 2
|
存储 安全 算法
在日常开发中,敏感数据应该如何保存或传输
说到敏感信息,第一个想到的恐怕就是用户密码了吧。攻击者一旦获取到了用户密码,就会登录用户的账号进行一系列操作。甚至有些用户还习惯不管什么应用都用同一个密码,导致攻击者可以登录用户全网账号。
|
数据安全/隐私保护
两台服务器间传输文件【scp命令】
两台服务器间传输文件【scp命令】
两台服务器间传输文件【scp命令】
|
存储 网络安全
03-rsync传输模式(本地传输、远程方式传输、守护进程模式传输)
1.Rsync传输模式 rsync大致使用三种主要的数据传输方式 本地方式 远程方式 守护进程 1.1.rsync语法格式 本地传输 rsync [option] src dest 远程通道传输
378 0
03-rsync传输模式(本地传输、远程方式传输、守护进程模式传输)