让远程传输大文件变得更快

简介:

我是在两台虚拟机做的测试。


如果用传统SCP远程拷贝,速度是比较慢的,如图:

225134616.jpg


现在采用lz4压缩传输。LZ4是一个非常快的无损压缩算法,压缩速度在单核300MB/S,可扩展支持多核CPU。它还具有一个非常快速的解码器,速度单核可达到和超越1GB/S。通常能够达到多核系统上的RAM速度限制。

225329569.jpg

项目主页:http://code.google.com/p/lz4/


安装(在本地和远程均安装lz4压缩工具)

# wget https://dl.dropboxusercontent.com/u/59565338/LZ4/lz4-r108.tar.gz

# cd lz4-r108/

# make;make install


远程传输

1
time  tar  -c aa.img |pv|lz4 -B4| ssh  192.168.17.129  "lz4 -d |tar -xC /root/"

225705201.jpg

传输2G的文件,速度是119M/S,花费了17秒传输完毕。


















本文转自hcymysql51CTO博客,原文链接:http://blog.51cto.com/hcymysql/1328071 ,如需转载请自行联系原作者







相关文章
|
机器学习/深度学习 自然语言处理 语音技术
字正腔圆,万国同音,coqui-ai TTS跨语种语音克隆,钢铁侠讲16国语言(Python3.10)
按照固有的思维方式,如果想要语音克隆首先得有克隆对象具体的语言语音样本,换句话说,克隆对象必须说过某一种语言的话才行,但现在,coqui-ai TTS V2.0版本做到了,真正的跨语种无需训练的语音克隆技术。 coqui-ai TTS实现跨语种、无需训练克隆语音的方法是基于Tacotron模型,该模型使用了一种音素输入表示来鼓励在不同语种之间共享模型容量。此外,还引入了对抗损失项,以鼓励模型将说话者身份与语音内容进行解耦。这使得模型能够在不同语种之间进行语音合成,而无需在任何双语或平行示例上进行训练。
字正腔圆,万国同音,coqui-ai TTS跨语种语音克隆,钢铁侠讲16国语言(Python3.10)
|
人工智能 分布式计算 数据可视化
大模型私有化部署全攻略:硬件需求、数据隐私、可解释性与维护成本挑战及解决方案详解,附示例代码助你轻松实现企业内部AI应用
【10月更文挑战第23天】随着人工智能技术的发展,大模型在各领域的应用日益广泛。然而,将其私有化部署到企业内部面临诸多挑战,如硬件资源需求高、数据隐私保护、模型可解释性差、更新维护成本高等。本文探讨了这些挑战,并提出了优化硬件配置、数据加密、可视化工具、自动化更新机制等解决方案,帮助企业顺利实现大模型的私有化部署。
924 1
|
开发框架 Dart 开发者
Serverpod 适合全栈 Dart 开发吗?
Serverpod 是一款适用于全栈Dart开发的框架,尤其适合熟悉Dart的开发者。它提供了Docker部署、代码自动生成、数据库连接等功能,简化了前后端开发流程。通过Serverpod,可以创建单体服务架构,但处理复杂业务时可能需要借助其他语言的丰富生态。框架包括对postgres和redis的支持,以及可视化工具Insights。开发步骤涉及安装、创建项目、启动服务和配置文件。Serverpod还允许动态生成接口和数据库代码,简化CURD操作。虽然适合简单到中等复杂度的应用,对于更复杂需求,可能需要结合其他语言或服务。
214 1
Serverpod 适合全栈 Dart 开发吗?
|
前端开发 Java 数据安全/隐私保护
Jpom插件端管理项目部署
Jpom插件端管理项目部署
282 0
|
前端开发 JavaScript
CommonJS 和 ES6 Module:一场模块规范的对决(下)
CommonJS 和 ES6 Module:一场模块规范的对决(下)
CommonJS 和 ES6 Module:一场模块规范的对决(下)
|
开发工具 git
IDEA删除本地git仓库、创建本地git仓库、关联其他仓库并上传
要在IntelliJ IDEA中删除本地Git仓库并创建新的本地Git仓库,以及关联其他仓库并上传,请按照以下步骤进行操作:
1448 2
|
人工智能 并行计算 前端开发
极智AI | 谈谈推理引擎的推理组织流程
本文主要讨论一下推理引擎的推理组织流程,包括 英伟达 tensorrt、华为 CANN 以及 TVM。
517 0
|
编解码 前端开发 开发者
【前端】postcss-pxtorem
【前端】postcss-pxtorem
492 0
|
编解码 BI 定位技术
中国GDP空间分布数据集、中国人口空间分布数据集、GDP密度分布、人口密度分布数据、夜间灯光分布数据、土地利用数据、道路网分布数据、乡镇边界分布
中国GDP空间分布数据集、中国人口空间分布数据集、GDP密度分布、人口密度分布数据、夜间灯光分布数据、土地利用数据、道路网分布数据、乡镇边界分布
中国GDP空间分布数据集、中国人口空间分布数据集、GDP密度分布、人口密度分布数据、夜间灯光分布数据、土地利用数据、道路网分布数据、乡镇边界分布
|
JSON Go API
Go --- Zap日志包的使用
Go --- Zap日志包的使用
Go --- Zap日志包的使用