压榨SCP传输速度

简介:

 对于千兆网来说,带宽大致为125M/s,scp的速度约为40M/s,对于需要全量恢复数据库的时候(300G 左右的量),需要2个小时左右,很不能接受这种情况;

       加快SCP传输速度需要考虑以下几点:

       1、ssh加密算法的改变;(加密算法越弱速度越快在IDC内网间可以考虑使用)

       2、数据完整校验方式改变;(MACs Message authentication code)

       3、是否启用压缩;

       4、磁盘性能问题;

       man scp 可调整速率的大多在算法上,(亲测-B batch mode 对传输影响不大)

       -c cipher  -o 完整性校验

       ssh -v 调试ssh连接

       关于以上问题的测试数据可参考:orczhou

       加密算法可以采用 scp -c  aes192-cbc

       数据完整性校验采用  scp -o 'MACs umac-64@openssh.com'   关于此哈希算法

       值得一提的是压缩,只要压缩后节省的传输时间大于压缩本身的时间;

       压缩往往适用于: 网速慢;数据中大量重复、空洞的; 而对于压缩比很低的数据不建议使用SSH的传输压缩方式;最好在本地进行并行压缩后再传输;

      加快压缩可以参考以下命令:

1
scp  -c aes192-cbc -o  "MACs umac-64@openssh.com"





本文转自 位鹏飞 51CTO博客,原文链接:http://blog.51cto.com/weipengfei/1350338,如需转载请自行联系原作者
目录
相关文章
|
8月前
|
数据采集 JSON API
Python 进阶爬虫:解析知识星球 API
Python 进阶爬虫:解析知识星球 API
|
7月前
|
人工智能 搜索推荐 Linux
OpenClaw(Clawdbot)阿里云+本地部署,零成本搭建私人AI管家+多平台接入每天省8小时
很多人在用ChatGPT时都会陷入两难:功能强大但需要付费、翻墙,还不能直接连接微信等常用平台,更无法实现定时提醒、自动执行代码等个性化需求。而OpenClaw(曾用名Clawdbot、Moltbot)的出现,彻底解决了这些痛点——它是一款开源AI智能体框架,相当于给AI装上了“实体”,能连接微信、Discord等平台,支持联网搜索、代码执行、定时任务,只要有一台服务器,就能24小时免费为你工作。
943 1
|
6月前
|
存储 人工智能 关系型数据库
阿里云数据库产品活动:上云优选,RDS年付88元起!多款云数据库产品免费试用
阿里云2026年数据库产品活动更新,覆盖RDS、PolarDB、NoSQL及数据仓库全系产品,提供从3折起的超值折扣、新老用户同享的专属福利及免费试用机会。活动涵盖2核4GB至8核16GB多规格配置,RDS 年付88元起!更有续费/升级享5-6折优惠。
1180 4
|
Ubuntu 安全 网络协议
|
网络协议 安全 Linux
Kali渗透测试:拒绝服务攻击(一)
Kali渗透测试:拒绝服务攻击(一)
1124 2
|
Java Apache Maven
Aspose-Words文档处理类库
Aspose-Words文档处理类库
7683 1
|
人工智能
[AI Google] TimesFM:AI预测股市价格,能否助我财务自由?
探索谷歌TimesFM模型,看看它能否通过预测股票价格帮助我们实现财务自由。
1475 0
[AI Google] TimesFM:AI预测股市价格,能否助我财务自由?
|
机器学习/深度学习 算法 PyTorch
【深度学习】深度学习基本概念、工作原理及实际应用案例
深度学习是一种机器学习方法,它试图模拟人脑中的神经网络结构,以解决复杂的问题。深度学习的核心在于构建多层非线性处理单元(即神经元)的网络结构,这些网络可以从原始数据中自动提取特征并进行学习。
4719 1
|
人工智能 搜索推荐 数据挖掘
未来教育行业的就业前景如何?
【8月更文挑战第4天】未来教育行业的就业前景如何?
660 1