压榨SCP传输速度

简介:

 对于千兆网来说,带宽大致为125M/s,scp的速度约为40M/s,对于需要全量恢复数据库的时候(300G 左右的量),需要2个小时左右,很不能接受这种情况;

       加快SCP传输速度需要考虑以下几点:

       1、ssh加密算法的改变;(加密算法越弱速度越快在IDC内网间可以考虑使用)

       2、数据完整校验方式改变;(MACs Message authentication code

       3、是否启用压缩;

       4、磁盘性能问题;

       man scp 可调整速率的大多在算法上,(亲测-B batch mode 对传输影响不大)

       -c cipher  -o 完整性校验

       ssh -v 调试ssh连接

       关于以上问题的测试数据可参考:orczhou

       加密算法可以采用 scp -c  aes192-cbc

       数据完整性校验采用  scp -o 'MACs umac-64@openssh.com'   关于此哈希算法

       值得一提的是压缩,只要压缩后节省的传输时间大于压缩本身的时间;

       压缩往往适用于: 网速慢;数据中大量重复、空洞的; 而对于压缩比很低的数据不建议使用SSH的传输压缩方式;最好在本地进行并行压缩后再传输;

      加快压缩可以参考以下命令:

1
scp  -c aes192-cbc -o  "MACs umac-64@openssh.com"





本文转自 位鹏飞 51CTO博客,原文链接:http://blog.51cto.com/weipengfei/1350338,如需转载请自行联系原作者
目录
相关文章
|
缓存 关系型数据库 MySQL
MYSQL超大分页怎么处理
MySQL超大分页是指在查询结果集非常庞大时,需要分页显示数据。由于数据库查询操作的性能开销较大,在处理超大分页时可能会导致性能问题。在这篇博客文中,我将详细探讨MySQL超大分页的问题,并提供一些解决方案来提升性能。
933 0
|
安全 Linux 网络安全
Linux系统怎么设置允许root登录
在 Linux 系统中,允许 root 用户 通过 SSH 登录是通过修改 SSH 配置文件 /etc/ssh/sshd_config 中的 PermitRootLogin 参数来实现的。默认情况下,出于安全考虑,很多 Linux 发行版会禁用 root 用户的 SSH 登录。因此,你可以按照以下步骤来允许 root 用户通过 SSH 登录:
3618 0
|
缓存 Linux 开发工具
CentOS 7- 配置阿里镜像源
阿里镜像官方地址http://mirrors.aliyun.com/ 1、点击官方提供的相应系统的帮助 :2、查看不同版本的系统操作: 下载源1、安装wget yum install -y wget2、下载CentOS 7的repo文件wget -O /etc/yum.
276091 0
|
6月前
|
数据采集 JSON API
Python 进阶爬虫:解析知识星球 API
Python 进阶爬虫:解析知识星球 API
|
关系型数据库 MySQL
mysql: error while loading shared libraries: libncurses.so.5: cannot open shared object file
mysql: error while loading shared libraries: libncurses.so.5: cannot open shared object file
2953 2
|
机器学习/深度学习 计算机视觉
YOLOv11改进策略【卷积层】| ICCV-2023 LSK大核选择模块 包含二次独家创新
YOLOv11改进策略【卷积层】| ICCV-2023 LSK大核选择模块 包含二次独家创新
377 0
|
Ubuntu 安全 网络协议
|
JSON API 开发者
京东店铺所有商品数据接口(JD.item_search_shop)丨京东API接口指南
JD.item_search_shop 是京东开放平台提供的接口,用于获取店铺所有商品数据。请求方法为 GET,主要参数包括 shopId(必填)、page、pageSize 和 sortType。开发者需先注册并获取 API 密钥,确定目标店铺 ID 后构建请求。响应为 JSON 格式,适用于电商应用、价格比较和市场分析等场景。
1384 0
|
网络协议 安全 Linux
Kali渗透测试:拒绝服务攻击(一)
Kali渗透测试:拒绝服务攻击(一)
1016 2