压榨SCP传输速度

简介:

 对于千兆网来说,带宽大致为125M/s,scp的速度约为40M/s,对于需要全量恢复数据库的时候(300G 左右的量),需要2个小时左右,很不能接受这种情况;

       加快SCP传输速度需要考虑以下几点:

       1、ssh加密算法的改变;(加密算法越弱速度越快在IDC内网间可以考虑使用)

       2、数据完整校验方式改变;(MACs Message authentication code

       3、是否启用压缩;

       4、磁盘性能问题;

       man scp 可调整速率的大多在算法上,(亲测-B batch mode 对传输影响不大)

       -c cipher  -o 完整性校验

       ssh -v 调试ssh连接

       关于以上问题的测试数据可参考:orczhou

       加密算法可以采用 scp -c  aes192-cbc

       数据完整性校验采用  scp -o 'MACs umac-64@openssh.com'   关于此哈希算法

       值得一提的是压缩,只要压缩后节省的传输时间大于压缩本身的时间;

       压缩往往适用于: 网速慢;数据中大量重复、空洞的; 而对于压缩比很低的数据不建议使用SSH的传输压缩方式;最好在本地进行并行压缩后再传输;

      加快压缩可以参考以下命令:

1
scp  -c aes192-cbc -o  "MACs umac-64@openssh.com"





本文转自 位鹏飞 51CTO博客,原文链接:http://blog.51cto.com/weipengfei/1350338,如需转载请自行联系原作者
目录
相关文章
|
4月前
|
数据采集 JSON API
Python 进阶爬虫:解析知识星球 API
Python 进阶爬虫:解析知识星球 API
|
11月前
|
存储 机器学习/深度学习 缓存
性能最高提升7倍?探究大语言模型推理之缓存优化
本文探讨了大语言模型(LLM)推理缓存优化技术,重点分析了KV Cache、PagedAttention、Prefix Caching及LMCache等关键技术的演进与优化方向。文章介绍了主流推理框架如vLLM和SGLang在提升首Token延迟(TTFT)、平均Token生成时间(TPOT)和吞吐量方面的实现机制,并展望了未来缓存技术的发展趋势。
3753 12
性能最高提升7倍?探究大语言模型推理之缓存优化
|
缓存 Linux 开发工具
CentOS 7- 配置阿里镜像源
阿里镜像官方地址http://mirrors.aliyun.com/ 1、点击官方提供的相应系统的帮助 :2、查看不同版本的系统操作: 下载源1、安装wget yum install -y wget2、下载CentOS 7的repo文件wget -O /etc/yum.
274290 0
|
11月前
|
安全 Linux 网络安全
Linux系统怎么设置允许root登录
在 Linux 系统中,允许 root 用户 通过 SSH 登录是通过修改 SSH 配置文件 /etc/ssh/sshd_config 中的 PermitRootLogin 参数来实现的。默认情况下,出于安全考虑,很多 Linux 发行版会禁用 root 用户的 SSH 登录。因此,你可以按照以下步骤来允许 root 用户通过 SSH 登录:
3294 0
|
缓存 自然语言处理 Java
Elasticsearch 断路器报错了,怎么办?
Elasticsearch 断路器报错了,怎么办?
|
机器学习/深度学习 计算机视觉
YOLOv11改进策略【卷积层】| ICCV-2023 LSK大核选择模块 包含二次独家创新
YOLOv11改进策略【卷积层】| ICCV-2023 LSK大核选择模块 包含二次独家创新
347 0

热门文章

最新文章