用 bbcp 取代 scp

简介:

0. 前言

bbcp 是由SLAC(斯坦福直线加速器中心)的Andy Hanushevsky创立的点对点网络文件拷贝工具。经过简单测试,发现速度比 scp 快了10倍左右,因此推荐大家采用bbcp来取代scp等老家伙 :)

1. 安装

访问bbcp的主页: http://www.slac.stanford.edu/~abh/bbcp/,下载对应二进制版本或者源码,如果是源码,就需要自己编译;这里我选择的是二进制版本,省事。我的系统平台是 Linux 2.6.9-67.0.15.ELsmp x86_64,因此选择了: Redhat Linux RHEL4 (Nahant 2.6.9-67-ELsmp amd64_linux26)。下载回来后,直接放到 /usr/local/bin 下面:
mv bbcp.amd64_linux26 /usr/local/bin/bbcp && chmod +x /usr/local/bin/bbcp
然后就可以开始用了。
注意:如果你的服务器启用防火墙了,注意需要开放 5031 端口的 INPUT 链。例如,要从 192.168.0.84 拷贝文件到 192.168.0.85,则做如下规则:
iptables -I INPUT -s 192.168.0.85 -p tcp --dport 5031 -j ACCEPT
另外,bbcp拷贝的目标段也需要安装bbcp。

2. 测试

本次测试都是拷贝1G的文件。

2.1 测试 scp

time scp 1Gfile 192.168.0.85:/home/yejr/
1Gfile                                100% 1024MB  10.2MB/s   01:40
real    1m40.933s
user    1m34.360s
sys     0m6.497s 

2.2 测试 bbcp

time bbcp -v -s 16 -F -f -w 256k ibdata1 root@192.168.0.85:/home/update/
bbcp: Resource temporarily unavailable obtaining address for 192.168.0.84
bbcp: Resource temporarily unavailable obtaining address for 192.168.0.84
bbcp: Resource temporarily unavailable obtaining address for 192.168.0.85
bbcp: Resource temporarily unavailable obtaining address for 192.168.0.85
bbcp: Resource temporarily unavailable obtaining address for 192.168.0.84
bbcp: Resource temporarily unavailable obtaining address for 192.168.0.84
bbcp: 192.168.0.84 kernel using a send window size of 524352 not 262176
File /home/update/ibdata1 created; 1073741824 bytes at 115788.0 KB/s
1 file copied at effectively 103737.2 KB/s
real    0m10.111s
user    0m0.031s
sys     0m2.767s
本文转自叶金荣51CTO博客,原文链接:http://blog.51cto.com/imysql/308854,如需转载请自行联系原作者
相关文章
|
关系型数据库 MySQL 数据库
Kubernetes-部署高可用的MySQL
1、MySQL简介 MySQL 是一个开源的关系型数据库管理系统,使用标准的sql语言,由瑞典 MySQL AB 公司开发,当前属于 Oracle 公司。能够 支持大型的数据库,可以处理上千万条的数据记录。
5474 0
|
Kubernetes Linux API
[没接触过kubevirt?]15分钟快速入门kubevirt
什么是kubevirt? kubevirt是一个容器方式运行虚拟机的项目。`kubevirt`是附加`kubernetes`集群上的,它是通过 `CustomResourceDefinition(CRD)`部署到`Kubernetes API`变成资源对象。使用方式类似创建`deploy、pod`......这些资源清单。
5489 0
[没接触过kubevirt?]15分钟快速入门kubevirt
|
存储 分布式计算 Kubernetes
大型分布式存储方案MinIO介绍,看完你就懂了!
MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几kb到最大5T不等。
|
存储 弹性计算 运维
阿里云服务器快照备份数据怎么下载到本地保存?
阿里云服务器数据备份并下载保存到本地方法流程,可以使用阿里云快照备份云服务器上的数据,由于快照不能直接下载,然后使用快照创建自定义镜像,然后再将镜像导出下载到本地
8385 0
阿里云服务器快照备份数据怎么下载到本地保存?
|
Web App开发 域名解析 缓存
如何在 Ubuntu 20.04 上安装 Node.js 和 npm
本文我们主要为大家介绍在 Ubuntu 20.04 上安装 Node.js 和 npm 的三种不同的方式。
164452 7
如何在 Ubuntu 20.04 上安装 Node.js 和 npm
|
Docker 容器 数据格式
Docker 修改镜像源地址
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_34173549/article/details/80417198 我的Docker 版本为 1.
42620 0
|
缓存 Linux 开发工具
CentOS 7- 配置阿里镜像源
阿里镜像官方地址http://mirrors.aliyun.com/ 1、点击官方提供的相应系统的帮助 :2、查看不同版本的系统操作: 下载源1、安装wget yum install -y wget2、下载CentOS 7的repo文件wget -O /etc/yum.
261662 0
|
8月前
|
开发框架 人工智能 Cloud Native
破茧成蝶:阿里云应用服务器让传统J2EE应用无缝升级AI原生时代
一场跨越20年的技术对话:在杭州某科技园的会议室里,一场特殊的代码评审正在进行。屏幕上同时展示着2005年基于WebLogic开发的供应链系统和2025年接入DeepSeek大模型的智能调度方案——令人惊叹的是,二者的核心业务代码竟保持着惊人的一致性。"我们保住了20年积累的238个核心业务对象,就像修复传世名画时保留了每一笔历史痕迹。"企业CTO的感慨,揭开了阿里云应用服务器助力传统系统智能化转型的奥秘。
206 13
|
人工智能 Linux Docker
一文详解几种常见本地大模型个人知识库工具部署、微调及对比选型(1)
近年来,大模型在AI领域崭露头角,成为技术创新的重要驱动力。从AlphaGo的胜利到GPT系列的推出,大模型展现出了强大的语言生成、理解和多任务处理能力,预示着智能化转型的新阶段。然而,要将大模型的潜力转化为实际生产力,需要克服理论到实践的鸿沟,实现从实验室到现实世界的落地应用。阿里云去年在云栖大会上发布了一系列基于通义大模型的创新应用,标志着大模型技术开始走向大规模商业化和产业化。这些应用展示了大模型在交通、电力、金融、政务、教育等多个行业的广阔应用前景,并揭示了构建具有行业特色的“行业大模型”这一趋势,大模型知识库概念随之诞生。
156454 30
|
存储 Prometheus 监控
公司要上监控,Zabbix 和 Prometheus 怎么选?这么选准没错!
公司要上监控,Zabbix 和 Prometheus 怎么选?这么选准没错!
3158 0
公司要上监控,Zabbix 和 Prometheus 怎么选?这么选准没错!