大文件跨服务器传送

简介: 2015年9月15日 19:02:47 里的内容 场景是将数据从一个服务器传递到另一个服务器中用于mysql数据初始化或恢复 本质的原理是压缩传输 1. 使用管道命令, 压缩的时候直接传输, 不再压缩到本地, 再传输到另一台server压缩 server1$ gzip -c /server...

2015年9月15日 19:02:47

<高性能mysql>里的内容

场景是将数据从一个服务器传递到另一个服务器中用于mysql数据初始化或恢复

本质的原理是压缩传输

1. 使用管道命令, 压缩的时候直接传输, 不再压缩到本地, 再传输到另一台server压缩

server1$ gzip -c /server1/data/file | ssh root@server2 "gunzip -c - > /server2/data/file"

2. 上一步用了ssh加密, 也可以不用加密的nc命令传输, 需要监听一个端口

server2$ nc -l -p 12345 | gunzip -c - > /server2/data/file //server2监听端口,等待数据传递进行解压缩

server1$ gzip -c - /server1/data/file | nc -q 1 server2 12345

注意:

1. 压缩命令的选择: 更快的压缩/解压但压缩率不高, 慢一些的压缩速度, 但是压缩率比较高 (gzip -l 压缩更快, lzo压缩更快, bzip2压缩率更高)

2. 压缩的时候用tar打包, 他解压的时候会自动命名

3. 用rsync支持断点续传

4. 通过监控来选择更好的方法 vmstat -n 5, 查看是磁盘IO还是cpu速度是瓶颈(千兆网卡的话,但cpu/磁盘不咋滴, 瓶颈就可能在读写文件上, 不压缩反而更快)

 

目录
相关文章
|
2月前
|
存储 UED Windows
Windows服务器上大量文件迁移方案
Windows服务器上大量文件迁移方案
109 1
|
3月前
|
存储 监控 固态存储
【vSAN分布式存储服务器数据恢复】VMware vSphere vSAN 分布式存储虚拟化平台VMDK文件1KB问题数据恢复案例
在一例vSAN分布式存储故障中,因替换故障闪存盘后磁盘组失效,一台采用RAID0策略且未使用置备的虚拟机VMDK文件受损,仅余1KB大小。经分析发现,该VMDK文件与内部虚拟对象关联失效导致。恢复方案包括定位虚拟对象及组件的具体物理位置,解析分配空间,并手动重组RAID0结构以恢复数据。此案例强调了深入理解vSAN分布式存储机制的重要性,以及定制化数据恢复方案的有效性。
86 5
|
27天前
|
Python
Flask学习笔记(三):基于Flask框架上传特征值(相关数据)到服务器端并保存为txt文件
这篇博客文章是关于如何使用Flask框架上传特征值数据到服务器端,并将其保存为txt文件的教程。
29 0
Flask学习笔记(三):基于Flask框架上传特征值(相关数据)到服务器端并保存为txt文件
|
21天前
|
前端开发 Docker 容器
主机host服务器和Docker容器之间的文件互传方法汇总
Docker 成为前端工具,可实现跨设备兼容。本文介绍主机与 Docker 容器/镜像间文件传输的三种方法:1. 构建镜像时使用 `COPY` 或 `ADD` 指令;2. 启动容器时使用 `-v` 挂载卷;3. 运行时使用 `docker cp` 命令。每种方法适用于不同场景,如静态文件打包、开发时文件同步及临时文件传输。注意权限问题、容器停止后的文件传输及性能影响。
|
2月前
|
Java
java小工具util系列5:java文件相关操作工具,包括读取服务器路径下文件,删除文件及子文件,删除文件夹等方法
java小工具util系列5:java文件相关操作工具,包括读取服务器路径下文件,删除文件及子文件,删除文件夹等方法
52 4
|
3月前
|
Linux
Linux 服务器下载百度网盘文件
本教程指导如何使用 `bypy` 库从百度网盘下载文件。首先通过 `pip install bypy` 安装库,接着运行 `bypy info` 获取登录链接并完成授权,最后将文件置于指定目录并通过 `bypy downdir /Ziya-13b-v1` 命令下载至本地。
152 1
Linux 服务器下载百度网盘文件
|
3月前
|
PHP
PHP遍历文件并同步上传到服务器
在进行网站迁移时,由于原网站的图片文件过多,采用打包下载再上传的方式耗时过长,且尝试使用FTP工具从旧服务器传输至新服务器时失败。为解决此问题,特使用PHP编写了一款工具,该工具能扫描指定目录下的所有`.webp`图像文件,并将其上传至新的服务器,极大地提高了迁移效率。
103 16
|
3月前
|
存储 安全 文件存储
【服务器数据恢复】Apple苹果Xsan文件系统卷宗误操作导致文件丢失数据恢复案例
客户因误操作删除了macOS服务器上的重要图片和视频文件,需紧急恢复。Xsan文件系统作为苹果专为高负载环境设计的64位簇文件系统,在未有专门恢复工具的情况下,常规RAW恢复仅能提取小部分连续存储的小文件,且无目录结构。通过专业的数据恢复流程,包括安全挂载、阵列重组,并使用专用工具解析文件系统以恢复目录结构,最终成功恢复丢失的文件。此案例突显了Xsan文件系统的特点及其恢复难度。
32 1
|
3月前
|
开发工具 git iOS开发
服务器配置Huggingface并git clone模型和文件
该博客提供了在服务器上配置Huggingface、安装必要的工具(如git-lfs和huggingface_hub库)、登录Huggingface以及使用git clone命令克隆模型和文件的详细步骤。
271 1
|
3月前
|
数据可视化 Python
通过python建立一个web服务查看服务器上的文本、图片、视频等文件
通过python建立一个web服务查看服务器上的文本、图片、视频等文件
61 0

热门文章

最新文章