TFS 根据block块进行数据迁移

简介:

还原工具sync_by_blk

一、source端环境介绍:

    ip:192.168.1.230 端口:8108

wKiom1RupIvDJCJwAABv2bXYlDQ436.jpg

source_DS的ip:192.168.1.238 端口:9999

wKiom1RupO_A-ZQSAAJdEQkV1TI556.jpg

source_DS硬盘挂载个数:1个  max_mountsize:10G

wKiom1RupbfxBunvAAEOsSFxF2k081.jpg

source_DS分区挂载情况

wKiom1RupfWArtJcAACB9z4O38Q820.jpg

为了体验效果我们上传一张新图片

wKiom1RuqVzTe5Y1AASh9FAUW28565.jpgwKioL1RuqiKBX1XcAAGwnJEBEcM709.jpg

二、Destination端环境介绍

    ip:192.168.1.155 端口:8108

wKioL1RurLajkJ2rAABmxpzNOwE288.jpgDestination_DS的ip:192.168.1.156 端口:9999

wKiom1RurcPCfDfvAAKGFF9R1SA022.jpg

Destination_DS硬盘挂载个数:1个  max_mountsize:20G

wKioL1Rurs-jpxqTAAESNK2WbPU898.jpgDestination_DS分区挂载情况

wKioL1Rury2TxnTqAAC1Mv5CHZI462.jpg






开始数据迁移,把Destination_DS里面的数据全部格掉,再迁移数据:

wKioL1RusFuwscvKAAEgSyxjrCw277.jpg

统计source_tfs的blck块信息:

1
2
3
4
5
6
7
8
show > block >  /tmp/1 .txt
show >  exit
过滤掉version, filecount, size, del_file, del_size这几个字段全部为0的那些block_id,剩下的block上都存有实际的数据。
grep  - v  '0          0          0          0          0'   /tmp/1 .txt  >  /tmp/2 .txt
取出block_id号
cut  -c 1-10  /tmp/2 .txt  >  /tmp/3 .txt
缩进空格
for  in  $( cat  /tmp/3 .txt); do  echo  $i >>  /tmp/4 .txt;  done

三、使用tfs自带的sync_by_blk进行数据迁移

在进行数据迁移前要确保两台NS的时间是一致的

1
/usr/local/tfs/bin/sync_by_blk  -s 192.168.1.230:8108 -d 192.168.1.155:8108 -f  /tmp/4 .txt -m 20141121

TOTAL COUNT: 0, ACTUAL_COUNT: 8167, SUCCESS COUNT: 8167, FAIL COUNT: 0

四、查看日志

1
2
3
4
5
6
7
cd  logs
[root@localhost logs] # cat sync_done_blk |wc -l
168
[root@localhost logs] # cat sync_fail_file | wc -l
0
[root@localhost logs] # cat sync_succ_file | wc -l
8167

五、验证图片

wKioL1Ru0GXz3mK5AAGpB2hohjs228.jpg










本文转自 xinsir999 51CTO博客,原文链接:http://blog.51cto.com/xinsir/1580839,如需转载请自行联系原作者
目录
相关文章
|
3月前
|
存储 分布式计算 Hadoop
HDFS如何处理大文件和小文件的存储和访问?
HDFS如何处理大文件和小文件的存储和访问?
48 0
|
9月前
|
存储
HDFS 文件块的大小为什么不能设置太小、也不能设置太大?
HDFS 文件块的大小为什么不能设置太小、也不能设置太大?
175 0
|
10月前
|
存储 机器学习/深度学习 缓存
HDFS的元数据和数据块管理
介绍Hadoop文件系统(HDFS)的元数据和数据块管理
271 0
|
存储
HDFS设置BLOCK的目的
HDFS设置BLOCK的目的 在HDFS里面,data node上的块大小默认是64MB(或者是128MB或256MB) 问题: 为什么64MB(或128MB或256MB)是最优选择? 为什么不能远少于64MB(或128MB或256MB) (普通文件系统的数据块大小一般为4KB)减少硬盘寻道时间(disk seek time)
75 0
|
存储 对象存储
JindoFS Block模式
JindoFS Block模式
94 0
|
存储 分布式计算 Hadoop
HDFS 块的大小设置| 学习笔记
快速学习 HDFS 块的大小设置
192 0
HDFS 块的大小设置| 学习笔记
|
索引
ES recovery、主副分片复制会有一段时间block写入?
ES在主副本分片复制时候不会block写入(version > 2.x) ES在recovery主分片时候会有一段时间block写入
422 0
ES recovery、主副分片复制会有一段时间block写入?