hadoop集群同步实现-阿里云开发者社区

开发者社区> 开发与运维> 正文
登录阅读全文

hadoop集群同步实现

简介:

#!/usr/bin/env python

#coding=utf-8

#scribe日志接收存在小集群到大集群之间, distcp 同步失败的情况,需要手动进行补入。

#1、如果查询补入的日志量少,则可以之间用脚本处理。如果量大,则使用 hadoop 提交job。

# hadoop job 提交方式:

#   hadoop jar /usr/local/hadoop-2.4.0/share/hadoop/tools/lib/hadoop-distcp-2.4.0.jar -m 100 hdfs://scribehadoop/scribelog/common_act/2016/08/02/13/  /file/realtime/distcpv2/scribelog/common_act/2016/08/02/13  --update 

 

#  --update 参数表示如果目标地址目录存在,则更新该目录中的内容。


#手动同步脚本使用方法: python manual_check_sync.py  dst_path  

#脚本完成大集群和小集群之间的目录大小比较,目录文件比较。 输出差异文件列表。最后完成同步入库。




import sys,os,commands,re

import logging,logging.handlers 


Module=sys.argv[1].split("scribelog")[1]



logger1 = logging.getLogger('mylogger1')

logger1.setLevel(logging.DEBUG)

# 创建一个handler,用于写入日志文件

filehandle = logging.FileHandler('log/test.log',mode='a')

# 再创建一个handler,用于输出到控制台

consehandle = logging.StreamHandler()


# 定义handler的输出格式formatter

formatter = logging.Formatter('[%(asctime)s]:%(message)s',datefmt='%F %T')

#formatter = logging.Formatter('[%(asctime)s-line:%(lineno)d-%(levelname)s]:%(message)s',datefmt='%F %T')

filehandle.setFormatter(formatter)

consehandle.setFormatter(formatter)


logger1.addHandler(filehandle)

logger1.addHandler(consehandle)





little_cluster="hdfs://yz632.hadoop.com.cn/scribelog"

large_cluster="hdfs://ns1"


#logger1.info("源目录(小集群):%s%s" % ( little_cluster,Module))


logger1.info("源目录(小集群):%s%s" %(little_cluster,Module))

logger1.info("目标目录(大集群):%s%s" %(large_cluster,sys.argv[1]))




#统计目录大小等情况

du_little=commands.getoutput("hadoop fs -count " + little_cluster + Module)

du_large=commands.getoutput("hadoop fs -count " + large_cluster + sys.argv[1])


#获取的值是str类型,所以需要转为list来做比较。


logger1.info("                DIR_COUNT FILECOUNT CONTENTSIZE ")

logger1.info("小集群目录信息:%s" %(du_little))

logger1.info("大集群目录信息:%s" %(du_large))



#Python的str类有split方法,只能根据指定的某个字符分隔字符串,re模块中提供的split方法可以定义多个分隔符。这里可以用单个空格作为分隔即可。

du_little=re.split('         |           | ' ,du_little)

du_large=re.split('         |           | ' ,du_large)



#du_little=du_little.split(" ")

#du_large=du_large.split(" ")



#print du_large,du_little

#print du_large[3],du_little[3]

#print du_large[6],du_little[6]

#print du_large[7],du_little[7]

#

if du_little[3] == du_large[3]  and du_little[6] == du_large[6] and du_little[7] == du_large[7]:

logger1.info("大小集群文件数量、大小一致,不需要同步")

exit()




#如果大小不一致,取出目录下所有文件

little_list=commands.getoutput("hadoop fs -lsr " + little_cluster + Module + "|grep -v \"^d\"" )

large_list =commands.getoutput("hadoop fs -lsr " + large_cluster + sys.argv[1]+"|grep -v \"^d\"")


#logger1.info( "小集群情况:%s " %(little_list))

#logger1.info( "大集群情况:%s ")%(large_list ))




list1=[]

list2=[]

lost_list=[]

for i in  little_list.split("\n"):

list1.append(i.split("scribelog")[1])


for i in  large_list.split("\n"):

list2.append(i.split("scribelog")[1])



#logger1.info("小集群目录文件:",list1

#logger1.info("大集群目录文件" ,list2



logger1.info("对比大小集群文件---》未同步文件列表:")

for i in list1:

if i not in list2:

logger1.info(i) 

lost_list.append(i)


logger1.info(lost_list)



#拉取小集群文件到本地tmp目录中

for i in lost_list:

s=commands.getstatusoutput("hadoop fs -get " + little_cluster + i+" /tmp/")

logger1.info("拉取小集群文件到本地tmp目录中%s" %s )



#入库到大集群

for i in lost_list:

logger1.info(i)

  j=commands.getstatusoutput("sudo su - datacopy -s /bin/bash -c '/usr/local/hadoop-2.4.0/bin/hadoop fs -put  /tmp/" +i.split("/")[-1] + "  /file/realtime/distcpv2/scribelog"+i+" '" )

logger1.info(j)

if j[0] == 0 :

logger1.info(" %s + 同步完成" %(i))



#clear tmp file

for i  in lost_list:

commands.getstatusoutput("rm -f /tmp/"+i.split("/")[-1] )


#当同步目录时,可能会出现put的时候提示没有目录存在。参考赵兵的 put  -  src dest  方法,是否可以避免此类问题有待验证。




du_little=commands.getoutput("hadoop fs -count " + little_cluster + Module)

du_large=commands.getoutput("hadoop fs -count " + large_cluster + sys.argv[1])



logger1.info("                  DIR_COUNT       FILECOUNT       CONTENTSIZE ")

logger1.info("小集群目录信息:%s" %(du_little))

logger1.info("大集群目录信息:%s" %(du_large))



#Python的str类有split方法,但是这个split方法只能根据指定的某个字符分隔字符串,re模块中提供的split方法可以用来做这件事情

du_little=re.split('         |           | ' ,du_little)

du_large=re.split('         |           | ' ,du_large)



if du_little[3] == du_large[3]  and du_little[6] == du_large[6] and du_little[7] == du_large[7]:

        logger1.info("小集群文件数量、大小一致,不需要同步")

        exit()



本文转自 Wilson9527 51CTO博客,原文链接:http://blog.51cto.com/devops9527/1855294,如需转载请自行联系原作者

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
开发与运维
使用钉钉扫一扫加入圈子
+ 订阅

集结各类场景实战经验,助你开发运维畅行无忧

其他文章
最新文章
相关文章