业务需求1：需要把一个目录下的1000多万个文件迁移到远程机器
思路：用wget来把文件一个一个的迁移过去，因为文件数量比较大，如果一下在循环操作，会非常慢。所以分批操作，采用化整为零的方法。


#! /bin/sh
home= /usr/local/www/skate/image63delback
cd   $home
     if   [ ` pwd ` == $home ]; then
a= "1 1000000 2000000 3000000 4000000 5000000 6000000 7000000 8000000 9000000"
     for   b  in   $a
        do
c=` expr   $b + 100000`
     for   loop  in   ` sed   -n  "$b,$c" p $1`
        do
path=` echo   $loop |  awk   -F  "/"   '{print $1"/"$2"/"$3"/"$4}' `
         mkdir   -p $path
        /usr/bin/wget   http: //172 .16.111.163/$loop -P $path
        echo   $loop >> $1.log
     done
done
fi


业务需求2：需要把A目录下的1000多万个小文件分批迁移到B目录，每次1000个，30分钟一次，mv之前需确认B目录为空。

思路：使用python的shutil模块，也用shell，大概思路与上文一般。

# -*- coding: utf-8 -*- 
import   os 
import   shutil
def   Test1(rootDir): 
     list_dirs  =   os.walk(rootDir) 
     count = 0
     for   root, dirs, files  in   list_dirs: 
         for   d  in   dirs: 
             print   os.path.join(root, d)      
         if   os.listdir( "/data/file/S10032666/" ):
             print   "目录非空，请清空文件。"
             return   0
         else :
             for   f  in   files: 
                 if   count <  1000 :
                     count = count  + 1
                     f  =   os.path.join(root, f)
                     shutil.move(f, "/data/file/S10032666/" )
                     print   os.path.join(root, f) 
                 else :
                     return   0
 
Test1( "/data/S10032666_bak/" )


转载地址:http://strongit.blog.51cto.com/10020534/1812396