Python 实现批量从不同的Linux服务器下载文件

简介: Python 实现批量从不同的Linux服务器下载文件

基于Python实现批量从不同的Linux服务器下载文件

 


 

实现功能

批量从不同的Linux服务器下载指定文件

 

测试环境

Win7 64

 

Python 3.3.2

 

pscp 64

下载地址:

https://www.chiark.greenend.org.uk/~sgtatham/putty/latest.html

网盘下载地址:

https://pan.baidu.com/s/1qYFft4g

 

使用方法

1、编辑配置文件conf/file_for_download.txt

# 测试实例名(#代表注释
[192.168.1.103]
/home/MariaDB-10.0.19-centos7-x86_64-test.rpm

[192.168.1.102]
/home/testacc/testfile

说明:

[192.168.1.103]:要下载目标文件所在的主机ip

 

/home/MariaDB-10.0.19-centos7-x86_64-test.rpm要下载的目标文件路径--相对于“根目录”的文件绝对路径,,每一行代表一个文件路径

2、编辑配置文件conf/download.conf

[STORAGE]
dirpath_for_storage =  d:\pkgdir
dirpath_for_storage_bak = d:\svn\mybak

[TARGET]
MariaDB-10.0.19-centos7-x86_64-test.rpm

#MariaDB-10.0.19-centos7-x86-test.rpm

 

说明:

dirpath_for_storage设置一个目录路径,作为下载文件的存储路径

 

dirpath_for_storage_bak设置一个目录路径,存储上次下载的文件(再次执行下载之前会把dirpath_for_storage目录下的文件复制到dirpath_for_storage_bak,然后删除dirpath_for_storage下的文件)

 

MariaDB-10.0.19-centos7-x86_64-test.rpm要下载的文件名称,每一行代表一个文件路径

 

#表示注释,不会被程序读取

 

3、编辑配置文件conf/host_config.conf

如下截图,配置需要下载文件所在的服务器主机信息

 

 

说明:

[192.168.1.102][需要下载文件所在的目标主机ip]

host:需要上传文件的目标主机ip

username:登录该主机的用户名

hostkeyhostkey

password:登录密码

port:端口号

remark:补充说明,比如该主机是作啥用的

 

hostkey的获取方式如下:

进入到项目文件中的pscp目录

cd autodeploy20171102\pscp

 

执行以下命令

pscp.exe -v -P 22 -pw huo

zhe root@192.168.1.103:/home/MariaDB-10.0.19-centos7-x86_64-test.rpm d:\pkgdir

Connecting to 192.168.1.103 port 22

()

Host key fingerprint is:

ssh-ed25519 25606:e4:dd:e2:99:a9:46:c7:b2:b5:c9:97:37:a6:89:dd

()

如上,带背景色,加粗部分的内容,就是hostkey

 

选项说明:

-P 22:端口

-pw :登录密码

/home/MariaDB-10.0.19-centos7-x86_64-test.rpm:要下载的远程文件

root@192.168.1.103:登陆服务器的用户名@服务器ip

d:\pkgdir:存储下载文件的目标路径

 

注意:一个文件要能被正常下载,必须满足三个条件:

conf/file_for_download.txt配置了该文件所在远程主机和绝对路径

conf/download.conf         TARGET节点下,配置了该文件名,且非注释

conf/host_config.conf      配置了要下载文件所在主机节点信息

 

4、运行程序

进入到项目跟目录

cd /d autodeploy20171102

python main.py

 

 

5、查看结果

result/result_for_success.txt

 

result/result_for_failure.txt

 

分别记录了运行成功和失败的文件信息

 




源码下载地址

https://pan.baidu.com/s/1hscm0rM

 

 

目录
相关文章
|
1天前
|
openCL Linux 异构计算
Linux服务器如何查询GPU型号
【6月更文挑战第13天】Linux服务器如何查询GPU型号
7 1
|
2天前
|
Linux Shell 测试技术
Linux服务器测试脚本集合
LemonBench是iLemonrain创作的Linux服务器性能测试工具,能一键检测系统信息、网络、CPU、内存和硬盘性能。
6 0
|
8天前
|
监控 安全 Linux
Linux服务器如何管理sshd的连接
【6月更文挑战第6天】Linux服务器如何管理sshd的连接
12 4
|
30天前
|
Linux
百度搜索:蓝易云【Linux中如何对文件进行压缩和解压缩?】
这些是在Linux中进行文件压缩和解压缩的常见方法。根据您的需求和具体情况,可能会使用其他压缩工具和选项。您可以通过查阅相应命令的帮助文档来获取更多详细信息。
58 1
|
30天前
|
NoSQL Java Linux
Linux常用命令(文件目录操作、拷贝移动、打包压缩、文本编辑、查找)
Linux常用命令(文件目录操作、拷贝移动、打包压缩、文本编辑、查找)
|
30天前
|
算法 Java Linux
Linux下文件增删改查定位压缩操作与权限所属用户
Linux下文件增删改查定位压缩操作与权限所属用户
44 0
|
8月前
26Linux - 文件管理(文件压缩解压:bzip2)
26Linux - 文件管理(文件压缩解压:bzip2)
39 0
|
11天前
|
Linux
14. 【Linux教程】文件压缩与解压
14. 【Linux教程】文件压缩与解压
11 0
|
30天前
|
算法 Linux
Linux:文件增删 & 文件压缩指令
Linux:文件增删 & 文件压缩指令
12 0
|
30天前
|
Java Shell Linux
Linux【脚本 01】简单Shell脚本实现定时备份文件、压缩、删除超时文件操作(showDoc文件备份脚本举例)
Linux【脚本 01】简单Shell脚本实现定时备份文件、压缩、删除超时文件操作(showDoc文件备份脚本举例)
158 0