【Python之旅】第六篇(七):开发简易主机批量管理工具

本文涉及的产品
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
RDS Agent(兼容OpenClaw),2核4GB
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
简介:

通过前面对Paramiko模块的学习与使用,以及Python中多线程与多进程的了解,依此,就可以开发简易的主机批量管理工具了。

    显然批量管理主机时,程序如果能并发执行功能是最好的,因为这样可以最大程度地利用CPU的性能,因此这就需要使用Python多线程或者多进程,基于学习的需要,这里主要使用多进程来进行开发,当然,这会存在一定问题,后面会说。

    主要内容如下:

1
2
3
4
5
6
7
1 .主机批量管理工具功能
2 .设计框架
3 .实现:数据库信息与程序源代码
4 .实战演示
5 .程序的不足
6 .在写程序过程中的经验教训
7 .往后的改进思路


1.主机批量管理工具功能

    这里的主机主要是指Linux服务器,需要的功能如下:

(1)批量命令执行

    能够通过该程序对管理列表中的主机批量执行管理员输入的命令。

(2)批量文件分发

    对于多台服务器主机需要同一文件时,可以通过该程序远程批量分发指定的文件。

(3)支持自定义端口

    实现(1)(2)的功能都依赖于Paramiko模块,而Paramiko模块是基于SSH来完成的,虽然大多数Linux服务器的SSH端口号都默认使用22,但出于安全的考虑,也有修改默认端口号的情况,比如将SSH远程端口号修改为52113等。

(4)自定义用户

    这里的自定义用户主要是指该程序的用户,把该程序理解为一个批量管理系统,要使用该系统就必然要有该系统的账号与用户名,而每个账号与用户名根据权限的需要,都应该有自己可以管理的主机列表,比如普通运维人员只能管理部分服务器主机,而运维总监则应该可以管理更多的主机,并且他们的管理权限也应该是不一样的,因此,他们分别对应的管理系统的账号的权限就不一样了。

(5)日志记录功能

    运维人员登陆该系统后,对远程服务器主机进行了什么操作、时间、成功与否等信息都要以日志形式记录下来。


2.设计框架

    基于上面几个功能的需要,设计的思路如下:

wKioL1Yfa6SxmBECAAFbZPi37UQ185.jpg


3.实现:数据库信息与程序源代码

    根据需求与设计框架,做如下的工作:

(1)数据库信息

1)管理系统登陆信息数据库

    这里存放的是该系统可以登陆的用户名密码等信息,只有在这里存在的用户名才能进行登陆,如下:

    

创建了manager_system数据库:

1
2
3
4
5
6
7
8
9
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| manager_system     |
| mysql              |
+--------------------+
3  rows  in  set  ( 0.03  sec)

    

在manager_system数据库中创建了两种类型不同的表:

1
2
3
4
5
6
7
8
9
10
mysql>  use  manager_system
mysql> show tables;
+--------------------------+
| Tables_in_manager_system |
+--------------------------+
| manager1_server          |
| manager2_server          |
| users                    |
+--------------------------+
3  rows  in  set  ( 0.00  sec)

    表users用来存放用户信息,表manager1_server等就是用来存放用户对应的可以管理的主机列表,下面会讲。 


表users就是用来存放系统用户信息的:

1
2
3
4
5
6
7
8
9
10
mysql> describe users;
+-----------+------------------+------+-----+---------+----------------+
| Field     | Type             |  Null  | Key | Default | Extra          |
+-----------+------------------+------+-----+---------+----------------+
| id        |  int ( 10 ) unsigned | NO   | PRI | NULL    | auto_increment |
| username  | char( 20 )         | NO   |     | NULL    |                |
| password  | char( 20 )         | NO   |     | NULL    |                |
| real_name | char( 20 )         | NO   |     | NULL    |                |
+-----------+------------------+------+-----+---------+----------------+
4  rows  in  set  ( 0.01  sec)

    

表users中存放了两个用户信息:

1
2
3
4
5
6
7
8
mysql> select * from users;
+----+----------+----------+-----------+
| id | username | password | real_name |
+----+----------+----------+-----------+
|   1  | manager1 |  123456    | zhangsan  |
|   2  | manager2 |  123456    | lisi      |
+----+----------+----------+-----------+
2  rows  in  set  ( 0.00  sec)

    也就是说,只能用户manager1和manager2才能登陆该系统,其他用户除非向管理员申请注册,否则是无法登陆该系统的。


2)管理系统用户主机列表数据库

    其实还是使用了manager_system的数据库,只是在该数据库中创建了基于用户的不同表,如下:


两种类型不同的表:

1
2
3
4
5
6
7
8
9
10
mysql>  use  manager_system
mysql> show tables;
+--------------------------+
| Tables_in_manager_system |
+--------------------------+
| manager1_server          |
| manager2_server          |
| users                    |
+--------------------------+
3  rows  in  set  ( 0.00  sec)


表[name]_server就是用来存放用户对应的主机列表:

1
2
3
4
5
6
7
8
9
10
11
12
mysql> describe manager1_server;
+-------------+------------------+------+-----+---------+----------------+
| Field       | Type             |  Null  | Key | Default | Extra          |
+-------------+------------------+------+-----+---------+----------------+
| id          |  int ( 10 ) unsigned | NO   | PRI | NULL    | auto_increment |
| ip          | char( 20 )         | NO   |     | NULL    |                |
| username    | char( 20 )         | NO   |     | NULL    |                |
| password    | char( 20 )         | NO   |     | NULL    |                |
| port        |  int ( 11 )          | NO   |     | NULL    |                |
| server_type | char( 20 )         | NO   |     | NULL    |                |
+-------------+------------------+------+-----+---------+----------------+
6  rows  in  set  ( 0.00  sec)


表中存放了用户可以管理的主机相关信息:

1
2
3
4
5
6
7
8
mysql> select * from manager1_server;
+----+---------------+-----------+----------+-------+-------------+
| id | ip            | username  | password | port  | server_type |
+----+---------------+-----------+----------+-------+-------------+
|   1  192.168 . 1.124  | oldboy    |  123456    |     22  | DNS Server  |
|   2  192.168 . 1.134  | yonghaoye |  123456    52113  | DHCP Server |
+----+---------------+-----------+----------+-------+-------------+
2  rows  in  set  ( 0.00  sec)

    其中这里的ip就是远程主机的IP地址了,server_type就是服务器类型,username和password是远程主机ssh登陆的用户密码,这也说明,只要管理系统用户进入了管理系统,在对远程主机进行管理时,就不需要输入远程主机的用户名和密码了,除了方便外,这也有一定的安全性。

    需要说明的是这里的port端口号,可以看到这里有台主机的port为22,而另一台则为52113,就是前面所说的自定义端口号了,因此,这需要管理员在添加主机时手动指定。


(2)程序源代码

    有了上面的基本数据准备后,再看一下该程序的源代码,其中部分注释会给出,但是基于前面的介绍,代码应该也是比较容易理解的:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
import  MySQLdb,os,paramiko,sys,time
from multiprocessing  import  Process,Pool
 
#数据库连接类
class  Connect_mysql:
     conn = MySQLdb.connect(host =  'localhost' , user =  'root' ,passwd =  '123456' , db =  'manager_system' , port =  3306 )
     cur = conn.cursor()
     def __init__(self,username,password= 'NULL' ):
         self.username = username
         self.password = password
     #contect to the login table    
     def login_check(self):    #连接管理系统账号信息数据库并验证用户名密码信息
         try :
             self.cur.execute( "select * from users where username = '%s' and password = '%s'"  % (self.username,self.password))
             qur_result = self.cur.fetchall()  # return  the tuple
             
             if  qur_result == (): #database  do  not have  this  user
                 return  0        
             else :
                 return  1             #database has  this  user
             self.cur.close()
             self.conn.close()
 
         except MySQLdb.Error,e:
             print  '\033[31;1mMysql Error Msg:%s\033[0m'  % e
     #contect to the server table
     def return_server(self):    #连接用户主机列表数据库并返回表信息
         self.cur.execute( "select * from %s_server"  %  self.username)
         qur_result = self.cur.fetchall()
         return  qur_result
 
def ssh_run(host_info,cmd,sysname):    #批量远程命令执行程序
     ip,username,password,port= host_info[ 1 ],host_info[ 2 ],host_info[ 3 ],host_info[ 4 ]
     date = time.strftime( '%Y_%m_%d' )
     date_detial = time.strftime( '%Y_%m_%d %H:%M:%S' )    
     f = file( './log/%s_%s_record.log'  % (sysname,date), 'a+' )    #操作日志记录,记录程序所有目录的/log目录里
     try :
         s.connect(ip, int (port),username,password,timeout= 5 )
         stdin,stdout,stderr = s.exec_command(cmd)
 
         cmd_result = stdout.read(),stderr.read()
 
         print  '\033[32;1m-------------%s--------------\033[0m'  % ip
         for  line  in  cmd_result:
             print line,
         print  '\033[32;1m-----------------------------\033[0m'
     except:
         log =  "Time:%s | Type:%s | Detial:%s | Server:%s | Result:%s\n"  % (date_detial, 'cmd batch' ,cmd,ip, 'failed' )
         f.write(log)
         f.close()
         print  '\033[31;1mSomething is wrong of %s\033[0m'  % ip
     else :
         log =  "Time:%s | Type:%s | Detial:%s | Server:%s | Result:%s\n"  % (date_detial, 'cmd batch' ,cmd,ip, 'success' )
         f.write(log)
         f.close()
         return  1
 
def distribute_file(host_info,file_name,sysname):    #批量文件分发函数
     ip,username,password,port = host_info[ 1 ],host_info[ 2 ],host_info[ 3 ], int (host_info[ 4 ])
     date = time.strftime( '%Y_%m_%d' )
     date_detial = time.strftime( '%Y_%m_%d %H:%M:%S' )
     f = file( './log/%s_%s_record.log'  % (sysname,date), 'a+' )    #日志记录
     try :
         t = paramiko.Transport((ip,port))
         t.connect(username=username,password=password)
         sftp = paramiko.SFTPClient.from_transport(t)
         sftp.put(file_name, '/tmp/%s'  % file_name)
         t.close()
     except:
         log =  "Time:%s | Type:%s | Detial:%s | Server:%s | Result:%s\n"  % (date_detial, 'distribute file' ,file_name,ip, 'failed' )
         f.write(log)
         f.close()
         print  '\033[31;1mSomething is wrong of %s\033[0m'  % ip
     else :
         log =  "Time:%s | Type:%s | Detial:%s | Server:%s | Result:%s\n"  % (date_detial, 'distribute file' ,file_name,ip, 'success' )
         f.write(log)
         f.close()
         print  "\033[32;1mDistribute '%s' to %s Successfully!\033[0m"  % (file_name,ip)
 
os.system( 'clear' )
print  '\033[32;1mWelcome to the Manager System!\033[0m'
 
while  True:    #程序主程序
     username = raw_input( 'Username:' ).strip()
     password = raw_input( 'Password:' ).strip()
     if  len(username) <=  3  or len(password) <  6 :
         print  '\033[31;1mInvalid username or password!\033[0m'
         continue
     #Begin to login
     p = Connect_mysql(username,password)
     mark = p.login_check()
     if  mark ==  0 :        #login failed
         print  '\033[31;1mUsername or password wrong!Please try again!\033[0m'
     elif mark ==  1 :      #login success
         print  '\033[32;1mLogin Success!\033[0m'
         print  'The server list are as follow:'
         #seek  for  the server list managed by the system user
         p = Connect_mysql(username)
         server_list = p.return_server()
         for  server  in  server_list:
             print  '%s:%s'  % (server[ 5 ],server[ 1 ])
         while  True:
             print  '' 'What  do  you want to  do ?    #程序主菜单
1 .Execute the command batch.
2 .Distribute file(s) batch.
3 .Exit. '' '
             choice = raw_input( '\033[32;1mYour choice:\033[0m' ).strip()
             if  '1'  <= choice <=  '4' :pass
             else : continue
 
             #Execute the command batch.
             if  choice ==  '1' :    #批量执行命令程序块
                 s = paramiko.SSHClient()    #调用Paramiko模块
                 s.load_system_host_keys()
                 s.set_missing_host_key_policy(paramiko.AutoAddPolicy())
 
                 p = Pool(processes= 3 )    #设定进程池数据
 
                 result_list = []
                 while  True:
                     cmd = raw_input( '\033[32;0mEnter the command(or quit to quit):\033[0m' )
                     if  cmd ==  'quit' : break
                     for  in  server_list:
                         result_list.append(p.apply_async(ssh_run,[h,cmd,username])) #the usename  is  system name
             #调用相关功能函数,并执行多进程并发
                     for  res  in  result_list:
                         res. get ()
                 s.close()
 
             #Distribute file(s) batch.
             elif choice ==  '2' :    #批量分发文件程序块
                 s = paramiko.SSHClient()    #调用Paramiko模块
                 s.load_system_host_keys()
                 s.set_missing_host_key_policy(paramiko.AutoAddPolicy())
 
                 p = Pool(processes= 3 )
 
                 result_list = []  #save the suanfa that come from the apply_async
                 while  True:
                     file_name = raw_input( 'The file you want to distribute(or quit to quit):' ).strip()
                     start = time.time()
                     if  file_name ==  'quit' : break
                     file_chcek = os.path.isfile(file_name)
                     log_list = []
                     if  file_chcek == False:
                         print  '\033[31;1mThe file does not exist or it is a directory!\033[0m'
                         continue
                     for  in  server_list:
                         result_list.append(p.apply_async(distribute_file,[h,file_name,username]))   #the list save the suanfa
                     for  res  in  result_list:
                         res. get ()   #run the suanfa
                     end = time.time()
                     print  '\033[31;1mCost time:%ss\033[0m'  % str(end - start)
                 s.close()
 
             #Exit the system
             elif choice ==  '3' :    #退出系统
                 sys.exit( '\033[32;1mWelcome to use our system!\033[0m' )

    程序的代码量不多,主要功能也有注释,只要的paramiko模拟的SSH命令执行与SFTP文件分发、Python多进程以及进程池的使用有所了解,还是比较容易理解的。


4.实战演示

    基于几个主要功能:批量命令执行、文件分发、日志记录,下面来做个演示:

(1)登陆系统

wKiom1Yfc-Sii0GxAARPEGGrpFs475.jpg

(2)批量执行命令

wKiom1YfdIbAm-3lAAQ2eJ7xjhs060.jpg


(3)批量分发文件

wKioL1YfdVigCpPHAAMOTwyNdPo417.jpg


(4)退出系统

wKiom1YfdYmiXwXlAAFt2u8hBGk738.jpg


(5)用户操作日志查看

查看日志文件列表:

wKiom1YfdivBZgWQAAE_WBjtjsM572.jpg    

    可以看到,操作日志是基于不同用户的(这里会有manager2的日志文件是我后来用manager2登陆后执行操作产生的,上面没有给出manager2的操作过程),并且是按天生成的,只要用户登陆并执行相关操作,日志文件是自动生成的。


查看详细日志内容:

wKiom1YfdtfygGy0AALGVWwXkSo569.jpg    

    可以查看该用户在具体时间所做的具体操作,以及成功与否等更细节的信息。


5.程序的不足

(1)细节上的问题

    由于未投入生产使用,所以会存在一些意想不到的Bug,主要是在连接远程主机时可能引发的各种异常。

(2)使用了多进程

    虽然使用了进程池了限制同一时间内并发的进程数,但仍然不可避免会出现文件资源抢占的情况,只是这里因为并发的进程只有两个,所以影响并不会很大,基于该程序比较小型,因此往后也可继续使用多进程,当然,使用多线程效果会更好,这里只是出于学习的需要而使用多进程。

(3)程序代码简洁程序

    程序的代码简洁程度可以进一步优化,比如两个功能:批量执行命令和分发文件,其实里面就有很多重复的代码,本来是考虑用类的方法来重写的,但是对面向对象编程又不够熟悉,所以就没有使用了。

    当然,这其实只是非常小的的一个程序,不过倒是可以作为以后开发特定功能的监控系统时的某一模块来使用,不管怎么说,框架在这里的话应该还是正确的,由于时间和实际需要情况的考虑,在这里并没有做太多的界面优化,因为以后是考虑做成Web界面的。当然,就从学习Python的角度来考虑,这个程序还是可以练练手,各种小的积累才能沉淀出优秀的大型开源软件。


6.在写程序过程中的经验教训

    一开始函数有参数file作为我传入的文件字,但是函数中又使用了file来打开文件,所以执行程序时一直显示TypeError: 'str' object is not callable的错误,后来无意将file改变open发现又正常了,于是才很意识到这个错误。如果一开始就有这个意识,后面也不会浪费这么多时间,所以这一点要尤其注意了。


7.往后的改进思路

(1)在以后学习了Django的相关知识后,可以考虑将其写成是基于Web界面的管理系统。

(2)加强测试,尽可能找出程序中低级的Bug。

(3)改用多线程来写程序,并注意文件资源的抢占问题。

(4)将功能重复的代码用函数方式或面向对象编程方式来重写。

    

    分享给大家,希望对同在Python学习路上的新手带来实际性的帮助!

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
相关文章
|
8月前
|
存储 缓存 测试技术
理解Python装饰器:简化代码的强大工具
理解Python装饰器:简化代码的强大工具
|
9月前
|
存储 监控 算法
淘宝买家秀 API开发实录Python(2025)
本文讲述了作者在电商开发领域,尤其是对接淘宝买家秀 API 接口过程中所经历的挑战与收获。从申请接入、签名验证、频率限制到数据处理和实时监控,作者分享了多个实战经验与代码示例,帮助开发者更高效地获取和处理买家秀数据,提升开发效率。
|
9月前
|
程序员 测试技术 开发者
Python装饰器:简化代码的强大工具
Python装饰器:简化代码的强大工具
297 92
|
8月前
|
设计模式 人工智能 API
AI智能体开发实战:17种核心架构模式详解与Python代码实现
本文系统解析17种智能体架构设计模式,涵盖多智能体协作、思维树、反思优化与工具调用等核心范式,结合LangChain与LangGraph实现代码工作流,并通过真实案例验证效果,助力构建高效AI系统。
898 7
|
8月前
|
机器学习/深度学习 编解码 Python
Python图片上采样工具 - RealESRGANer
Real-ESRGAN基于深度学习实现图像超分辨率放大,有效改善传统PIL缩放的模糊问题。支持多种模型版本,推荐使用魔搭社区提供的预训练模型,适用于将小图高质量放大至大图,放大倍率越低效果越佳。
593 3
|
9月前
|
人工智能 自然语言处理 安全
Python构建MCP服务器:从工具封装到AI集成的全流程实践
MCP协议为AI提供标准化工具调用接口,助力模型高效操作现实世界。
1480 1
|
8月前
|
算法 安全 数据安全/隐私保护
Python随机数函数全解析:5个核心工具的实战指南
Python的random模块不仅包含基础的随机数生成函数,还提供了如randint()、choice()、shuffle()和sample()等实用工具,适用于游戏开发、密码学、统计模拟等多个领域。本文深入解析这些函数的用法、底层原理及最佳实践,帮助开发者高效利用随机数,提升代码质量与安全性。
1185 0
|
9月前
|
算法 程序员 API
电商程序猿开发实录:淘宝商品python(2)
本文分享了开发者在对接淘宝商品详情API过程中的真实经历,涵盖权限申请、签名验证、限流控制、数据解析及消息订阅等关键环节,提供了实用的Python代码示例,帮助开发者高效调用API,提升系统稳定性与数据处理能力。
|
9月前
|
API 数据安全/隐私保护 Python
拼多多批量上架软件, 电商一键上货发布工具,python电商框架分享
多线程批量上传架构,支持并发处理商品数据 完整的拼多多API签名和token管理机制
|
9月前
|
安全 API 数据安全/隐私保护

推荐镜像

更多