linux下简单的自适应CPU利用率的控制(Python实现)

简介:
最近在做的是虚拟化相关的一个demo,牵涉到虚拟化环境下的服务器负载均衡。我们用到一个简单的case,就是在负载出现“不平衡”的时候,进行 live migration。由于只是demo需要,我们的负载暂时只考虑到cpu的利用率。而实际准备中,由于没有客户端的压力,很难做到CPU利用率的精确控 制。这里写了个简单的脚本程序,通过自适应的调节,来达到将服务器CPU利用率控制在一定的范围内,从而为确保在某台服务器CPU过高的时候,会自动将虚 拟机live migration到其他CPU利用率低的机器上的测试做了准备。
python实现的脚本如下,这个脚本需要5个数字参数的输入,分别为:
最低CPU利用率,最高CPU利用率,初始线程数量,每次调节的线程数量,每个线程睡眠的时间(毫秒)
当然,很大程度上,由于硬件环境的不同,这些参数带有很强的经验性。
#!/usr/bin/python
import threading
import time
import os
import string
import sys
class ControlThread(threading.Thread):
 
  def __init__(self):
    threading.Thread.__init__(self)
    self.runflag = True #线程运行标示,用于将来减少线程时能够正常结束
  def run(self):
    while self.runflag:
      os.popen('usleep ' + sys.argv[5])
      #time.sleep(string.atof(sys.argv[5]))
#这里使用的是linux下shell里面的usleep,而不是python自带的sleep函数。
#相比之下,usleep还是相当强大的,而python的sleep单位为秒,虽然可以输入浮点数,但还是相对弱了些
  def stop(self):
    self.runflag = False
#让其正常终止循环
threadList=[]
print 'Start Thread Number:' + sys.argv[3] + '\tSleep Time(ms):'+ sys.argv[5]
#初始化一定数量的线程,否则从零开始,可能需要很长的时间才能达到指定范围
for i in range(0,string.atoi(sys.argv[3])):
  thread = ControlThread()
  threadList.append(thread)
  thread.start()
#这里使用sar来抓取cpu利用率,这里指的是总的cpu利用率。然后通过比较,进行自适应调整
while True:
  output = 100 - string.atof(os.popen('sar 1 1 | grep ^Average | awk \'{print $8}\'').read())
  print 'CPU Usage:' + str(output) + '\tCurrent Thread Number:' + str(len(threadList))
  if output < string.atoi(sys.argv[1]):#增加线程
   for i in range(0,string.atoi(sys.argv[4])):
    thread = ControlThread()
    thread.start()
    threadList.append(thread)
   print "+++++"
  if output > string.atoi(sys.argv[2]):#减少线程
   for i in range(0,string.atoi(sys.argv[4])):  
    thread = threadList.pop()
    thread.stop()
   print "-----"
 
总的来说,这个脚本比较简单,而且在不同的机器上,需要操作人员的经验来初始化才能达到最佳效果。但这毕竟是我第一个python程序,而且也达到了预期的目的。以上只是能运行的核心代码,至于usage,错误处理,退出程序等,就没有给出来了:)


本文转自Intel_ISN 51CTO博客,原文链接:http://blog.51cto.com/intelisn/130719,如需转载请自行联系原作者
相关文章
|
1月前
|
Linux
Linux rsyslog占用内存CPU过高解决办法
该文档描述了`rsyslog`占用内存过高的问题及其解决方案。
95 4
|
5天前
|
Linux 数据处理
Linux中的nproc命令:轻松查看系统CPU核心数
`nproc`命令在Linux中用于查看CPU核心数,简洁高效,无参数直接运行。它读取`/proc/cpuinfo`获取信息,适用于资源分配。例如,`nproc`显示核心数,`nproc --all`(非标准选项,可能需结合其他命令)展示更多详情。在脚本中,可将`nproc`输出赋值给变量以适应动态资源管理。使用时注意文件访问权限,检查结果准确性,并结合其他工具如`lscpu`获取更全面硬件信息。
|
15天前
|
Python
python3获取内存和cpu利用率记录日志文件psutil
python3获取内存和cpu利用率记录日志文件psutil
17 1
|
1天前
|
Linux Shell Python
linux服务器python2升级安装python3.7环境
linux服务器python2升级安装python3.7环境
8 0
|
1天前
|
Linux 数据安全/隐私保护 Python
使用Python实现Linux惠尔顿上网认证客户端
使用Python实现Linux惠尔顿上网认证客户端
6 0
|
25天前
|
并行计算 异构计算 Python
python代码torch.device("cuda:0" if torch.cuda.is_available() else "cpu")是什么意思?
【6月更文挑战第3天】python代码torch.device("cuda:0" if torch.cuda.is_available() else "cpu")是什么意思?
64 4
|
9天前
|
缓存 监控 Linux
深入了解Linux的`lscpu`命令:你的CPU信息专家
`lscpu`是Linux下的命令行工具,用于获取CPU详细信息,如架构、核心、线程、缓存和型号。它从系统文件读取数据,提供实时信息,支持多种输出格式,如扩展视图、解析格式。常用参数包括显示所有CPU (`-a`)、在线CPU (`-b`) 和可解析格式 (`--parseable`)。结合其他工具,`lscpu`在系统管理和性能调优中十分有用。
|
1月前
|
Web App开发 Ubuntu Linux
Linux无图形界面环境使用Python+Selenium实践
【5月更文挑战第1天】Linux无图形界面环境使用Python+Selenium实践
90 2
|
1月前
|
Oracle Java 关系型数据库
【服务器】python通过JDBC连接到位于Linux远程服务器上的Oracle数据库
【服务器】python通过JDBC连接到位于Linux远程服务器上的Oracle数据库
29 6
|
23天前
|
监控 Shell Linux
shell linux中用shell写一个占用CPU的脚本
shell linux中用shell写一个占用CPU的脚本
24 0