AI 助理
文档备案控制台
开发者社区 开发与运维 文章 正文

Python采集linux服务器数据在Django Web界面展示

2023-10-08 273
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
RDS AI 助手，专业版
RDS MySQL DuckDB 分析主实例，集群系列 4核8GB
RDS MySQL DuckDB 分析主实例，基础系列 4核8GB
简介： Python采集linux服务器数据在Django Web界面展示

Django显示服务器性能监控

监控系统CPU、内存和进程信息

一、运行环境与项目目录

  1. Django 2.0.7
  2. python 3.7
  3. pymysql 0.9.3

二、配置文档：Setting

1.mysql 数据库

# Author: Allan
# Datetime: 2019-05-21
import pymysql
pymysql.install_as_MySQLdb()
DATABASES = {
    'default': {
        # 注释sqlite3
        # 'ENGINE': 'django.db.backends.sqlite3',
        # 'NAME': os.path.join(BASE_DIR, 'db.sqlite3'),
        # mysql
        'ENGINE': 'django.db.backends.mysql',
        'NAME': 'database',
        'USER': 'username',
        'PASSWORD': 'password',
        'HOST': 'ip',
        'PORT': 3306,
    }
}

2.Application definition

INSTALLED_APPS = [
   'django.contrib.admin',
   'django.contrib.auth',
   'django.contrib.contenttypes',
   'django.contrib.sessions',
   'django.contrib.messages',
   'django.contrib.staticfiles',
   'web'  #添加App，下面python3 mkmigrations web使用
]
MIDDLEWARE = [
   'django.middleware.security.SecurityMiddleware',
   'django.contrib.sessions.middleware.SessionMiddleware',
   'django.middleware.common.CommonMiddleware',
   # 'django.middleware.csrf.CsrfViewMiddleware', 注释这一行，防止403错误
   'django.contrib.auth.middleware.AuthenticationMiddleware',
   'django.contrib.messages.middleware.MessageMiddleware',
   'django.middleware.clickjacking.XFrameOptionsMiddleware',
]
ROOT_URLCONF = 'monitor.urls'
TEMPLATES = [
   {
       'BACKEND': 'django.template.backends.django.DjangoTemplates',
       'DIRS': [os.path.join(BASE_DIR, 'templates')],  #修改模版目录
       'APP_DIRS': True,
       'OPTIONS': {
           'context_processors': [
               'django.template.context_processors.debug',
               'django.template.context_processors.request',
               'django.contrib.auth.context_processors.auth',
               'django.contrib.messages.context_processors.messages',
           ],
       },
   },
]

3.Security

# SECURITY WARNING: don't run with debug turned on in production!
DEBUG = True
ALLOWED_HOSTS = ['*']

4.Internationalization

LANGUAGE_CODE = 'en-us'
# 修改时区
TIME_ZONE = 'Asia/Shanghai'
USE_I18N = True
USE_L10N = True
# 修改时区
USE_TZ = False

二、创建 Models，操作数据

from django.db import models
# Create your models here.
class CpuInfo(models.Model):
    # CPU信息
    time = models.DateTimeField()
    host = models.CharField(max_length=40)
    usage_system = models.FloatField(null=True)
    usage_user = models.FloatField(null=True)
    usage_softirq = models.FloatField(null=True)
    usage_iowait = models.FloatField(null=True)
class MemoryInfo(models.Model):
    #内存信息
    time = models.DateTimeField()
    host = models.CharField(max_length=40)
    used_percent = models.FloatField(null=True)
class ProcstatInfo(models.Model):
    # 进程信息
    time = models.DateTimeField()
    host = models.CharField(max_length=100)
    exe = models.CharField(max_length=40)
    pid = models.FloatField()
    cpu_usage = models.FloatField(null=True)
    memory_rss = models.FloatField(null=True)

三、创建数据库

1.Terminal 下运行manager.py

# python3 manager.py mkmigrations web
# python3 manager.py migrate

2.查询mysql

mysql> show tables;
ERROR 2006 (HY000): MySQL server has gone away
No connection. Trying to reconnect...
Connection id:    449745
Current database: perf_monitor
+----------------------------+
| Tables_in_perf_monitor     |
+----------------------------+
| auth_group                 |
| auth_group_permissions     |
| auth_permission            |
| auth_user                  |
| auth_user_groups           |
| auth_user_user_permissions |
| django_admin_log           |
| django_content_type        |
| django_migrations          |
| django_session             |
| web_cpuinfo                |
| web_memoryinfo             |
| web_procstatinfo           |
+----------------------------+
13 rows in set (0.51 sec)
mysql>

四、 views.py


创建两个views，一个显示CPU和内存信息；另一个现实进程信息

# Author: Allan
# Datetime: 2019-05-21
import time
import json
from django.shortcuts import render
from web import models
# Create your views here.
def show_procstat(request):
    servers = ['rotestZone01', 'rotestZone02']
    procstat_ret = {}
    for server in servers:
        procstat_info = models.ProcstatInfo.objects.filter(host=server)
        procstat_exe = {}
        for row in procstat_info:
            temp_time = int(time.mktime(row.time.timetuple())) * 1000
            key = str(row.exe) + '_' + str(int(row.pid))
            if key not in procstat_exe:
                procstat_exe[key] = {}
                procstat_exe[key]['cpu_usage'] = []
                procstat_exe[key]['memory_rss'] = []
            procstat_exe[key]['cpu_usage'].append([temp_time, row.cpu_usage])
            procstat_exe[key]['memory_rss'].append([temp_time, row.memory_rss])
        procstat_ret[server] = procstat_exe
    return render(request, 'show_procstat.html', {"procstat_ret": json.dumps(procstat_ret)})
def show_servers(request):
    servers = ['rotestZone01', 'rotestZone02']
    server_res = {}
    cpu_res = {}
    mem_res = {}
    for server in servers:
        cpu_info = models.CpuInfo.objects.filter(host=server)
        cpu_ret = {}
        usage_system = []
        usage_user = []
        usage_softirq = []
        usage_iowait = []
        for row in cpu_info:
            temp_time = int(time.mktime(row.time.timetuple())) * 1000
            usage_system.append([temp_time, row.usage_system])
            usage_user.append([temp_time, row.usage_user])
            usage_softirq.append([temp_time, row.usage_softirq])
            usage_iowait.append([temp_time, row.usage_iowait])
        cpu_ret['usage_system'] = usage_system
        cpu_ret['usage_user'] = usage_user
        cpu_ret['usage_softirq'] = usage_softirq
        cpu_ret['usage_iowait'] = usage_iowait
        cpu_res[server] = cpu_ret
        mem_info = models.MemoryInfo.objects.filter(host=server)
        mem_ret = []
        for row in mem_info:
            temp_time = int(time.mktime(row.time.timetuple()))*1000
            mem_ret.append([temp_time, row.used_percent])
        mem_res[server] = mem_ret
    server_res['cpu_res'] = cpu_res
    server_res['mem_res'] = mem_res
    return render(request, 'show_servers.html', {"server_res": json.dumps(server_res)})

五、创建html模版


创建两个html模版，一个显示CPU和内存信息；另一个现实进程信息

<html xmlns="http://www.w3.org/1999/html">
<head>
<meta charset="UTF-8" />
<title>服务器监控信息</title>
<script src="https://code.jquery.com/jquery-3.1.1.min.js"></script>
<script src="https://code.highcharts.com/highcharts.js"></script>
<script src="https://code.highcharts.com/modules/exporting.js"></script>
<script src="https://code.highcharts.com/modules/export-data.js"></script>
<script language="JavaScript">
$(document).ready(function() {
    $("#servers").change(function (){
        var selected = $(this).children('option:selected').val();
        var server_res = jQuery.parseJSON('{{ server_res|safe }}');
        var cpu_res = server_res['cpu_res']
        var cpu_info = cpu_res[selected]
        Highcharts.setOptions({
            global:{
                useUTC: false
                }
            });
        Highcharts.chart('cpu', {
            chart: {
                zoomType: 'x'
            },
            title: {
                text: selected + ': CPU 信息'
            },
            subtitle: {
                text: document.ontouchstart === undefined ?
                    'Click and drag in the plot area to zoom in' : 'Pinch the chart to zoom in'
            },
            xAxis: {
                type: 'datetime'
            },
            yAxis: {
                title: {
                    text: '使用率 (%)'
                }
            },
            legend: {
                enabled: false
            },
            plotOptions: {
                area: {
                    fillColor: {
                        linearGradient: {
                            x1: 0,
                            y1: 0,
                            x2: 0,
                            y2: 1
                        },
                        stops: [
                            [0, Highcharts.getOptions().colors[0]],
                            [1, Highcharts.Color(Highcharts.getOptions().colors[0]).setOpacity(0).get('rgba')]
                        ]
                    },
                    marker: {
                        radius: 2
                    },
                    lineWidth: 1,
                    states: {
                        hover: {
                            lineWidth: 1
                        }
                    },
                    threshold: null
                }
            },
            series: [
                {
                   type: 'area',
                   name: 'usage_system',
                   data: cpu_info['usage_system']
                },
                {
                   type: 'area',
                   name: 'usage_user',
                   data: cpu_info['usage_user']
                },
                {
                   type: 'area',
                   name: 'usage_softirq',
                   data: cpu_info['usage_softirq']
                },
                {
                   type: 'area',
                   name: 'usage_iowait',
                   data: cpu_info['usage_iowait']
                }]
        });
        var mem_res = server_res['mem_res']
        var mem_info = mem_res[selected]
        Highcharts.chart('mem', {
            chart: {
                zoomType: 'x'
            },
            title: {
                text: selected + ': 内存信息'
            },
            subtitle: {
                text: document.ontouchstart === undefined ?
                    'Click and drag in the plot area to zoom in' : 'Pinch the chart to zoom in'
            },
            xAxis: {
                type: 'datetime'
            },
            yAxis: {
                title: {
                    text: '使用率 (%)'
                }
            },
            legend: {
                enabled: false
            },
            plotOptions: {
                area: {
                    fillColor: {
                        linearGradient: {
                            x1: 0,
                            y1: 0,
                            x2: 0,
                            y2: 1
                        },
                        stops: [
                            [0, Highcharts.getOptions().colors[0]],
                            [1, Highcharts.Color(Highcharts.getOptions().colors[0]).setOpacity(0).get('rgba')]
                        ]
                    },
                    marker: {
                        radius: 2
                    },
                    lineWidth: 1,
                    states: {
                        hover: {
                            lineWidth: 1
                        }
                    },
                    threshold: null
                }
            },
            series: [{
                type: 'area',
                name: 'used_percent',
                data: mem_info
            }]
        });
    });
});
</script>
</head>
<body>
<div><H2>服务器监控信息</H2></div>
<select id="servers">
    <option value="servers">请选择要监控的服务器</option>
    <option value="rotestZone01">rotestZone01</option>
    <option value="rotestZone02">rotestZone02</option>
</select>
<div id="cpu" style="width: 1560px; height: 400px; margin: 0 auto"></div>
<div id="mem" style="width: 1560px; height: 400px; margin: 0 auto"></div>
</body>
</html>

<html xmlns="http://www.w3.org/1999/html" xmlns="http://www.w3.org/1999/html">
<head>
<meta charset="UTF-8" />
<title>服务器监控信息</title>
<script src="https://code.jquery.com/jquery-3.1.1.min.js"></script>
<script src="https://code.highcharts.com/highcharts.js"></script>
<script src="https://code.highcharts.com/modules/exporting.js"></script>
<script src="https://code.highcharts.com/modules/export-data.js"></script>
<script language="JavaScript">
$(document).ready(function() {
    $("#servers").change(function (){
        var selected = $(this).children('option:selected').val();
        var server_res = jQuery.parseJSON('{{ procstat_ret|safe }}');
        var xServers = server_res[selected]
        var obj=document.getElementById('processes');
        if (obj.options.length != 1){
            obj.options.length=1;
        }
        for(var key in xServers)
        {
            obj.options.add(new Option(key,key));
        }
        $("#processes").change(function (){
            var procSelected = $(this).children('option:selected').val();
            var dataMem = new Array();
            var dataCpu = new Array();
            for(var key in xServers)
                {
                    if (key == procSelected){
                        dataCpu = xServers[key]['cpu_usage']
                        dataMem = xServers[key]['memory_rss'];
                        break;
                    }
                }
            Highcharts.chart('cpu', {
            chart: {
                zoomType: 'x'
            },
            title: {
                text: selected + ': CPU 信息'
            },
            subtitle: {
                text: document.ontouchstart === undefined ?
                    'Click and drag in the plot area to zoom in' : 'Pinch the chart to zoom in'
            },
            xAxis: {
                type: 'datetime'
            },
            yAxis: {
                title: {
                    text: '使用率 (%)'
                }
            },
            legend: {
                enabled: false
            },
            plotOptions: {
                area: {
                    fillColor: {
                        linearGradient: {
                            x1: 0,
                            y1: 0,
                            x2: 0,
                            y2: 1
                        },
                        stops: [
                            [0, Highcharts.getOptions().colors[0]],
                            [1, Highcharts.Color(Highcharts.getOptions().colors[0]).setOpacity(0).get('rgba')]
                        ]
                    },
                    marker: {
                        radius: 2
                    },
                    lineWidth: 1,
                    states: {
                        hover: {
                            lineWidth: 1
                        }
                    },
                    threshold: null
                }
            },
            series: [
                {
                   type: 'area',
                   name: 'cpu_usage',
                   data: dataCpu
                }]
            });
            Highcharts.chart('mem', {
                chart: {
                    zoomType: 'x'
                },
                title: {
                    text: selected + ': 内存信息'
                },
                subtitle: {
                    text: document.ontouchstart === undefined ?
                        'Click and drag in the plot area to zoom in' : 'Pinch the chart to zoom in'
                },
                xAxis: {
                    type: 'datetime'
                },
                yAxis: {
                    title: {
                        text: '使用率 (%)'
                    }
                },
                legend: {
                    enabled: false
                },
                plotOptions: {
                    area: {
                        fillColor: {
                            linearGradient: {
                                x1: 0,
                                y1: 0,
                                x2: 0,
                                y2: 1
                            },
                            stops: [
                                [0, Highcharts.getOptions().colors[0]],
                                [1, Highcharts.Color(Highcharts.getOptions().colors[0]).setOpacity(0).get('rgba')]
                            ]
                        },
                        marker: {
                            radius: 2
                        },
                        lineWidth: 1,
                        states: {
                            hover: {
                                lineWidth: 1
                            }
                        },
                        threshold: null
                    }
                },
                series: [{
                    type: 'area',
                    name: 'memory_rss',
                    data: dataMem
                }]
            });
        });
    });
});
</script>
</head>
<body>
<div><H2>服务器监控信息</H2></div>
<div id="monitor">
    <select id="servers">
        <option value="server">请选择要监控的服务器</option>
        <option value="rotestZone01">rotestZone01</option>
        <option value="rotestZone02">rotestZone02</option>
    </select>
    <select id="processes">
        <option value="process">请选择要监控的进程</option>
    </select>
</div>
<div id="cpu" style="width: 1560px; height: 400px; margin: 0 auto"></div>
<div id="mem" style="width: 1560px; height: 400px; margin: 0 auto"></div>
</body>
</html>

六、urls.py添加路由

# Author: Allan
# Datetime: 2019-05-21
from django.contrib import admin
from django.urls import path
from web import views
urlpatterns = [
    # path('admin/', admin.site.urls),
    path('show_servers', views.show_servers),
    path('show_procstat', views.show_procstat),
]

七、运行程序，显示结果

# python3 manager.py runserver

CPU和内存信息

进程信息



文章标签：
云数据库 RDS MySQL 版
Python
Linux
监控
数据库
关系型数据库
关键词：
Python采集数据
Python采集
Python数据
Linux界面
云服务器 ECS Linux
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发，帮助IT从业者们通过“阿里云Web应用上云解决方案”，了解一个企业级Web应用上云的常见架构，了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品：云数据库RDS MySQL 版 阿里云关系型数据库RDS（Relational Database Service）是一种稳定可靠、可弹性伸缩的在线数据库服务，提供容灾、备份、恢复、迁移等方面的全套解决方案，彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
DevOps和k8s全栈技术
目录
相关文章
jphyfw4633bze
|
9月前
|
Linux 数据库 数据安全/隐私保护
Python web Django快速入门手册全栈版，共2590字，短小精悍
本教程涵盖Django从安装到数据库模型创建的全流程。第一章介绍Windows、Linux及macOS下虚拟环境搭建与Django安装验证；第二章讲解项目创建、迁移与运行；第三章演示应用APP创建及项目汉化；第四章说明超级用户创建与后台登录；第五章深入数据库模型设计，包括类与表的对应关系及模型创建步骤。内容精炼实用，适合快速入门Django全栈开发。
jphyfw4633bze
440 1
蓝易云
|
11月前
|
关系型数据库 MySQL Linux
在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾
以上就是在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾的步骤。这个过程就像是一场接力赛，数据从MySQL数据库中接力棒一样传递到备份文件，再从备份文件传递到其他服务器，最后再传递回MySQL数据库。这样，即使在灾难发生时，我们也可以快速恢复数据，保证业务的正常运行。
蓝易云
514 28
互联网课堂
|
11月前
|
数据采集 人工智能 测试技术
Python有哪些好用且实用的Web框架？
Python 是一门功能强大的编程语言，在多个领域中得到广泛应用，包括爬虫、人工智能、游戏开发、自动化测试和 Web 开发。在 Web 开发中，Python 提供了多种框架以提高效率。以下是几个常用的 Python Web 框架：1) Django：开源框架，支持多种数据库引擎，适合新手；2) Flask：轻量级框架，基于简单核心并通过扩展增加功能；3) Web2py：免费开源框架，支持快速开发；4) Tornado：同时作为 Web 服务器和框架，适合高并发场景；5) CherryPy：简单易用的框架，连接 Web 服务器与 Python 代码。这些框架各有特色，可根据需求选择合适的工具。
互联网课堂
583 14
奔跑的数据
|
数据采集 Web App开发 存储
打造高效的Web Scraper：Python与Selenium的完美结合
本文介绍如何使用Python结合Selenium，通过代理IP、设置Cookie和User-Agent抓取BOSS直聘的招聘信息，包括公司名称、岗位、要求和薪资。这些数据可用于行业趋势、人才需求、企业动态及区域经济分析，为求职者、企业和分析师提供宝贵信息。文中详细说明了环境准备、代理配置、登录操作及数据抓取步骤，并提醒注意反爬虫机制和验证码处理等问题。
奔跑的数据
410 1
打造高效的Web Scraper：Python与Selenium的完美结合
游客4rnkeq2m7q5hy
|
机器学习/深度学习 开发框架 API
Python 高级编程与实战：深入理解 Web 开发与 API 设计
在前几篇文章中，我们探讨了 Python 的基础语法、面向对象编程、函数式编程、元编程、性能优化、调试技巧以及数据科学和机器学习。本文将深入探讨 Python 在 Web 开发和 API 设计中的应用，并通过实战项目帮助你掌握这些技术。
游客4rnkeq2m7q5hy
319 2
大数据文摘
|
JSON 安全 中间件
Python Web 框架 FastAPI
FastAPI 是一个现代的 Python Web 框架，专为快速构建 API 和在线应用而设计。它凭借速度、简单性和开发人员友好的特性迅速走红。FastAPI 支持自动文档生成、类型提示、数据验证、异步操作和依赖注入等功能，极大提升了开发效率并减少了错误。安装简单，使用 pip 安装 FastAPI 和 uvicorn 即可开始开发。其优点包括高性能、自动数据验证和身份验证支持，但也存在学习曲线和社区资源相对较少的缺点。
大数据文摘
626 15
游客7j4h55yr2epui
|
Linux Python
Linux 安装python3.7.6
本教程介绍在Linux系统上安装Python 3.7.6的步骤。首先使用`yum`安装依赖环境，包括zlib、openssl等开发库。接着通过`wget`下载Python 3.7.6源码包并解压。创建目标文件夹`/usr/local/python3`后，进入解压目录执行配置、编译和安装命令。最后设置软链接，使`python3`和`pip3`命令生效。
游客7j4h55yr2epui
708 23
小周sir
|
开发者 Docker Python
从零开始：使用Docker容器化你的Python Web应用
从零开始：使用Docker容器化你的Python Web应用
小周sir
658 4
mydcool
|
Linux 开发工具 Ubuntu
Linux 黑白界面显示
2014年1月14日 15:47:47 不知道别人怎么看,反正我觉得黑白配显示很方便阅读 命令: ls 脚本: ~/.bashrc 指令: alias ls='ls --color=never'   命令: vi/vim 脚本: /usr/share/vim/vimrc 指令: sy...
mydcool
1057 0
IvanCodes
|
6月前
|
Linux 应用服务中间件 Shell
二、Linux文本处理与文件操作核心命令
熟悉了Linux的基本“行走”后，就该拿起真正的“工具”干活了。用grep这个“放大镜”在文件里搜索内容，用find这个“探测器”在系统中寻找文件，再用tar把东西打包带走。最关键的是要学会使用管道符|，它像一条流水线，能把这些命令串联起来，让简单工具组合出强大的功能，比如 ps -ef | grep 'nginx' 就能快速找出nginx进程。
IvanCodes
742 2
二、Linux文本处理与文件操作核心命令

热门文章

最新文章

  • 1
    阿里云ECS Ubuntu 实例开放防火墙端口仍无法访问问题解决（安全组规则应用）
  • 2
    ECS 按量付费VPC实例停机不收费FAQ
  • 3
    阿里云上搭建webRTC 服务器——Licode
  • 4
    阿里云香港云服务器ECS、轻量应用服务器和云虚拟主机
  • 5
    阿里云服务器价格1核2G 26元，2核4G 42元，4核8G、8核16、2核8G、16核32G多配置报价
  • 6
    线上服务器CPU100%的真相排查【Bug利器Arthas】
  • 7
    部署Javaweb项目到阿里云ECS服务器
  • 8
    （windows）svn服务器与客户端的搭建
  • 9
    nginx+ftp搭建图片服务器(Windows Server服务器环境下)
  • 10
    微软拟向互联网开发商提供免费IIS 服务器
  • 1
    探索Linux操作系统的内核管理
    331
  • 2
    LVS （Linux Virtual server）集群介绍
    597
  • 3
    蓝易云 - Linux学习之Ubuntu20中OpenResty的nginx目录里内容和配置文件
    329
  • 4
    深度解析：Linux内核调度策略的演变与优化
    997
  • 5
    linux小技巧： 可以补全命令 别名永久有效
    303
  • 6
    linux系统 安装、管理程序
    261
  • 7
    linux 对文件内容的查看、归档 及 vim基本操作
    544
  • 8
    linux 基本知识与命令
    324
  • 9
    探索 Linux 文件系统的层次结构
    651
  • 10
    探索Linux操作系统的内核模块
    448

    • 相关课程

    更多
  • Python爬虫实战
  • Python开发基础入门
  • Python常用数据科学库
  • Python网络爬虫实战
  • Python完全自学手册图文教程
  • Python基础快速入门实战教程

    • 相关电子书

    更多
  • From Python Scikit-Learn to Sc
  • Data Pre-Processing in Python:
  • 双剑合璧-Python和大数据计算平台的结合

    • 推荐镜像

    更多
  • linuxmint
  • artixlinux-iso
  • artixlinux
    • 下一篇
    计网 - 图解OSI 七层模型 和 TCP/IP 四层模型