AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

python window使用paramiko简单监控数据指标数据采集

2017-07-13 1334
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
RDS SQL Server Serverless，2-4RCU 50GB 3个月
推荐场景：
云数据库 RDS SQL Server，独享型 2核4GB
推荐场景：
SQL Server性能诊断案例分析
简介： #!/usr/bin/python#-*- coding: utf-8 -*-#+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++##Name : collMonitorDataToDB. 
#!/usr/bin/python
#-*- coding: utf-8 -*-

#+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++#
#Name : collMonitorDataToDB.py    #
#Created : 2017/07/06    #
#Author : @ruiy    #
#Version : 2.0    #
#Copyright : 2016 ~ 2017 ahwater.net Corporation.`    #
#Description : collection monitor indicator data to DB.    #
#+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++#

import pyodbc
import sys
import os
import commands
import datetime
import paramiko
import re
import ConfigParser
import codecs
import chardet
#import psutil

#import sys
#reload(sys)
#sys.setdefaultencoding('utf8')

#监控表字段主要:
# id,timestramp,location,ip,hostname,port,port_est_counts,cpu_use_ratio
# mem_total,mem_free,mem_use_ratio
# disk_drive_c_total,disk_drive_c_free,disk_drive_c_use_ratio
# send_flow,recv_flow,send_packets,recv_packets

#
#内存
#总内存容量(单位-字节bytes): wmic memorychip get capacity
#剩余内存容量(单位-kbytes): wmic OS get FreePhysicalMemory

#磁盘 
#查看物理磁盘: wmic DISKDRIVE get deviceid,Caption,size,InterfaceType
#查看逻辑分区: wmic LOGICALDISK get name,Description,filesystem,size,freespace
#获取指定分区信息: fsutil volume diskfree c:
#获取磁盘分区total or fre 或用 wmic LOGICALDISK get name,Description,filesystem,size,freespace

#cpu
#查看cpu核数: wmic cpu get name,addresswidth,processorid
#获取cpu实时使用率: wmic cpu get LoadPercentage

#process
#process list: wmic process get Caption,KernelModeTime,UserModeTime

#mystring.strip().replace(' ', '').replace('\n', '').replace('\t', '').replace('\r', '').strip()

#网络流量信息

#database source read conf
dbconf=ConfigParser.SafeConfigParser()
#with codecs.open('../conf/config.properties','r',encoding='utf-8') as f:
# dbconf.readfp(f)
dbconf.read('../conf/config.properties')

db_driver=dbconf.get('db','driver')
db_server=dbconf.get('db','server')
db_database=dbconf.get('db','database')
db_uid=dbconf.get('db','uid')
db_pwd=dbconf.get('db','pwd')

#print type(db_server)
#print type(db_database)
#print type(db_uid)
#print type(db_pwd)

#python conn sql server2008R2
#读取配置文件
"""
conn = pyodbc.connect(
driver='{sql server native client 10.0}';
server=%s;
database=%s;
uid=%s;
pwd=%s;
)
"""

#debug
#conn = pyodbc.connect('driver={sql server native client 10.0};server=%s;database=%s;uid=%s;pwd=%s;'%(db_server,db_database,db_uid,db_pwd))
#conn_info = ('Driver{MySQL51};Server=%s;Port=%s;Database=%s;User=%s; Password=%s;Option=3;'%(host, port, database, user,password))

#conn1_info=('Driver={sql server native client 10.0};server=%s;database=%s;uid=%s;pwd=%s;'%('10.34.1.30','LogFeedback','sa','ahswyc'))
#print conn1_info 
conn_info=('driver=%s;server=%s;database=%s;uid=%s;pwd=%s;'%(db_driver,db_server,db_database,db_uid,db_pwd))
#print conn_info
conn=pyodbc.connect(conn_info)

#固定配置
#conn = pyodbc.connect('driver={sql server native client 10.0};server=10.34.1.30;database=LogFeedback;uid=sa;pwd=ahswyc;')
"""
conn = pyodbc.connect(
driver='{sql server native client 10.0}',
server='10.34.1.30',
database='LogFeedback',
uid='sa',
pwd='ahswyc'
)
"""

 

cursor = conn.cursor()

#参考调试,入库测试语句
#cursor.execute("insert into iisEstablishConnCounts(timestramp,iisHostIp,connCounts) values('2017/07/06:22:10','10.34.1.23',90)")

#sql入库字段基于变量
#80端口连接数统计
#netstat -na -p tcp| findstr 80 | find /C "ESTABLISH"

#cmd="netstat -na -p tcp| findstr 80 | find /C \"ESTABLISH\""
#(status,output) = commands.getstatusoutput("%s" % cmd)

#python执行调用系统命令并将结果保存到变量
#注意在linux下用python执行系统命令并将结果保存到变量与windows不同如下语句
#cmd="netstat -na -p tcp| findstr 80 | find /C \"ESTABLISH\""
#(status,output) = commands.getstatusoutput("%s" % cmd)

#获取监控时间戳
dt= datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
#print(dt)
dateTime =dt
#print("debug1: ",dateTime)
print("current dataTime: ",dateTime)
#获取本地的弃用,程序主要用于获取远程主机的监控数据

#调试暂时打开
#portCounts=os.popen("netstat -na -p tcp| findstr 80 | find /C \"ESTABLISH\"").read() 
#print("debug2: ",portCounts)

#人工配置数据
location=dbconf.get('const_18','location_18')
describe=dbconf.get('const_18','describe_18')
countport=dbconf.get('const_18','countport_18')

#print(chardet.detect(location.encode('utf-8')))
#print type(location)
#op=('%s' % location).encode('gbk')
#print op
#localT=ur'省水文局'
#localT='水文局3tets1123'.decode('utf-8')
#localT=location.decode('utf-8').encode('gbk')
print location
localT=location
#localT="anhui shuiwen ju"
print("monitr location: ",localT)
#因为在被监控机部署ssh server,所以ip是同一个,都是被监控机器ip
ssh_ip=dbconf.get('ssh_18','ssh_ip_18')
mip=ssh_ip
print("monitor ip:",mip)

mport=countport
print("port: ",mport)


#paramiko日志
#logfiles=datetime.datetime.now().strftime('%Y-%m-%d_%H:%M:%S')
#os.environ['logfiles'] = str(logfiles)
#paramiko.util.log_to_file(os.system(echo '../logs/$logfiles.txt'))
#paramiko.util.log_to_file("../logs/{logfiles}".txt)


#远程监控数据获取
#paramiko ssh跨机建立
#transport = paramiko.Transport(('192.168.11.181',22))
tail_ip=ssh_ip.split('.')[3]
logfiles=datetime.datetime.now().strftime('%Y-%m-%d_%H_%M_%S')
paramiko.util.log_to_file('../logs/%s-%s.txt'% (logfiles,tail_ip))

"""
transport = paramiko.Transport(('10.34.1.23', 22))
transport.connect(username='ahwater', password='Aa7788..')
ssh = paramiko.SSHClient()
ssh._transport = transport
"""
#ssh conn read conf
#ssh连接属性读取配置文件
#ssh_ip=dbconf.get('ssh_18','ssh_ip_18')
ssh_port=int(dbconf.get('ssh_18','ssh_port_18'))
ssh_username=dbconf.get('ssh_18','ssh_username_18')
ssh_password=dbconf.get('ssh_18','ssh_password_18')
#print ssh_password
transport = paramiko.Transport((ssh_ip, ssh_port))
transport.connect(username=ssh_username, password=ssh_password)
ssh = paramiko.SSHClient()
ssh._transport = transport


#主机名
cmd01='hostname'
stdin, stdout, stderr = ssh.exec_command(cmd01)
#print(stdout.read())
data01=stdout.read().strip().replace(' ', '').replace('\t', '').replace('\r', '').strip()
print("monitor hostname: ",data01)

#端口连接数统计
#在人工配置数据处填写的端口的端口establish port counts
cmd02='netstat -na'
stdin, stdout, stderr = ssh.exec_command(cmd02)
data02=stdout.read().count('80')
#data02=stdout.read().count(mport)
print("port est counts: ",data02)

#cpu使用率
cmd03='wmic cpu get LoadPercentage'
stdin, stdout, stderr = ssh.exec_command(cmd03)
#da03=stdout.read().strip('LoadPercentage').replace('\n', '').replace('\t', '').replace('\r', '').replace(' ','').strip()
#da03=stdout.read().strip('LoadPercentage').replace(' ','').replace('\n','').replace('\t', '').replace('\r', '')
da03=stdout.read().strip('LoadPercentage').replace('\n', '').replace('\t', '').replace('\r', '').replace(' ','').replace('\n','').strip()
#print(da03)
statis=0
counts=0
for i in da03:
#cpu物理核心统计
counts = counts + 1
statis = statis + int(i)
try:
#print(counts)
data03=round(float(statis)/counts/100,6)
#data003="'" +data03 +"'"
print("cpu use ratio: ",data03)
except:
pass

#内存总量/Gb
"""
cmd04='wmic memorychip get capacity'
stdin,stdout,stderr = ssh.exec_command(cmd04)
da04=stdout.read().strip('Capacity').replace('\n','').replace('\t','').replace('\r','').replace(' ','').strip()
data04=float(da04)/1024/1024/1024
print("mem total Gb: ",data04)
"""
cmd04='wmic memorychip get capacity'
stdin,stdout,stderr = ssh.exec_command(cmd04)
d4_1=stdout.read().strip('Capacity').replace(' ','').replace('\t','').replace('\r','').strip()
d4_2=(' '.join(filter(lambda x: x, d4_1.split(' '))))
d4_3=d4_2.split('\n')

counts_4=0
for i in d4_3:
counts_4 = counts_4 + int(i)

data04=float(counts_4)/1024/1024/1024
print("mem total Gb: ",data04)


#内存剩余量/Gb
cmd05='wmic OS get FreePhysicalMemory'
stdin,stdout,stderr = ssh.exec_command(cmd05)
da05=stdout.read().strip('FreePhysicalMemory').replace('\n','').replace('\t','').replace('\r','').replace(' ','').strip()
data05=round(float(da05)/1024/1024,4)
print("mem free Gb: ",data05)

#内存使用率
data06=round(float((data04 - data05)) / data04,4)
print("mem use ratio: ",data06)

#磁盘信息,根系统盘C:
#cmd07='fsutil volume diskfree c:'
cmd07='wmic LOGICALDISK get FreeSpace,Size'
#C盘总量
stdin,stdout,stderr = ssh.exec_command(cmd07)
#删除FreeSpace,Size字符
d7_1=stdout.read().strip().replace('FreeSpace','').replace('Size','')
#删除r-n
d7_2=d7_1.strip().replace('\r','').replace('\n','')
#替换多个' '为单个
d7_3=(' '.join(filter(lambda x: x, d7_2.split(' '))))
#转换str->list
disk_data=d7_3.split(' ')

#获取C分区盘总量Gb,获取的数据默认单位是bytes
data07=round(float(disk_data[1])/1024/1024/1024,4)
print("C disk total Gb:",data07)
#获取C分区盘剩余量Gb
data08=round(float(disk_data[0])/1024/1024/1024,4)
print("C disk free Gb:",data08)
#C分区盘使用率
data09=round((data07 - data08) / data07,4)
print("C disk space use ratio: ",data09)

#获取网络流量信息
cmd08='netstat -e'
stdin, stdout, stderr = ssh.exec_command(cmd08)
d8_1=stdout.read().strip().rstrip().lstrip().replace('\r','').replace('\n','')
d8_2=(' '.join(filter(lambda x: x, d8_1.split(' '))))
d8_3=d8_2.split(' ')

#数据流默认bytes,把汉字字符剔除
net_data=re.sub('[^\u4e00-\u9fa5]','',d8_3[4])
#发送的流量累加总计Gb
data10=round(float(net_data)/1024/1024/1024,4)
print("send trafic flow Gb: ",data10)
#接收的流量累加总计
#net_data2=re.sub('[^\u4e00-\u9fa5]','',d8_3[3])
net_data2=d8_3[3]
data11=round(float(net_data2)/1024/1024/1024,4)
print("recv trafic flow Gb: ",data11)

#发送的数据包累加总数Tcp/ip层
#发送的数据包累加总数
data12=int(re.sub('[^\u4e00-\u9fa5]','',d8_3[6]))
#data12=round(float(net_data3)/1024/1024/1024,4)
print("send packets: ",data12)

#接收的数据包累计
data13=int(d8_3[5])
print("recv packets: ",data13)

#数据入库
#字段值基于变量的sql语句模型
sql_debug = """insert into iisEstablishConnCounts(timestramp,iisHostIp,connCounts) values(
%(timestramp)s,
'10.34.1.23',
%(connCounts)s
)
"""
# id,timestramp,location,ip,hostname,port,port_est_counts,cpu_use_ratio
# mem_total,mem_free,mem_use_ratio
# disk_drive_c_total,disk_drive_c_free,disk_drive_c_use_ratio
# send_flow,recv_flow,send_packets,recv_packets

sql = """insert into ahwater_perf_monitor(timestramp,location,ip,hostname,host_use_description,port,port_est_counts,cpu_use_ratio,
mem_total,mem_free,mem_use_ratio,
disk_drive_c_total,disk_drive_c_free,disk_drive_c_use_ratio,
send_flow,recv_flow,send_packets,recv_packets) values(
%(timestramp)s,
%(location)s,
%(ip)s,
%(hostname)s,
%(host_use_description)s,
%(port)s,
%(port_est_counts)s,
%(cpu_use_ratio)s,
%(mem_total)s,
%(mem_free)s,
%(mem_use_ratio)s,
%(disk_drive_c_total)s,
%(disk_drive_c_free)s,
%(disk_drive_c_use_ratio)s,
%(send_flow)s,
%(recv_flow)s,
%(send_packets)s,
%(recv_packets)s
)
"""

#print(sql)
#cursor.execute(sql_debug % dict(timestramp = dateTime,connCounts = portCounts))

#print("\n")

"""
print dateTime
print localT
print mip
print data01
print mport
print data02
print data03
print data04
print data05
print data06
print data07
print data08
print data09
print data10
print data11
print data12
print data13
"""
#print describe

cursor.execute(sql % dict(
timestramp="'" + dateTime + "'",
location="'" + localT + "'",
ip="'" + mip + "'",
hostname="'" + data01 + "'",
host_use_description="'" + describe + "'",
port=mport,
port_est_counts=data02,
cpu_use_ratio=data03,
mem_total=data04,
mem_free=data05,
mem_use_ratio=data06,
disk_drive_c_total=data07,
disk_drive_c_free=data08,
disk_drive_c_use_ratio=data09,
send_flow=data10,
recv_flow=data11,
send_packets=data12,
recv_packets=data13
))


"""
cursor.execute(sql % dict(
timestramp=dateTime,
location=localT,
ip=mip,
hostname=data01,
port=mport,
port_est_counts="'" +str(data02) + "'",
cpu_use_ratio="," +str(data03) + "'",
mem_total="'"+str(data04)+"'",
mem_free="'"+str(data05)+"'",
mem_use_ratio="'"+str(data06)+"'",
disk_drive_c_total="'"+str(data07)+"'",
disk_drive_c_free="'" +str(data08)+"'",
disk_drive_c_use_ratio="'"+str(data09)+"'",
send_flow="'"+str(data10)+"'",
recv_flow="'"+str(data11)+"'",
send_packets=data12,
recv_packets=data13
))
"""

#关闭pyodbc conn连接
conn.commit()
conn.close()
#关闭paramiko ssh回话
transport.close()

 

文章标签：
云数据库 RDS SQL Server 版
SQL
监控
Python
网络安全
数据采集
Linux
Windows
网络协议
关键词：
Python数据
Python paramiko
Python监控
Python数据采集
Python指标
相关实践学习
使用SQL语句管理索引
本次实验主要介绍如何在RDS-SQLServer数据库中，使用SQL语句管理索引。
SQL Server on Linux入门教程
SQL Server数据库一直只提供Windows下的版本。2016年微软宣布推出可运行在Linux系统下的SQL Server数据库，该版本目前还是早期预览版本。本课程主要介绍SQLServer On Linux的基本知识。 相关的阿里云产品：云数据库RDS SQL Server版 RDS SQL Server不仅拥有高可用架构和任意时间点的数据恢复功能，强力支撑各种企业应用，同时也包含了微软的License费用，减少额外支出。 了解产品详情: https://www.aliyun.com/product/rds/sqlserver
cloud_ruiy
目录
相关文章
东方睿赢
|
5天前
|
开发框架 JSON API
震撼发布！Python Web开发框架下的RESTful API设计全攻略，让数据交互更自由！
【7月更文挑战第22天】在Python Web开发中，设计高效的RESTful API涉及选择框架（如Flask或Django）、明确资源及使用HTTP方法（GET, POST, PUT, DELETE）来操作数据。响应格式通常是JSON，错误处理也很重要。示例展示了使用Flask创建图书管理API，包括版本控制、文档化、安全性和性能优化是最佳实践。这样的API使数据交互更顺畅。
东方睿赢
26 2
众所周知
|
6天前
|
SQL 存储 数据库
数据聚合大揭秘！Python如何一键整合海量信息，洞察数据背后的秘密？
【7月更文挑战第21天】在数据驱动时代，Python以强大库支持，如Pandas与SQLAlchemy，轻松聚合分析海量信息。Pandas简化数据整合，从CSV文件加载数据，利用`pd.concat()`合并，`groupby()`进行聚合分析，揭示销售趋势。SQLAlchemy则无缝链接数据库，执行SQL查询，汇总复杂数据。Python一键操作，开启数据洞察之旅，无论源数据格式，均能深入挖掘价值。
众所周知
15 0
梦回故国楼台梦
|
6天前
|
机器学习/深度学习 数据采集 数据挖掘
数据界的整容大师！Python如何让你的数据‘洗心革面’，焕然一新？
【7月更文挑战第21天】在数据科学领域，Python扮演着数据“整容大师”的角色，通过清洗、重塑与特征工程，将原始数据美化成分析佳品。首先，利用Pandas清洗数据，删除或填充缺失值，清除异常值，如同洁面般净化数据。其次，通过数据重塑与格式化，如按年龄分组统计薪资并优雅展示，赋予数据直观可读性，好比化妆塑形。最后，特征工程创造新维度，如年龄分组，提升数据分析价值，这全过程是对数据价值的深度挖掘和精细打磨。
梦回故国楼台梦
14 0
人物我非-32022
|
1天前
|
机器学习/深度学习 数据可视化 vr&ar
python根据历史数据预测
7月更文挑战第16天
人物我非-32022
23 7
东方睿赢
|
2天前
|
数据可视化 数据挖掘 Python
数据界的颜值担当！Python数据分析遇上Matplotlib、Seaborn，可视化美出新高度！
【7月更文挑战第24天】在数据科学领域，Python的Matplotlib与Seaborn将数据可视化升华为艺术，提升报告魅力。Matplotlib作为基石，灵活性强，新手友好；代码示例展示正弦波图的绘制与美化技巧。Seaborn针对统计图表，提供直观且美观的图形，如小提琴图，增强数据表达力。两者结合，创造视觉盛宴，如分析电商平台销售数据时，Matplotlib描绘趋势，Seaborn揭示类别差异，共塑洞察力强的作品，使数据可视化成为触动人心的艺术。
东方睿赢
22 7
你都不懂
|
4天前
|
数据采集 Web App开发 存储
Python-数据爬取（爬虫）
【7月更文挑战第24天】
你都不懂
31 7
梦回故国楼台梦
|
1天前
|
机器学习/深度学习 数据采集 算法
数据海洋中的导航者：Scikit-learn库引领Python数据分析与机器学习新航向！
【7月更文挑战第26天】在数据的海洋里，Python以强大的生态成为探索者的首选，尤其Scikit-learn库（简称sklearn），作为一颗璀璨明珠，以高效、灵活、易用的特性引领数据科学家们破浪前行。无论新手还是专家，sklearn提供的广泛算法与工具支持从数据预处理到模型评估的全流程。秉承“简单有效”的设计哲学，它简化了复杂模型的操作，如线性回归等，使用户能轻松比较并选择最优方案。示例代码展示了如何简洁地实现线性回归分析，彰显了sklearn的强大能力。总之，sklearn不仅是数据科学家的利器，也是推动行业进步的关键力量。
梦回故国楼台梦
11 3
东方睿赢
|
4天前
|
数据可视化 数据挖掘 开发者
数据可视化新纪元！Python + Matplotlib + Seaborn，让你的数据故事生动起来！
【7月更文挑战第23天】在数据驱动时代，Python通过Matplotlib与Seaborn引领数据可视化新纪元。Matplotlib基础强大，提供广泛绘图选项；Seaborn则简化流程，图表更美观，适合快速可视化。两者结合，轻松应对复杂定制需求，将数据转化为生动故事，支持决策与交流。
东方睿赢
18 6
你都不懂
|
4天前
|
数据采集 机器学习/深度学习 算法
Python-数据爬取（爬虫）
【7月更文挑战第23天】
你都不懂
26 5
东方睿赢
|
2天前
|
数据可视化 数据挖掘 Python
数据界的颜值担当！Python数据分析遇上Matplotlib、Seaborn，可视化美出新高度！
【7月更文挑战第25天】
东方睿赢
10 1

热门文章

最新文章

  • 1
    四分历python实现
  • 2
    笨办法学 Python · 续 练习 11：`uniq`
  • 3
    含辞未吐,声若幽兰,史上最强免费人工智能AI语音合成TTS服务微软Azure(Python3.10接入)
  • 4
    【Python+C#】手把手搭建基于Hugging Face模型的离线翻译系统，并通过C#代码进行访问
  • 5
    适应python3的淘宝API核心base类
  • 6
    python操作csv
  • 7
    16Python标准系列之random模块
  • 8
    Python运算符
  • 9
    python_day1_基础
  • 10
    python 生成、删除、拷贝目录
  • 1
    【python】如何通过python来发送短信
    90
  • 2
    【视频】Python基于SVM和RankGauss的低消费指数构建模型
    180
  • 3
    Python在数据分析领域的应用研究
    49
  • 4
    Python web框架fastapi中间件的使用，CORS跨域详解
    132
  • 5
    Python web框架fastapi数据库操作ORM（二）增删改查逻辑实现方法
    136
  • 6
    Python web框架fastapi数据库操作ORM（一）
    244
  • 7
    python web框架fastapi模板渲染--Jinja2使用技巧总结
    142
  • 8
    Python高性能web框架--Fastapi快速入门
    77
  • 9
    机器学习--K近邻算法，以及python中通过Scikit-learn库实现K近邻算法API使用技巧
    38
  • 10
    Python中的for循环用法详解，一文搞定它
    62

    • 相关课程

    更多
  • Python Web开发基础
  • Python开发基础入门
  • Python常用数据科学库
  • Python网络爬虫实战
  • Python完全自学手册图文教程
  • Python基础快速入门实战教程

    • 相关电子书

    更多
  • From Python Scikit-Learn to Sc
  • Data Pre-Processing in Python:
  • 双剑合璧-Python和大数据计算平台的结合

    • 相关实验场景

    更多
  • Python新手入门
  • Python入门
  • Python选择及循环结构
  • Python新手入门（Anolis OS）
  • Python网络通信程序典型应用
  • 云端Python及基本操作
    • 下一篇
    通义千问API入门教程