计算mysql数据库目录中表文件大小并排序

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介:

最近需要监控数据库每个表的增长量,其实在mysql中的information_schema.TABLES表中有记录表的大小,但是不准,要是计算每天每个表大小的话不是很准确,刚好我的mysql是独享表空间,所以只要计算出数据目录中的表文件大小即可实现这个目的。以下代码实现了计算在独享表空间下,计算数据库中所有表的物理大小,并计算整个mysql数据库目录的大小和数据库目录所在分区的剩余空间。以下是代码:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import os,time,MySQLdb
'' 'CREATE TABLE DBA.datasize (
   `id` int(11) NOT NULL AUTO_INCREMENT,
   `host` varchar(20) NOT NULL COMMENT  '服务器IP' ,
   `dataname` varchar(100) NOT NULL COMMENT  '数据库名字' ,
   `tablename` varchar(100) NOT NULL COMMENT  '表名字' ,
   `datasize` double NOT NULL COMMENT  '表大小,单位:M' ,
   `uptime` datetime NOT NULL COMMENT  '更新时间' ,
   PRIMARY KEY (`id`,`host`,`dataname`,`tablename`,`datasize`,`uptime`),
   KEY `index_uptime` (`uptime`),
   KEY `index_tablename` (`tablename`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 '' ' #表结构
def log_w(text):#写日志
         logfile =  "datasize.txt"
         f = open(logfile, 'a+' )
         text = text+ '\n'
         f.write(text)
         f.close()
def log2db(size_log):#把结果写入数据库
     log_host =  '192.168.100.100'
     log_user =  'wangwei'
     log_pass =  'wangwei'
     try :
         conn = MySQLdb.connect(host = log_host,port = 3306,user = log_user,passwd = log_pass,charset= 'utf8' ,connect_timeout=20)
         cursor = conn.cursor()
         cursor.executemany( "insert into DBA.datasize (`host`,`dataname`,`tablename`,`datasize`,`uptime`) VALUES(%s,%s,%s,%s,%s)" ,tuple(size_log))
         conn.commit()
         cursor.close()
         conn.close()
     except Exception,e:
         print  e
def main():
         uptime = time. strftime ( "%Y-%m-%d %H:%M:%S" )
         text =  "========================  %s  ======================"  % uptime
         print  text
         #log_w(text)
         mysqldir =  "/home/mysql/"
         tables = {}
         host =  '192.168.100.10' #数据库本地IP
         conm =  'du -sh %s'  % mysqldir
         datasize = os.popen(conm).readlines()[0].split( '\t' )[0]
         dir_list = os.listdir(mysqldir)
         for  i in dir_list:
                 dirname = os.path.join(mysqldir,i)
                 if  os.path.isdir(dirname):
                         tb_list = os.listdir(dirname)
                         table_list = list(set([os.path.splitext(ii)[0]  for  ii in tb_list]))
                         for  t_name in table_list:
                                 t_size = 0
                                 for  t in tb_list:
                                         if  t_name in t:
                                                 f_size = os.path.getsize(os.path.join(dirname,t))
                                                 t_size = t_size + f_size
                                 t_size = t_size/1024/1024
                                 if  t_size != 0:
                                         tables[os.path.join(i,t_name)]=t_size
         tables = sorted(tables.iteritems(),key = lambda asd:asd[1],reverse = True)
         size_log = []
         for  i in tables:
                 text = str(i[0]).ljust(70)+str(i[1])+ 'M'
                 aa = i[0].split( "/" )
                 res = [host,aa[0],aa[1],i[1],uptime]
                 size_log.append(res)
                 #log_w(text)
                 print  text
         text =  "All DataSize :" .ljust(70)+str(datasize)
         size_log.append([host, "all" , "all" ,int(datasize.split( 'G' )[0])*1024,uptime])
         diskfree = os.popen( "df -h|grep data" ).readlines()[0].split()[3]
         size_log.append([host, "disk" , "free" ,int(diskfree.split( 'G' )[0])*1024,uptime])
         #log_w(text)
         print  text
         text =  "Data Disk free size:" .ljust(70)+diskfree
         #log_w(text)
         print  text
         log2db(size_log)
if  __name__== '__main__' :
         main()

本文转自 lover00751CTO博客,原文链接:http://blog.51cto.com/wangwei007/1321517,如需转载请自行联系原作者
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
2月前
|
自然语言处理 关系型数据库 MySQL
如何在mysql数据库里进行文本的相似度排序?
【8月更文挑战第28天】如何在mysql数据库里进行文本的相似度排序?
231 62
|
1月前
|
存储 缓存 关系型数据库
阿里云数据库 SelectDB 多计算集群核心设计要点揭秘与场景应用
在云原生存算分离架构下,多计算集群的实现从技术方案上看似乎并不存在过多难题。但从产品的角度而言,具备成熟易用的多计算集群能力且能运用于用户实际业务场景中,还有较多核心要点需要深度设计
阿里云数据库 SelectDB 多计算集群核心设计要点揭秘与场景应用
|
2天前
|
SQL 搜索推荐 关系型数据库
MySQL 如何实现 ORDER BY 排序?
本文详细解析了MySQL中`ORDER BY`的实现原理及优化方法。通过解析与优化、执行及多种优化技术,如索引利用、内存排序、外部排序等,帮助你提升排序性能。了解其背后的机制,可显著优化查询效率。
11 4
|
3天前
|
Ubuntu 关系型数据库 MySQL
ubuntu使用aliyun源+mysql删除有外键约束的数据+查看特定目录的大小
ubuntu使用aliyun源+mysql删除有外键约束的数据+查看特定目录的大小
17 4
|
2天前
|
存储 监控 关系型数据库
MySQL计算某条数据与上一条数据的生成时间差
MySQL计算某条数据与上一条数据的生成时间差
14 2
|
3天前
|
SQL 搜索推荐 关系型数据库
MySQL 如何实现 ORDER BY 排序?
在实际开发中,我们经常会使用 MySQL 的 `ORDER BY`进行排序,那么,`ORDER BY`是如何实现的排序的?我们该如何优化 `ORDER BY`的排序性能?这篇文章,我们来聊一聊。
19 3
|
29天前
|
算法 关系型数据库 MySQL
MySQL高级篇——排序、分组、分页优化
排序优化建议、案例验证、范围查询时索引字段选择、filesort调优、双路排序和单路排序、分组优化、带排序的深分页优化
MySQL高级篇——排序、分组、分页优化
|
1月前
|
自然语言处理 关系型数据库 MySQL
match如何在mysql数据库里进行文本的相似度排序?
【9月更文挑战第1天】match如何在mysql数据库里进行文本的相似度排序?
57 1
|
2月前
|
SQL 关系型数据库 MySQL
MySQL】-DQL(基本、条件、分组、排序、分页)详细版
通过这些查询方法,你可以高效地检索、分析和组织MySQL数据库中的数据,以满足各种应用需求。实践中,理解这些SQL语句的基础知识以及它们如何组合起来进行复杂的数据操作是至关重要的。
30 1
|
2月前
|
算法 关系型数据库 MySQL
揭秘MySQL中的版本号排序:这个超级算法将颠覆你的排序世界!
【8月更文挑战第8天】在软件开发与数据管理中,正确排序版本号对软件更新及数据分析至关重要。因MySQL默认按字符串排序版本号,可能出现'1.20.0'在'1.10.0'之前的不合理情况。解决办法是将版本号各部分转换为整数后排序。例如,使用`SUBSTRING_INDEX`和`CAST`函数从`software`表的`version`字段提取并转换版本号,再按这些整数排序。这种方法可确保版本号按逻辑正确排序,适用于'major.minor.patch'格式的版本号。对于更复杂格式,需调整处理逻辑。掌握此技巧可有效应对版本号排序需求。
117 3

热门文章

最新文章