linux命令-查看当前目录当前目录剩余空间以及目录文件大小和个数(pg清理大数据量表)

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: 【7月更文挑战第28天】

文章目录
一、查看当前目录当前目录剩余空间以及目录文件大小和个数(pg清理大数据量表)

  1. linux当前目录剩余空间怎么查看
  2. 只查看当前目录下文件大小
  3. 查看当前目录下及子目录文件大小
    二、查看当前目录下及子目录文件个数
  4. 只查看文件夹下的文件个数(当前目录的文件数)
  5. 查看文件夹下的文件个数(当前目录的文件和子文件夹的文件数)
    三、 linux查看磁盘空间
    linux看目录容量定位,linux查看目录的大小(占用量)
    四、linux ps命令查询进程启动和存活时间
    五、工作常见的一些占用空间大排查
    pg数据库数据量很小但是data目录很大的排查
    pg清理大数据量表
    一、查看当前目录当前目录剩余空间以及目录文件大小和个数(pg清理大数据量表)
  6. linux当前目录剩余空间怎么查看
    要查看当前目录剩余空间,您可以使用以下命令:

df -h .
1
该命令会显示当前目录所在的文件系统的磁盘空间信息,包括已使用空间、可用空间和文件系统挂载点。选项"-h"可以以人类可读的方式显示磁盘空间大小。点号"."表示当前目录。

  1. 只查看当前目录下文件大小
    可以将当前目录下所有文件的大小给列出来。按照从大到小的方式排序:

du -sh * | sort -nr
1
注意,该命令只是当前目录下文件大小排序,并不会显示子目录下具体文件的排序

结果示例如下,并没有显示出 目录 Python27 下具体文件排名

du -sh * | sort -nr

19M Python27
4.0K test
0 aaa
1
2
3
4
du -sh
1
du -sh 查询当前目录下所有子目录总大小 , 指所有目录,如果只要查询某个目录 替换掉*即可

du -s | sort -nr | head 选出排在前面的10个。
du -s
| sort -nr | tail 选出排在后面的10个。

查看当前目录下一级子文件和子目录占用的磁盘容量:

du -lh --max-depth=1
1
改变“–max-depth=1”中的数值大小就可以指定查看该目录下多少级子目录

du参数解释
-h或–human-readable 以K,M,G为单位,提高信息的可读性
-s或–summarize 仅显示总计,即当前目录的大小。

常用:
查询当前目录下所有子目录总大小 并按大小排序

du -sh * | sort -nr
1

  1. 查看当前目录下及子目录文件大小
    按照文件从大到小排序查看当前目录下(包括子目录文件大小)前5个文件

du -ah | sort -rn | head -5
1
按照文件从大到小排序查看当前目录下(包括子目录文件大小)倒数5个文件

du -ah | sort -rn | tail -5
1
二、查看当前目录下及子目录文件个数

  1. 只查看文件夹下的文件个数(当前目录的文件数)
    ls -l |grep "^-" | wc -l
    1
    注意:该命令只查看到当前目录下文件的个数,不包含子目录、以及子目录下的文件。

说明:
ls -l 长列表输出该目录下文件信息(注意这里的文件,不同于一般的文件,可能是目录、链接、设备文件等)

grep ^- 这里将长列表输出信息过滤一部分,只保留一般文件,如果只保留目录就是 ^d

wc -l 统计输出信息的行数,因为已经过滤得只剩一般文件了,所以统计结果就是一般文件信息的行数,又由于一行信息对应一个文件,所以也就是文件的个数。

  1. 查看文件夹下的文件个数(当前目录的文件和子文件夹的文件数)
    find ./ -type f | wc -l
    1
    三、 linux查看磁盘空间
    df -h命令来查看磁盘信息, -h 选项为根据大小适当显示

df -h

1
2
linux看目录容量定位,linux查看目录的大小(占用量)
du -lh --max-depth=1 /path

先在/path目录下找出最大的目录path1,然后再在path1下找出最大的目录,这样一级一级就可以找出占用空间最大的目录了

du -lh --max-depth=1 /path/path1
1
2
3
4
5
四、linux ps命令查询进程启动和存活时间
linux ps命令查询进程启动和存活时间

ps -eo pid,lstart,etime,cmd | grep xxx
1
inux查看某个进程的启动时间

ps -p PID -o lstart
1
五、工作常见的一些占用空间大排查
pg数据库数据量很小但是data目录很大的排查
PostgreSQL的数据目录,其中保存着配置文件、数据文件、事务日志和WAL日志等重要文件,所有客户创建的数据文件和初始配置文件都可以在数据目录中找到,因此数据目录是重要的客户价值所在。

进入到pg的data目录下执行

du -sh * | sort -nr
1
排查data目录下的base文件占用大小
base目录存储用户创建的数据库文件,及隶属于用户数据库的所有关系,比如表、索引等。
base目录下存放的是数据文件,不能删~ 这个如果大,就只能扩容了。

排查data目录下的pg_wal目录占用大小。
du -sh {pg_wal,pg_xlog}
1
该目录下存放数据库的在线重做日志,可以通过max_wal_size和wal_keep_segments参数对wal日志保留上限进行限制。

排查data目录下的审计日志目录占用大小。
du -sh audit
1
排查data目录下的运行日志目录占用大小。
此类目录下存放数据库的审计日志,可以通过审计参数进行限制。
$ du -sh {pglog,log,postgresql_log}
1
排查data目录下的core文件占用大小。
du -sh core*
1
当data目录下存在core文件,说明数据库进程存在过崩溃,可通过core文件进行分析。

pg清理大数据量表
查看所有数据库的大小

select pg_database.datname, pg_database_size(pg_database.datname) AS size from pg_database;
1
查看表的总大小,包括索引大小

select pg_size_pretty(pg_total_relation_size('test'));
1
查看所有表所占磁盘空间大小

SELECT table_schema || '.' || table_name AS table_full_name, pg_total_relation_size('"' || table_schema || '"."' || table_name || '"')AS size
FROM information_schema.tables
ORDER BY
pg_total_relation_size('"' || table_schema || '"."' || table_name || '"') DESC;
1
2
3
4
清空某个表数据:
一般情况下,我们使用delete删除表中数据,但是delete是一条数据一条数据来删除表中的数据,直至表清空(保留表结构),但是当数据量很大时,它耗时较久。
  其实,删除表数据但保留表结构使用truncate更快速安全!

TRUNCATE TABLE xxx;

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1天前
|
Linux Docker 容器
linux之docker命令
linux之docker命令
|
3天前
|
Ubuntu Java Linux
LINUX常用命令总结_持续更新
本文汇总了多种Linux命令的使用方法,包括系统信息查询、文件与目录管理、打包与压缩、软件包管理、文件系统分析、备份操作及网络配置等。例如,使用`df -h`检查文件系统使用情况,`uname -a`查看内核版本,`ps -ef|grep java`查看Java服务,`kill -9 pid`结束进程,以及使用`tar`、`zip`、`unzip`进行文件压缩与解压。此外,还介绍了系统关机、重启、登录注销、文件权限设置、磁盘空间管理、RPM与DEB包安装更新、文本处理、文件系统初始化与修复、SWAP文件系统管理、光盘刻录与挂载、网络接口配置等实用命令。
|
7天前
|
监控 Linux
Linux系统中du命令与df命令的区别与用法
总的来说,`du` 和 `df` 在磁盘管理中互补使用,能够提供全面的磁盘空间使用信息,帮助用户和管理员有效地监控和管理系统资源。
18 3
|
19小时前
|
数据可视化 Ubuntu Linux
8-14|如何查看linux目录下文件大小
8-14|如何查看linux目录下文件大小
|
2天前
|
Shell Linux Python
python执行linux系统命令的几种方法(python3经典编程案例)
文章介绍了多种使用Python执行Linux系统命令的方法,包括使用os模块的不同函数以及subprocess模块来调用shell命令并处理其输出。
10 0
|
25天前
|
机器学习/深度学习 安全 网络协议
Linux防火墙iptables命令管理入门
本文介绍了关于Linux防火墙iptables命令管理入门的教程,涵盖了iptables的基本概念、语法格式、常用参数、基础查询操作以及链和规则管理等内容。
182 73
|
18天前
|
Linux Shell
Linux 中 Tail 命令的 9 个实用示例
Linux 中 Tail 命令的 9 个实用示例
59 6
Linux 中 Tail 命令的 9 个实用示例
|
14天前
|
设计模式 Java Linux
Linux的20个常用命令
Linux的23个常用命令
Linux的20个常用命令
|
24天前
|
Linux 应用服务中间件 nginx
|
10天前
|
机器学习/深度学习 存储 Linux
linux中强大且常用命令:find、xargs、grep
linux中强大且常用命令:find、xargs、grep
32 9