linux命令-查看当前目录当前目录剩余空间以及目录文件大小和个数(pg清理大数据量表)

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 【7月更文挑战第28天】

文章目录
一、查看当前目录当前目录剩余空间以及目录文件大小和个数(pg清理大数据量表)

  1. linux当前目录剩余空间怎么查看
  2. 只查看当前目录下文件大小
  3. 查看当前目录下及子目录文件大小
    二、查看当前目录下及子目录文件个数
  4. 只查看文件夹下的文件个数(当前目录的文件数)
  5. 查看文件夹下的文件个数(当前目录的文件和子文件夹的文件数)
    三、 linux查看磁盘空间
    linux看目录容量定位,linux查看目录的大小(占用量)
    四、linux ps命令查询进程启动和存活时间
    五、工作常见的一些占用空间大排查
    pg数据库数据量很小但是data目录很大的排查
    pg清理大数据量表
    一、查看当前目录当前目录剩余空间以及目录文件大小和个数(pg清理大数据量表)
  6. linux当前目录剩余空间怎么查看
    要查看当前目录剩余空间,您可以使用以下命令:

df -h .
1
该命令会显示当前目录所在的文件系统的磁盘空间信息,包括已使用空间、可用空间和文件系统挂载点。选项"-h"可以以人类可读的方式显示磁盘空间大小。点号"."表示当前目录。

  1. 只查看当前目录下文件大小
    可以将当前目录下所有文件的大小给列出来。按照从大到小的方式排序:

du -sh * | sort -nr
1
注意,该命令只是当前目录下文件大小排序,并不会显示子目录下具体文件的排序

结果示例如下,并没有显示出 目录 Python27 下具体文件排名

du -sh * | sort -nr

19M Python27
4.0K test
0 aaa
1
2
3
4
du -sh
1
du -sh 查询当前目录下所有子目录总大小 , 指所有目录,如果只要查询某个目录 替换掉*即可

du -s | sort -nr | head 选出排在前面的10个。
du -s
| sort -nr | tail 选出排在后面的10个。

查看当前目录下一级子文件和子目录占用的磁盘容量:

du -lh --max-depth=1
1
改变“–max-depth=1”中的数值大小就可以指定查看该目录下多少级子目录

du参数解释
-h或–human-readable 以K,M,G为单位,提高信息的可读性
-s或–summarize 仅显示总计,即当前目录的大小。

常用:
查询当前目录下所有子目录总大小 并按大小排序

du -sh * | sort -nr
1

  1. 查看当前目录下及子目录文件大小
    按照文件从大到小排序查看当前目录下(包括子目录文件大小)前5个文件

du -ah | sort -rn | head -5
1
按照文件从大到小排序查看当前目录下(包括子目录文件大小)倒数5个文件

du -ah | sort -rn | tail -5
1
二、查看当前目录下及子目录文件个数

  1. 只查看文件夹下的文件个数(当前目录的文件数)
    ls -l |grep "^-" | wc -l
    1
    注意:该命令只查看到当前目录下文件的个数,不包含子目录、以及子目录下的文件。

说明:
ls -l 长列表输出该目录下文件信息(注意这里的文件,不同于一般的文件,可能是目录、链接、设备文件等)

grep ^- 这里将长列表输出信息过滤一部分,只保留一般文件,如果只保留目录就是 ^d

wc -l 统计输出信息的行数,因为已经过滤得只剩一般文件了,所以统计结果就是一般文件信息的行数,又由于一行信息对应一个文件,所以也就是文件的个数。

  1. 查看文件夹下的文件个数(当前目录的文件和子文件夹的文件数)
    find ./ -type f | wc -l
    1
    三、 linux查看磁盘空间
    df -h命令来查看磁盘信息, -h 选项为根据大小适当显示

df -h

1
2
linux看目录容量定位,linux查看目录的大小(占用量)
du -lh --max-depth=1 /path

先在/path目录下找出最大的目录path1,然后再在path1下找出最大的目录,这样一级一级就可以找出占用空间最大的目录了

du -lh --max-depth=1 /path/path1
1
2
3
4
5
四、linux ps命令查询进程启动和存活时间
linux ps命令查询进程启动和存活时间

ps -eo pid,lstart,etime,cmd | grep xxx
1
inux查看某个进程的启动时间

ps -p PID -o lstart
1
五、工作常见的一些占用空间大排查
pg数据库数据量很小但是data目录很大的排查
PostgreSQL的数据目录,其中保存着配置文件、数据文件、事务日志和WAL日志等重要文件,所有客户创建的数据文件和初始配置文件都可以在数据目录中找到,因此数据目录是重要的客户价值所在。

进入到pg的data目录下执行

du -sh * | sort -nr
1
排查data目录下的base文件占用大小
base目录存储用户创建的数据库文件,及隶属于用户数据库的所有关系,比如表、索引等。
base目录下存放的是数据文件,不能删~ 这个如果大,就只能扩容了。

排查data目录下的pg_wal目录占用大小。
du -sh {pg_wal,pg_xlog}
1
该目录下存放数据库的在线重做日志,可以通过max_wal_size和wal_keep_segments参数对wal日志保留上限进行限制。

排查data目录下的审计日志目录占用大小。
du -sh audit
1
排查data目录下的运行日志目录占用大小。
此类目录下存放数据库的审计日志,可以通过审计参数进行限制。
$ du -sh {pglog,log,postgresql_log}
1
排查data目录下的core文件占用大小。
du -sh core*
1
当data目录下存在core文件,说明数据库进程存在过崩溃,可通过core文件进行分析。

pg清理大数据量表
查看所有数据库的大小

select pg_database.datname, pg_database_size(pg_database.datname) AS size from pg_database;
1
查看表的总大小,包括索引大小

select pg_size_pretty(pg_total_relation_size('test'));
1
查看所有表所占磁盘空间大小

SELECT table_schema || '.' || table_name AS table_full_name, pg_total_relation_size('"' || table_schema || '"."' || table_name || '"')AS size
FROM information_schema.tables
ORDER BY
pg_total_relation_size('"' || table_schema || '"."' || table_name || '"') DESC;
1
2
3
4
清空某个表数据:
一般情况下,我们使用delete删除表中数据,但是delete是一条数据一条数据来删除表中的数据,直至表清空(保留表结构),但是当数据量很大时,它耗时较久。
  其实,删除表数据但保留表结构使用truncate更快速安全!

TRUNCATE TABLE xxx;

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
4月前
|
存储 Linux 调度
深入理解Linux内核:从用户空间到内核空间的旅程
【8月更文挑战第4天】在这篇文章中,我们将探索Linux操作系统的核心—内核。通过了解内核如何管理硬件资源,以及它是如何在用户空间和内核空间之间架起桥梁的,我们可以更好地理解操作系统的工作原理。本文将介绍一些关键概念,并通过代码示例来揭示这些概念是如何在实际中应用的。无论你是开发者、系统管理员还是对操作系统感兴趣的爱好者,这篇文章都将为你提供一个深入了解Linux内核的机会。让我们开始这段旅程吧!
|
2月前
|
Linux 开发工具 Perl
Linux命令替换目录下所有文件里有"\n"的字符为""如何操作?
【10月更文挑战第20天】Linux命令替换目录下所有文件里有"\n"的字符为""如何操作?
45 4
|
4月前
|
存储 NoSQL Linux
深度探索Linux操作系统 —— 从内核空间到用户空间3
深度探索Linux操作系统 —— 从内核空间到用户空间
50 9
|
4月前
|
存储 NoSQL Linux
深度探索Linux操作系统 —— 从内核空间到用户空间2
深度探索Linux操作系统 —— 从内核空间到用户空间
46 7
|
3月前
|
数据可视化 Ubuntu Linux
8-14|如何查看linux目录下文件大小
8-14|如何查看linux目录下文件大小
|
4月前
|
存储 安全 Linux
深度探索Linux操作系统 —— 从内核空间到用户空间1
深度探索Linux操作系统 —— 从内核空间到用户空间
56 4
|
5月前
|
SQL 安全 大数据
如何安全的大数据量表在线进行DDL操作
如何安全的大数据量表在线进行DDL操作
73 0
如何安全的大数据量表在线进行DDL操作
|
4月前
|
监控 Linux
在Linux中,如何检查磁盘使用情况和剩余空间?
在Linux中,如何检查磁盘使用情况和剩余空间?
|
5月前
|
弹性计算 分布式计算 大数据
MaxCompute产品使用合集之如何将用户A从项目空间A申请的表权限需要改为用户B
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
5月前
|
机器学习/深度学习 分布式计算 大数据
MaxCompute产品使用合集之如何查看空间资源、CPU和内存以及存储空间容量
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
105 0