Hadoop集群上检查磁盘使用量和清理相关日志文件脚本

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: #####----检查Hadoop集群上的磁盘使用量----##### #!/bin/sh#检查Hadoop集群上的磁盘使用量function diskState(){ COUNT=1 while [ ${COUNT} -le ${NUM} ] do echo "********检查Hadoop${COUNT}上的磁盘使用量**********" #获取



#####----检查Hadoop集群上的磁盘使用量----#####

#!/bin/sh
#检查Hadoop集群上的磁盘使用量

function diskState(){
	COUNT=1
	while [ ${COUNT} -le ${NUM}  ]
	do 
		echo "********检查Hadoop${COUNT}上的磁盘使用量**********"
		#获取远程机器上的磁盘状态
		ssh -t -p 22 hadoop${COUNT} "df -h"
		COUNT=$((${COUNT}+1))
	done
}


NUM=$1 #hadoop 集群的数量
echo "Hadoop集群数量${NUM}"
if [ "${NUM}" -le "0" ] ;then 
	echo "警告:$0 num "
else
	diskState
	echo "********======磁盘检查结束======***********"
fi


#########——删除Hadoop集群的日志文件和/tmp下的文件——#########


#!/bin/sh
#删除文件的方法
function deleteFile(){
	COUNT=1
	while [ ${COUNT} -le ${NUM}  ]
	do 
		echo "********删除Hadoop${COUNT}上的临时文件和日志记录**********"
		#获取远程机器上的磁盘状态
		ssh -t -p 22 hadoop${COUNT} "rm -rf /usr/local/hadoop/tmp/*;rm -rf /tmp/*"
		#ssh -t -p 22 hadoop${COUNT} "rm -rf /tmp/*"
		COUNT=$((${COUNT}+1))
	done
	
}
DEL=$1
NUM=3
if [ "${DEL}" -gt "0" ] ;then

	deleteFile
	echo "********======删除临时文件结束======***********"
elif test !${DEL};then
	echo "警告:$0 num 1  #删除临时文件\n"
fi



相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
2月前
|
Java Shell
「sh脚步模版自取」测试线排查的三个脚本:启动、停止、重启、日志保存
「sh脚步模版自取」测试线排查的三个脚本:启动、停止、重启、日志保存
39 1
|
21天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
130 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
21天前
|
SQL Oracle 关系型数据库
【赵渝强老师】Oracle的控制文件与归档日志文件
本文介绍了Oracle数据库中的控制文件和归档日志文件。控制文件记录了数据库的物理结构信息,如数据库名、数据文件和联机日志文件的位置等。为了保护数据库,通常会进行控制文件的多路复用。归档日志文件是联机重做日志文件的副本,用于记录数据库的变更历史。文章还提供了相关SQL语句,帮助查看和设置数据库的日志模式。
【赵渝强老师】Oracle的控制文件与归档日志文件
|
21天前
|
Oracle 关系型数据库 数据库
【赵渝强老师】Oracle的参数文件与告警日志文件
本文介绍了Oracle数据库的参数文件和告警日志文件。参数文件分为初始化参数文件(PFile)和服务器端参数文件(SPFile),在数据库启动时读取并分配资源。告警日志文件记录了数据库的重要活动、错误和警告信息,帮助诊断问题。文中还提供了相关视频讲解和示例代码。
|
2月前
|
SQL 数据库
为什么 SQL 日志文件很大,我应该如何处理?
为什么 SQL 日志文件很大,我应该如何处理?
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
48 2
|
2月前
|
分布式计算 Java Hadoop
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(一)
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(一)
41 2
|
2月前
|
存储 分布式计算 NoSQL
大数据-136 - ClickHouse 集群 表引擎详解1 - 日志、Log、Memory、Merge
大数据-136 - ClickHouse 集群 表引擎详解1 - 日志、Log、Memory、Merge
47 0
|
2月前
|
SQL 数据库
为什么SQL日志文件很大,该如何处理?
为什么SQL日志文件很大,该如何处理?
|
25天前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
177 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板