Hadoop集群上检查磁盘使用量和清理相关日志文件脚本

简介: #####----检查Hadoop集群上的磁盘使用量----##### #!/bin/sh#检查Hadoop集群上的磁盘使用量function diskState(){ COUNT=1 while [ ${COUNT} -le ${NUM} ] do echo "********检查Hadoop${COUNT}上的磁盘使用量**********" #获取



#####----检查Hadoop集群上的磁盘使用量----#####

#!/bin/sh
#检查Hadoop集群上的磁盘使用量

function diskState(){
	COUNT=1
	while [ ${COUNT} -le ${NUM}  ]
	do 
		echo "********检查Hadoop${COUNT}上的磁盘使用量**********"
		#获取远程机器上的磁盘状态
		ssh -t -p 22 hadoop${COUNT} "df -h"
		COUNT=$((${COUNT}+1))
	done
}


NUM=$1 #hadoop 集群的数量
echo "Hadoop集群数量${NUM}"
if [ "${NUM}" -le "0" ] ;then 
	echo "警告:$0 num "
else
	diskState
	echo "********======磁盘检查结束======***********"
fi


#########——删除Hadoop集群的日志文件和/tmp下的文件——#########


#!/bin/sh
#删除文件的方法
function deleteFile(){
	COUNT=1
	while [ ${COUNT} -le ${NUM}  ]
	do 
		echo "********删除Hadoop${COUNT}上的临时文件和日志记录**********"
		#获取远程机器上的磁盘状态
		ssh -t -p 22 hadoop${COUNT} "rm -rf /usr/local/hadoop/tmp/*;rm -rf /tmp/*"
		#ssh -t -p 22 hadoop${COUNT} "rm -rf /tmp/*"
		COUNT=$((${COUNT}+1))
	done
	
}
DEL=$1
NUM=3
if [ "${DEL}" -gt "0" ] ;then

	deleteFile
	echo "********======删除临时文件结束======***********"
elif test !${DEL};then
	echo "警告:$0 num 1  #删除临时文件\n"
fi



相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
1303 6
|
分布式计算 Hadoop Java
CentOS中构建高可用Hadoop 3集群
这个过程像是在一个未知的森林中探索。但当你抵达终点,看到那个熟悉的Hadoop管理界面时,所有的艰辛都会化为乌有。仔细观察,尽全力,这就是构建高可用Hadoop 3集群的挑战之旅。
570 21
|
关系型数据库 MySQL
图解MySQL【日志】——磁盘 I/O 次数过高时优化的办法
当 MySQL 磁盘 I/O 次数过高时,可通过调整参数优化。控制刷盘时机以降低频率:组提交参数 `binlog_group_commit_sync_delay` 和 `binlog_group_commit_sync_no_delay_count` 调整等待时间和事务数量;`sync_binlog=N` 设置 write 和 fsync 频率,`innodb_flush_log_at_trx_commit=2` 使提交时只写入 Redo Log 文件,由 OS 择机持久化,但两者在 OS 崩溃时有丢失数据风险。
476 3
南大通用GBase 8a配置gcware日志等级,减少日志输出,节省磁盘IO
南大通用GBase 8a配置gcware日志等级,减少日志输出,节省磁盘IO
|
存储 Prometheus 监控
Docker容器内进行应用调试与故障排除的方法与技巧,包括使用日志、进入容器检查、利用监控工具及检查配置等,旨在帮助用户有效应对应用部署中的挑战,确保应用稳定运行
本文深入探讨了在Docker容器内进行应用调试与故障排除的方法与技巧,包括使用日志、进入容器检查、利用监控工具及检查配置等,旨在帮助用户有效应对应用部署中的挑战,确保应用稳定运行。
756 5
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
356 3
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
396 3
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
724 9
|
监控 容灾 算法
阿里云 SLS 多云日志接入最佳实践:链路、成本与高可用性优化
本文探讨了如何高效、经济且可靠地将海外应用与基础设施日志统一采集至阿里云日志服务(SLS),解决全球化业务扩展中的关键挑战。重点介绍了高性能日志采集Agent(iLogtail/LoongCollector)在海外场景的应用,推荐使用LoongCollector以获得更优的稳定性和网络容错能力。同时分析了多种网络接入方案,包括公网直连、全球加速优化、阿里云内网及专线/CEN/VPN接入等,并提供了成本优化策略和多目标发送配置指导,帮助企业构建稳定、低成本、高可用的全球日志系统。
1571 55