使用free -h 查看内存情况发现buff/cache缓存占用太多了
导致我hive都跑不动
原因:
buff/cache是由于系统读写导致的文件缓存,没有及时释放
办法:清除缓存
# 这个drop_caches文件可以设置的值分别为1、2、3\ echo 1 > /proc/sys/vm/drop_caches # 表示清除pagecache\ echo 2 > /proc/sys/vm/drop_caches # 表示清除回收slab分配器中的对象(包括目录项缓存和inode缓存)。slab分配器是内核中管理内存的一种机制,其中很多缓存数据实现都是用的pagecache。 echo 3 > /proc/sys/vm/drop_caches # 表示清除pagecache和slab分配器中的缓存对象。
跑这三个命令就可以了
高级办法
这里可以写个脚本来自动定时清除缓存,新建一个脚本
touch cleanBuffCache.sh
#!/bin/bash echo "开始清理缓存" # 写入硬盘,防止数据丢失 sync;sync;sync; # 延迟10S sleep 10 echo 1 > /proc/sys/vm/drop_caches echo 2 > /proc/sys/vm/drop_caches echo 3 > /proc/sys/vm/drop_caches echo "清理缓存结束"
给定义的脚本赋予可执行的权限
chmod 777 cleanBuffCache.sh
测试一把,执行一下我们的脚本
./cleanBuffCache.sh
接下来,我们执行命令打开文件添加定时任务
crontab -e
再打开的文件中添加我们的定时任务执行的时间 以及执行的文件路径
* 0 * * * ./tools/clean/cleanBuffCache.sh
添加完成后,保存,退出
为了确保我们添加成功,可执行下面的命令查看我们是否追加成功
crontab -l