CDH日志清理

公司集群运行大概3个多月后，cloudera manager管理界面出现很多警告，提示日志空间抑制。原因是磁盘空间不够了，华为云服务器标配空间只有40G

CDH的各组件的日志一般在/var/log目录下，因此主要关注 /var/log 下的文件情况：

cd /var/log/
du -h --max-depth=1 ./ | sort -nr

除此之外CDH监控服务日志也是体积感人啊~~

cd /var/lib/cloudera-host-monitor/
du -h --max-depth=1 ./ | sort -nr
cd /var/lib/cloudera-service-monitor/
du -h --max-depth=1 ./ | sort -nr

我们可以根据情况进行删除，也可以省时省力的编写定时脚本来进行。
我这里只针对删除CDH的监控日志

vim  cleanLog.sh

# clear cloudera manager monitor log
rm /var/lib/cloudera-host-monitor/ts/*/partition*/* -rf
rm /var/lib/cloudera-service-monitor/ts/*/partition*/* -rf

设置定时任务

crontab -e

设置每周五的下午7点执行，注意脚本路径。

# 设置每周五的下午7点执行
00 19 * * 5 sh {your_sh_path}/clearLog.sh