Centos 7周期性任务、日志rotation、过滤和core压缩的实现

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:



Centos 7周期性任务日志rotation、过滤和core压缩的实现


1.centos7中cron脚本及其调用脚本的实现示例


[root@localhost cron.d]# pwd

/etc/cron.d

[root@localhost cron.d]# cat syslog

# Run mysys activity accounting tool every 10 minutes

*/5 * * * * root /usr/sbin/mysyslog.sh 2>&1 >> /var/log/mysys.log

# 0 * * * * root /usr/lib64/sa/sa1 600 6 &

# Generate a daily summary of process accounting at 23:53

*/5 * * * * root /usr/sbin/ipmilog.sh

#53 23 * * * root /usr/lib64/sa/sa2 -A



2. 实现日志rotation及其相关脚本

[root@localhost logrotate.d]# pwd

/etc/logrotate.d

[root@localhost logrotate.d]# cat selmon

/var/log/ipmi.log {

weekly

copytruncate

compress

missingok

notifempty

rotate 200

}

[root@localhost logrotate.d]# cat mysysmon

/var/log/mysys.log {

#weekly

daily

copytruncate

compress

dateext

create 644 root root

missingok

notifempty

rotate 10

}


[root@localhost logrotate.d]# cat smhmon

/var/sysdbase/eventlog.txt /var/sysdbase/eventlog {

weekly

copytruncate

ccompress

dateext

create 644 root root

missingok

notifempty

rotate 198

}


3. rsyslog.conf规则的更新


添加对ceph-fuse日志的支持:

:syslogtag, contains, "ceph-fuse"        /var/log/lsd/ceph-fuse.log


添加对需要抓取分级日志的应用程序的输出:

# :syslogtag, contains, "gluser-fire"  /var/log/log.txt

#action(type="omfile" file="/var/log/log.txt")

if $programname == 'gluser-fire' then {

if $msg contains 'in print level 0' then

action(type="omfile" file="/var/log/log-level0.txt")

if $msg contains 'in print level 1' then

action(type="omfile" file="/var/log/log-level1.txt")

if $msg contains 'in print level 2' then

action(type="omfile" file="/var/log/log-level2.txt")

if $msg contains 'in print level 3' then

action(type="omfile" file="/var/log/log-level3.txt")

if $msg contains 'in print level 4' then

action(type="omfile" file="/var/log/log-level4.txt")

if $msg contains 'in print level 5' then

action(type="omfile" file="/var/log/log-level5.txt")

if $msg contains 'in print level 6' then

action(type="omfile" file="/var/log/log-level6.txt")

if $msg contains 'in print level 7' then

action(type="omfile" file="/var/log/log-level7.txt")

}


4.修改内核panic生成core的方式

1)在终端中输入ulimit -c 如果结果为0,说明当程序崩溃时,系统并不能生成core dump

 

2)使用ulimit -c unlimited命令,开启core dump功能,并且不限制生成core dump文件的大小。如果需要限制,加数字限制即可。ulimit - c 1024


3)参考下面的命令实现core 压缩:

修改/proc/sys/kernel/core_pattern:

[root@localhost ~]# cat /usr/sbin/core_compresser

#!/bin/bash

exec gzip - > /var/core/app/core-$1-$2-$3.gz

#!/bin/bash

exec gzip - > /var/core/app/core-$1-$2-$3.gz

[root@localhost ~]# cat /proc/sys/kernel/core_pattern

/var/core/app/core-%e-%p-%t

[root@localhost ~]# echo "|/usr/sbin/core_compresser %e %p %t" > /proc/sys/kernel/core_pattern

[root@localhost ~]# cat /proc/sys/kernel/core_pattern

|/usr/sbin/core_compresser %e %p %t






















本文转自存储之厨51CTO博客,原文链接: http://blog.51cto.com/xiamachao/1882049,如需转载请自行联系原作者







相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
3月前
|
运维 DataWorks 安全
DataWorks产品使用合集之任务日志中显示等待gateway调度资源,该如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
22天前
|
存储 消息中间件 大数据
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
32 1
|
23天前
|
分布式计算 资源调度 数据可视化
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
29 1
|
22天前
|
缓存 Linux 编译器
【C++】CentOS环境搭建-安装log4cplus日志组件包及报错解决方案
通过上述步骤,您应该能够在CentOS环境中成功安装并使用log4cplus日志组件。面对任何安装或使用过程中出现的问题,仔细检查错误信息,对照提供的解决方案进行调整,通常都能找到合适的解决之道。log4cplus的强大功能将为您的项目提供灵活、高效的日志管理方案,助力软件开发与维护。
44 0
|
3月前
|
数据挖掘 语音技术
3D-Speaker说话人任务的开源项目问题之语义说话人信息模块在说话人日志系统中的问题如何解决
3D-Speaker说话人任务的开源项目问题之语义说话人信息模块在说话人日志系统中的问题如何解决
|
3月前
|
数据采集 DataWorks 监控
DataWorks产品使用合集之数据集成任务日志中显示wait,是什么原因
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
3月前
|
数据挖掘 语音技术
3D-Speaker说话人任务的开源项目问题之视觉信息在说话人日志技术中的问题如何解决
3D-Speaker说话人任务的开源项目问题之视觉信息在说话人日志技术中的问题如何解决
|
4月前
|
数据采集 分布式计算 DataWorks
DataWorks产品使用合集之任务工作流中遇到了日志信息显示参数值没有正确解析的问题,该如何处理
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
3月前
|
消息中间件 Java 调度
"解锁RabbitMQ云版:揭秘电商巨头、日志大师、任务狂人的秘密武器,你的系统升级就差这一步!"
【8月更文挑战第14天】在分布式与微服务架构中,RabbitMQ云版本作为消息队列服务,助力系统间解耦与异步通信。通过三个场景展示其实用性:1) 订单处理系统中,利用RabbitMQ实现跨服务流程的解耦;2) 日志收集与分析,异步发送日志至中央系统,保障业务流畅;3) 任务调度,处理耗时任务避免阻塞主线程。这些应用充分展现了RabbitMQ云版本的强大功能和灵活性。
33 0
|
5月前
|
存储 分布式计算 数据可视化
MaxCompute产品使用问题之任务日志可以通过什么查看
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。