Centos 7周期性任务、日志rotation、过滤和core压缩的实现

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:



Centos 7周期性任务日志rotation、过滤和core压缩的实现


1.centos7中cron脚本及其调用脚本的实现示例


[root@localhost cron.d]# pwd

/etc/cron.d

[root@localhost cron.d]# cat syslog

# Run mysys activity accounting tool every 10 minutes

*/5 * * * * root /usr/sbin/mysyslog.sh 2>&1 >> /var/log/mysys.log

# 0 * * * * root /usr/lib64/sa/sa1 600 6 &

# Generate a daily summary of process accounting at 23:53

*/5 * * * * root /usr/sbin/ipmilog.sh

#53 23 * * * root /usr/lib64/sa/sa2 -A



2. 实现日志rotation及其相关脚本

[root@localhost logrotate.d]# pwd

/etc/logrotate.d

[root@localhost logrotate.d]# cat selmon

/var/log/ipmi.log {

weekly

copytruncate

compress

missingok

notifempty

rotate 200

}

[root@localhost logrotate.d]# cat mysysmon

/var/log/mysys.log {

#weekly

daily

copytruncate

compress

dateext

create 644 root root

missingok

notifempty

rotate 10

}


[root@localhost logrotate.d]# cat smhmon

/var/sysdbase/eventlog.txt /var/sysdbase/eventlog {

weekly

copytruncate

ccompress

dateext

create 644 root root

missingok

notifempty

rotate 198

}


3. rsyslog.conf规则的更新


添加对ceph-fuse日志的支持:

:syslogtag, contains, "ceph-fuse"        /var/log/lsd/ceph-fuse.log


添加对需要抓取分级日志的应用程序的输出:

# :syslogtag, contains, "gluser-fire"  /var/log/log.txt

#action(type="omfile" file="/var/log/log.txt")

if $programname == 'gluser-fire' then {

if $msg contains 'in print level 0' then

action(type="omfile" file="/var/log/log-level0.txt")

if $msg contains 'in print level 1' then

action(type="omfile" file="/var/log/log-level1.txt")

if $msg contains 'in print level 2' then

action(type="omfile" file="/var/log/log-level2.txt")

if $msg contains 'in print level 3' then

action(type="omfile" file="/var/log/log-level3.txt")

if $msg contains 'in print level 4' then

action(type="omfile" file="/var/log/log-level4.txt")

if $msg contains 'in print level 5' then

action(type="omfile" file="/var/log/log-level5.txt")

if $msg contains 'in print level 6' then

action(type="omfile" file="/var/log/log-level6.txt")

if $msg contains 'in print level 7' then

action(type="omfile" file="/var/log/log-level7.txt")

}


4.修改内核panic生成core的方式

1)在终端中输入ulimit -c 如果结果为0,说明当程序崩溃时,系统并不能生成core dump

 

2)使用ulimit -c unlimited命令,开启core dump功能,并且不限制生成core dump文件的大小。如果需要限制,加数字限制即可。ulimit - c 1024


3)参考下面的命令实现core 压缩:

修改/proc/sys/kernel/core_pattern:

[root@localhost ~]# cat /usr/sbin/core_compresser

#!/bin/bash

exec gzip - > /var/core/app/core-$1-$2-$3.gz

#!/bin/bash

exec gzip - > /var/core/app/core-$1-$2-$3.gz

[root@localhost ~]# cat /proc/sys/kernel/core_pattern

/var/core/app/core-%e-%p-%t

[root@localhost ~]# echo "|/usr/sbin/core_compresser %e %p %t" > /proc/sys/kernel/core_pattern

[root@localhost ~]# cat /proc/sys/kernel/core_pattern

|/usr/sbin/core_compresser %e %p %t






















本文转自存储之厨51CTO博客,原文链接: http://blog.51cto.com/xiamachao/1882049,如需转载请自行联系原作者







相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
1天前
|
运维 DataWorks 安全
DataWorks产品使用合集之任务日志中显示等待gateway调度资源,该如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
1天前
|
数据采集 DataWorks 监控
DataWorks产品使用合集之数据集成任务日志中显示wait,是什么原因
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
3月前
|
分布式计算 DataWorks 关系型数据库
DataWorks操作报错合集之在DataWorks中设置了一个任务节点的调度时间,并将其发布到生产环境,但到了指定时间(例如17:30)却没有产生运行实例和相关日志如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
5天前
|
开发框架 .NET API
如何在 ASP.NET Core Web Api 项目中应用 NLog 写日志?
如何在 ASP.NET Core Web Api 项目中应用 NLog 写日志?
|
5天前
|
消息中间件 Java 调度
"解锁RabbitMQ云版:揭秘电商巨头、日志大师、任务狂人的秘密武器,你的系统升级就差这一步!"
【8月更文挑战第14天】在分布式与微服务架构中,RabbitMQ云版本作为消息队列服务,助力系统间解耦与异步通信。通过三个场景展示其实用性:1) 订单处理系统中,利用RabbitMQ实现跨服务流程的解耦;2) 日志收集与分析,异步发送日志至中央系统,保障业务流畅;3) 任务调度,处理耗时任务避免阻塞主线程。这些应用充分展现了RabbitMQ云版本的强大功能和灵活性。
16 0
|
1月前
|
数据采集 分布式计算 DataWorks
DataWorks产品使用合集之任务工作流中遇到了日志信息显示参数值没有正确解析的问题,该如何处理
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
3月前
|
SQL Oracle 关系型数据库
实时计算 Flink版产品使用合集之从Oracle数据库同步数据时,checkpoint恢复后无法捕获到任务暂停期间的变更日志,如何处理
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
2月前
|
存储 分布式计算 数据可视化
MaxCompute产品使用问题之任务日志可以通过什么查看
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
3月前
|
缓存 应用服务中间件 网络安全
nginx 日志,压缩,https功能介绍
nginx 日志,压缩,https功能介绍
|
3月前
|
关系型数据库 MySQL 调度
实时计算 Flink版产品使用合集之归档日志定时清理导致任务失败如何解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。