linux日志管理

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 1 常见的系统日志/var/log/message     记录系统重要信息日志,非常重要/var/log/cron     记录系统定时任务日志/var/log/cups     记录打印信息日志/var/log/dmesg    系统开机时内核自检信息,也可以使用...

1 常见的系统日志

/var/log/message     记录系统重要信息日志,非常重要

/var/log/cron     记录系统定时任务日志

/var/log/cups     记录打印信息日志

/var/log/dmesg    系统开机时内核自检信息,也可以使用dmesg命令直接查看内核自检信息    

/var/log/btmp     错误登陆信息日志,二进制文件,使用lastb命令查看

/var/log/lastlog       系统所有用户最后一次的登陆时间的日志,二进制文件,使用lastlog命令查看

     

/var/log/mailog     记录邮件信息的日志

/var/log/secure     记录验证和授权方面的信息,只要涉及账户和密码的授权都会记录,如,系统的登陆,ssh的登陆,su切换,sudo授权,甚至是添加用户和修改用户密码

/var/log/wtmp     永久记录所有用户的登陆,注销信息,同时记录系统的启动,重启,关机事件,二进制文件,使用last查看

/var/log/utmp     记录当前已经登陆的用户信息,这个文件随着用户的登录和注销而不断变化,只记录当前登录用户的信息,使用w,who,users等命令查看

2 查看日志服务和自启动状态

[root@Darren log]# ps aux |grep rsyslogd

[root@Darren log]# chkconfig --list|grep rsyslog

3 日志文件内容的一般格式

时间发生的日期和时间

发生此事件的服务器的主机名

启动此事件的服务名或程序名

事件的具体信息

如/var/llog/message日志:

[root@Darren log]# cat messages

Nov 14 11:34:05 Darren rsyslogd: [origin software="rsyslogd" swVersion="5.8.10" x-pid="1282" x-info="http://www.rsyslog.com"] rsyslogd was HUPed

Nov 14 11:36:04 Darren dhclient[1178]: DHCPREQUEST on eth0 to 192.168.91.254 port 67 (xid=0x483caad7)

Nov 14 11:36:04 Darren dhclient[1178]: DHCPACK from 192.168.91.254 (xid=0x483caad7)

4 日志配置文件/etc/rsyslog.conf

[root@Darren log]# cat /etc/rsyslog.conf |grep -v '#'

#记录所有信息,但是忽略mail,authpri,cron的信息

*.info;mail.none;authpriv.none;cron.none                /var/log/messages

authpriv.*                                              /var/log/secure

#mail产生的日志过多,-表示先存储内存中,批量刷盘

mail.*                                                  -/var/log/maillog

cron.*                                                  /var/log/cron

#当严重级别为emerg时,以广播的形式发个所有用户

*.emerg                                                 *

uucp,news.crit                                          /var/log/spooler

local7.*                                                /var/log/boot.log

/etc/rsyslog.conf的格式:

服务名称;连接符号;日志等级;日志记录位置

(1)服务名称

authpriv 主要与认证有关的机制,如login,ssh,su等需要账号/密码

cron 定时任务cron和at产生的日志

daemon和各个守护进程相关的日志

kern 内核产生的进程

lpr 打印产生的日志

mail 邮件收发信息

news 与新闻服务器相关的日志

user 用户等级类别的日志信息

syslog 就是rsyslogd服务产生的信息

local0-local7 本地使用预留的服务

uucp 子系统的日志信息

(2)连接符号

* 代表所有日志等级

mail.info 表示邮件信息大于等于info级别的信息

.=info表示等于info级别的信息

.!info表示不等于info等级的信息

(3)日志等级

none 忽略某些服务信息

debug 一般调试信息说明

info 基本的通知信息

warning 警告信息

err 错误信息,可能影响服务或系统运行

crit 临界点状况信息,比err严重

alert 警告状态信息,比crit严重

emerg 疼痛等级信息,系统已经无法使用

(4)日志记录位置

日志记录的文件位置

设置chattr +a 只能往日志例写数据,不能修改日志,防止root用户误操作

[root@Darren log]# chattr +a cron

[root@Darren log]# lsattr cron

-----a-------e- cron

例:自定义cron服务的日志

[root@Darren log]# vim /etc/rsyslog.conf

cron.*    /var/log/test.log    --添加cron服务的所有日志,并记录到/var/log/test.log文件中

[root@Darren log]# /etc/init.d/rsyslog restart   --重启rsyslog服务

做个定时任务,测试一下,最后生成日志文件:

[root@Darren log]# crontab -e           

*/2 * * * * echo "this is test!">>/tmp/root.txt

[root@Darren log]# ll /var/log/test.log

-rw------- 1 root root 2395 Nov 15 10:17 /var/log/test.log

5 搭建日志服务器

(1)环境

CentOS release 6.8 (Final)

client:192.168.91.5

server:192.168.91.3

client和server防火墙要关闭,并且要ping的通

[root@zhishutang log]#  /etc/init.d/iptables stop 

[root@Darren log]# /etc/init.d/iptables stop

 

(2)client配置

编辑客户端文件/etc/rsyslog.conf,指定写日志的主机IP:

[root@zhishutang log]# vim /etc/rsyslog.conf

添加:

*.* @@192.168.91.3:514 

重启rsyslog服务:

[root@zhishutang log]# /etc/init.d/rsyslog restart

(3)server配置

编辑服务端文件/etc/rsyslog.conf,开通tcp协议和端口:

[root@Darren log]# vim /etc/rsyslog.conf

$ModLoad imtcp

$InputTCPServerRun 514


重启rsyslog服务:

[root@zhishutang log]# /etc/init.d/rsyslog restart


查看514端口:

[root@Darren log]# netstat -nltup |grep 514

tcp        0      0 0.0.0.0:514                 0.0.0.0:*                   LISTEN      13721/rsyslogd     

tcp        0      0 :::514                      :::*                        LISTEN      13721/rsyslogd   


(4)测试

client:

在客户端生成日志

[root@zhishutang log]# logger 'hello word!'       

[root@zhishutang log]# cat /var/log/messages|grep 'hello word!'

Nov 14 17:39:20 zhishutang root: hello word!

server:

客户端的日志成功的写入日志服务端

[root@Darren log]# cat /var/log/messages|grep 'hello word!'

Nov 14 17:39:20 zhishutang root: hello word!



6 日志文件轮替logrotate

(1)配置文件

/etc/logrotate.conf

/etc/logrotate.d/

[root@Darren log]# cat /etc/logrotate.conf

weekly 默认每周轮替一次

rotate 4  默认保留四个日志文件

create  新建一个空日志文件

dateext 以日期作为后罪名

#compress 旧日志是否被压缩,默认不压缩

#大括号中的设置可以取代默认设置生效:

/var/log/wtmp {            --指定日志文件

    monthly                 --每月轮替

    create 0664 root utmp   --权限0644,所有者root,所属组utmp

        minsize 1M            --大于1M才会轮替

    rotate 1                    --保留一个旧日志文件

}

/var/log/btmp {

    missingok

    monthly

    create 0600 root utmp

    rotate 1

}

/usr/local/apache2/logs/access_log {

        daily

        create

        rotate 30

}


目录下的文件:

[root@Darren logrotate.d]# ll /etc/logrotate.d/

-rw-rw-r-- 1 root root 135 1月  18 2016 ConsoleKit

-rw-r--r-- 1 root root  71 5月  11 2016 cups

-rw-r--r-- 1 root root 139 5月  12 2016 dracut

-rw-r--r-- 1 root root 185 7月  12 19:00 httpd

-rw-r--r-- 1 root root 329 7月  17 2012 psacct

-rw-r--r-- 1 root root 210 12月 10 2014 syslog

-rw-r--r-- 1 root root  87 7月  13 00:45 yum


[root@Darren logrotate.d]# cat /etc/logrotate.d/syslog

/var/log/cron

/var/log/maillog

/var/log/messages

/var/log/secure

/var/log/spooler

{

    sharedscripts

    postrotate

        /bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true

    endscript

}



(2)logrotate命令

-v 显示轮替运行过程

-f 强制轮替

[root@Darren /]# logrotate -v /etc/logrotate.conf  --显示轮替过程

[root@Darren /]# logrotate -vf /etc/logrotate.conf  --强制轮替

#查看日志发生了什么变化:

[root@Darren log]# ls

anaconda.ifcfg.log    btmp-20161115  dmesg.old               maillog-20161114   samba             spooler-20161115

anaconda.log          cluster        dracut.log              maillog-20161115   secure            tallylog

anaconda.program.log  ConsoleKit     dracut.log-20160920.gz  messages           secure-20161101   wtmp

anaconda.storage.log  cron           dracut.log-20161114     messages-20161101  secure-20161107   wtmp-20161115

anaconda.syslog       cron-20161101  httpd                   messages-20161107  secure-20161114   yum.log

anaconda.xlog         cron-20161107  lastlog                 messages-20161114  secure-20161115   yum.log-20160920

anaconda.yum.log      cron-20161114  mail                    messages-20161115  spooler           yum.log-20161114

audit                 cron-20161115  maillog                 ntpstats           spooler-20161101

boot.log              cups           maillog-20161101        prelink            spooler-20161107

btmp                  dmesg          maillog-20161107        sa                 spooler-20161114


可以发现这五种日志

/var/log/cron

/var/log/maillog

/var/log/messages

/var/log/secure

/var/log/spooler

原本是每周进行一次轮替,但是强制轮替后,及时生效。


相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
目录
相关文章
|
Kubernetes Linux Docker
kubelet 压力驱逐 - The node had condition:[DiskPressure]
kubelet 压力驱逐 - The node had condition:[DiskPressure]
1731 0
|
1天前
|
弹性计算 运维 搜索推荐
三翼鸟携手阿里云ECS g9i:智慧家庭场景的效能革命与未来生活新范式
三翼鸟是海尔智家旗下全球首个智慧家庭场景品牌,致力于提供覆盖衣、食、住、娱的一站式全场景解决方案。截至2025年,服务近1亿家庭,连接设备超5000万台。面对高并发、低延迟与稳定性挑战,全面升级为阿里云ECS g9i实例,实现连接能力提升40%、故障率下降90%、响应速度提升至120ms以内,成本降低20%,推动智慧家庭体验全面跃迁。
|
2天前
|
数据采集 人工智能 自然语言处理
3分钟采集134篇AI文章!深度解析如何通过云无影AgentBay实现25倍并发 + LlamaIndex智能推荐
结合阿里云无影 AgentBay 云端并发采集与 LlamaIndex 智能分析,3分钟高效抓取134篇 AI Agent 文章,实现 AI 推荐、智能问答与知识沉淀,打造从数据获取到价值提炼的完整闭环。
343 90
|
9天前
|
人工智能 自然语言处理 前端开发
Qoder全栈开发实战指南:开启AI驱动的下一代编程范式
Qoder是阿里巴巴于2025年发布的AI编程平台,首创“智能代理式编程”,支持自然语言驱动的全栈开发。通过仓库级理解、多智能体协同与云端沙箱执行,实现从需求到上线的端到端自动化,大幅提升研发效率,重塑程序员角色,引领AI原生开发新范式。
815 156
|
2天前
|
数据采集 缓存 数据可视化
Android 无侵入式数据采集:从手动埋点到字节码插桩的演进之路
本文深入探讨Android无侵入式埋点技术,通过AOP与字节码插桩(如ASM)实现数据采集自动化,彻底解耦业务代码与埋点逻辑。涵盖页面浏览、点击事件自动追踪及注解驱动的半自动化方案,提升数据质量与研发效率,助力团队迈向高效、稳定的智能化埋点体系。(238字)
244 156
|
3天前
|
域名解析 人工智能
【实操攻略】手把手教学,免费领取.CN域名
即日起至2025年12月31日,购买万小智AI建站或云·企业官网,每单可免费领1个.CN域名首年!跟我了解领取攻略吧~
|
10天前
|
机器人 API 调度
基于 DMS Dify+Notebook+Airflow 实现 Agent 的一站式开发
本文提出“DMS Dify + Notebook + Airflow”三位一体架构,解决 Dify 在代码执行与定时调度上的局限。通过 Notebook 扩展 Python 环境,Airflow实现任务调度,构建可扩展、可运维的企业级智能 Agent 系统,提升大模型应用的工程化能力。