SuSE(SLES)安装配置syslog-ng日志server,可整合splunk

简介:

Update History

2014年04月25日 - 撰写初稿

引言

在自己主动化部署AutoYast。自己主动化监控BMC Patrol双方面形成雏形后。日志的收集、管理、分析也顺势成为我们须要考虑的问题,结合自身业务系统平台特点,大多数系统基于sles_11_sp1或者sp2,对照rsyslog和syslog-ng后终于选择syslog-ng ose(open source edition)作为研究对象。下面内容中的參数解释请參阅官方文档,兴许会补充有关Oracle日志写入方式。假设实力不行再考虑MySQL。


#检查版本号

rpm -qa | grep syslog-ng
syslog-ng-2.0.9-27.32.1


服务端Server配置


#建立目录
mkdir /var/log/syslog-ng


#编辑配置文件
vi /etc/syslog-ng/syslog-ng.conf


#---------------------------- code ---------------------start

#全局变量
options { 
        sync (0);
        flush_lines(0);
        time_reopen (10);
        use_dns (no);
        use_fqdn(no);
        chain_hostnames(off);
        keep_hostname(off);
        create_dirs (yes);
        owner(root) ;
        group(root);
        perm(0640) ;
        dir_perm(0750) ;
};

source src
{        
        # message generated by Syslog-NG
        #internal();
        # standard Linux log source (this is the default place for the syslog()
        # function to send logs to)
        #unix-stream("/dev/log");
        # messages from the kernel
        #pipe("/proc/kmsg"); 
        # remote port
        tcp(ip(0.0.0.0) port(514));        
        #udp(ip(0.0.0.0) port(514));
};

#定义日志过滤规则
#filter f_filter1 { level(info)};

#定义日志写入模板
#template t_filetemplate {template("${ISODATE} ${HOST} ${MSG}\n"); template_escape(no); };
template t_filetemplate {template("${MSG}\n"); template_escape(no); };
           
#定义client日志在server上保存的格式。位置和权限等 
destination d_mesg { file("/var/log/syslog-ng/$YEAR$MONTH$DAY/$HOST/messages",perm(0777),template(t_filetemplate)); };

#输出自己定义消息路径
log { source(src); destination(d_mesg); };
#log { source(src); filter(f_filter1); destination(d_mesg); };

#-----------------------------------------------------------

#splunk use 1999 port
destination d_splunk { tcp("127.0.0.1" port(1999) localport(999)); };
log { source(src); destination(d_splunk); };

#---------------------------- code ---------------------end

clientClient配置

#配置client
#vi /etc/syslog.conf

#*.*    @loghost


vi /etc/syslog-ng/syslog-ng.conf
#加入例如以下:

source s_tail {file("/monitor/auditlog/osaudit.txt" follow_freq(1) flags(no-parse));};

destination d_loghost { tcp("198.15.0.205" port (514)); };

#filter f_info { level(info); };

log {source(s_tail); destination(d_loghost);};


--禁用服务重新启动syslog
rcapparmor stop

rcsyslog restart


#启动服务端
rcsyslog restart

整合splunk

加入syslog-ng步骤:

在Admin->Data Inputs->Network Ports上点选New Input.选择TCP 1999 port, Set Source Type选Form List,Source Type选Syslog,这种设定就能够给Syslog-ng传log了。

改动syslog-ng步骤:

如上述code所看到的。假设不是付费用户。有500M索引限制,求大神帮忙Crack下


#參考文档

http://www.balabit.com/sites/default/files/documents/syslog-ng-ose-3.5-guides/en/syslog-ng-ose-v3.5-guide-admin/html-single/index.html

http://www.splunk.com/download?r=header







本文转自mfrbuaa博客园博客,原文链接:http://www.cnblogs.com/mfrbuaa/p/5122311.html,如需转载请自行联系原作者

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
23天前
|
监控 Serverless 数据库
Serverless 应用引擎常见问题之biphon-education-配置了SLS后一直重启如何解决
Serverless 应用引擎(Serverless Application Engine, SAE)是一种完全托管的应用平台,它允许开发者无需管理服务器即可构建和部署应用。以下是Serverless 应用引擎使用过程中的一些常见问题及其答案的汇总:
28 5
|
1月前
|
存储 JSON 监控
可以通过配置Filebeat来将Higress日志持久化到磁盘
【2月更文挑战第10天】可以通过配置Filebeat来将Higress日志持久化到磁盘
27 4
|
2月前
|
Java
flume的log4j.properties配置说明
flume的log4j.properties配置说明
|
4月前
|
Java Spring
spring boot 配置log4j 日志
spring boot 配置log4j 日志
69 0
|
4月前
|
监控 Java 数据库
Spring事务相关配置、案例:转账业务追加日志及事务传播行为
Spring事务相关配置、案例:转账业务追加日志及事务传播行为
46 0
|
4月前
|
SQL 关系型数据库 MySQL
MySQL Server 层四个日志
MySQL Server 层四个日志
68 0
MySQL Server 层四个日志
|
5月前
|
消息中间件 存储 Shell
Docker部署RabbitMQ配置日志映射本地文件
Docker部署RabbitMQ配置日志映射本地文件
112 0
|
5月前
|
NoSQL Redis Docker
docker配置redis映射本地日志
docker配置redis映射本地日志
124 0
|
5月前
|
Java
logback为日志配置颜色
logback为日志配置颜色
|
6月前
|
网络协议 应用服务中间件 nginx
nginx配置tcp协议代理的日志
nginx配置tcp协议代理的日志
137 0