SuSE(SLES)安装配置syslog-ng日志server,可整合splunk

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

Update History

2014年04月25日 - 撰写初稿

引言

在自己主动化部署AutoYast。自己主动化监控BMC Patrol双方面形成雏形后。日志的收集、管理、分析也顺势成为我们须要考虑的问题,结合自身业务系统平台特点,大多数系统基于sles_11_sp1或者sp2,对照rsyslog和syslog-ng后终于选择syslog-ng ose(open source edition)作为研究对象。下面内容中的參数解释请參阅官方文档,兴许会补充有关Oracle日志写入方式。假设实力不行再考虑MySQL。


#检查版本号

rpm -qa | grep syslog-ng
syslog-ng-2.0.9-27.32.1


服务端Server配置


#建立目录
mkdir /var/log/syslog-ng


#编辑配置文件
vi /etc/syslog-ng/syslog-ng.conf


#---------------------------- code ---------------------start

#全局变量
options { 
        sync (0);
        flush_lines(0);
        time_reopen (10);
        use_dns (no);
        use_fqdn(no);
        chain_hostnames(off);
        keep_hostname(off);
        create_dirs (yes);
        owner(root) ;
        group(root);
        perm(0640) ;
        dir_perm(0750) ;
};

source src
{        
        # message generated by Syslog-NG
        #internal();
        # standard Linux log source (this is the default place for the syslog()
        # function to send logs to)
        #unix-stream("/dev/log");
        # messages from the kernel
        #pipe("/proc/kmsg"); 
        # remote port
        tcp(ip(0.0.0.0) port(514));        
        #udp(ip(0.0.0.0) port(514));
};

#定义日志过滤规则
#filter f_filter1 { level(info)};

#定义日志写入模板
#template t_filetemplate {template("ISODATE{HOST} ${MSG}\n"); template_escape(no); };
template t_filetemplate {template("${MSG}\n"); template_escape(no); };
           
#定义client日志在server上保存的格式。位置和权限等 
destination d_mesg { file("/var/log/syslog-ng/YEARMONTHDAY/HOST/messages",perm(0777),template(t_filetemplate)); };

#输出自己定义消息路径
log { source(src); destination(d_mesg); };
#log { source(src); filter(f_filter1); destination(d_mesg); };

#-----------------------------------------------------------

#splunk use 1999 port
destination d_splunk { tcp("127.0.0.1" port(1999) localport(999)); };
log { source(src); destination(d_splunk); };

#---------------------------- code ---------------------end

clientClient配置

#配置client
#vi /etc/syslog.conf

#*.*    @loghost


vi /etc/syslog-ng/syslog-ng.conf
#加入例如以下:

source s_tail {file("/monitor/auditlog/osaudit.txt" follow_freq(1) flags(no-parse));};

destination d_loghost { tcp("198.15.0.205" port (514)); };

#filter f_info { level(info); };

log {source(s_tail); destination(d_loghost);};


--禁用服务重新启动syslog
rcapparmor stop

rcsyslog restart


#启动服务端
rcsyslog restart

整合splunk

加入syslog-ng步骤:

在Admin->Data Inputs->Network Ports上点选New Input.选择TCP 1999 port, Set Source Type选Form List,Source Type选Syslog,这种设定就能够给Syslog-ng传log了。

改动syslog-ng步骤:

如上述code所看到的。假设不是付费用户。有500M索引限制,求大神帮忙Crack下


#參考文档

http://www.balabit.com/sites/default/files/documents/syslog-ng-ose-3.5-guides/en/syslog-ng-ose-v3.5-guide-admin/html-single/index.html

http://www.splunk.com/download?r=header







本文转自mfrbuaa博客园博客,原文链接:http://www.cnblogs.com/mfrbuaa/p/5122311.html,如需转载请自行联系原作者

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
打赏
0
0
0
0
56
分享
相关文章
微服务——SpringBoot使用归纳——Spring Boot使用slf4j进行日志记录—— application.yml 中对日志的配置
在 Spring Boot 项目中,`application.yml` 文件用于配置日志。通过 `logging.config` 指定日志配置文件(如 `logback.xml`),实现日志详细设置。`logging.level` 可定义包的日志输出级别,例如将 `com.itcodai.course03.dao` 包设为 `trace` 级别,便于开发时查看 SQL 操作。日志级别从高到低为 ERROR、WARN、INFO、DEBUG,生产环境建议调整为较高级别以减少日志量。本课程采用 yml 格式,因其层次清晰,但需注意格式要求。
135 0
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
1752 31
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
【Azure App Service】分享使用Python Code获取App Service的服务器日志记录管理配置信息
本文介绍了如何通过Python代码获取App Service中“Web服务器日志记录”的配置状态。借助`azure-mgmt-web` SDK,可通过初始化`WebSiteManagementClient`对象、调用`get_configuration`方法来查看`http_logging_enabled`的值,从而判断日志记录是否启用及存储方式(关闭、存储或文件系统)。示例代码详细展示了实现步骤,并附有执行结果与官方文档参考链接,帮助开发者快速定位和解决问题。
75 23
Android调试终极指南:ADB安装+多设备连接+ANR日志抓取全流程解析,覆盖环境变量配置/多设备调试/ANR日志分析全流程,附Win/Mac/Linux三平台解决方案
ADB(Android Debug Bridge)是安卓开发中的重要工具,用于连接电脑与安卓设备,实现文件传输、应用管理、日志抓取等功能。本文介绍了 ADB 的基本概念、安装配置及常用命令。包括:1) 基本命令如 `adb version` 和 `adb devices`;2) 权限操作如 `adb root` 和 `adb shell`;3) APK 操作如安装、卸载应用;4) 文件传输如 `adb push` 和 `adb pull`;5) 日志记录如 `adb logcat`;6) 系统信息获取如屏幕截图和录屏。通过这些功能,用户可高效调试和管理安卓设备。
【YashanDB知识库】windows配置ODBC跟踪日志, 使用日志定位问题
【YashanDB知识库】windows配置ODBC跟踪日志, 使用日志定位问题
|
4月前
|
SQL
南大通用GBase 8a配置gcware日志等级,减少日志输出,节省磁盘IO
南大通用GBase 8a配置gcware日志等级,减少日志输出,节省磁盘IO
Docker容器内进行应用调试与故障排除的方法与技巧,包括使用日志、进入容器检查、利用监控工具及检查配置等,旨在帮助用户有效应对应用部署中的挑战,确保应用稳定运行
本文深入探讨了在Docker容器内进行应用调试与故障排除的方法与技巧,包括使用日志、进入容器检查、利用监控工具及检查配置等,旨在帮助用户有效应对应用部署中的挑战,确保应用稳定运行。
189 5
使用EventLog Analyzer日志分析工具监测 Windows Server 安全威胁
Windows服务器面临多重威胁,包括勒索软件、DoS攻击、内部威胁、恶意软件感染、网络钓鱼、暴力破解、漏洞利用、Web应用攻击及配置错误等。这些威胁严重威胁服务器安全与业务连续性。EventLog Analyzer通过日志管理和威胁分析,有效检测并应对上述威胁,提升服务器安全性,确保服务稳定运行。
158 2
git显示开发日志+WinSW——将.exe文件注册为服务的一个工具+图床PicGo+kubeconfig 多个集群配置 如何切换
git显示开发日志+WinSW——将.exe文件注册为服务的一个工具+图床PicGo+kubeconfig 多个集群配置 如何切换
87 1

热门文章

最新文章

下一篇
oss创建bucket
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等