GrayLog+nxlog采集邮箱登录日志csv文件并实现邮箱异地登录钉钉机器人告警

2022-12-04 214

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

日志服务 SLS，月写入数据量 50GB 1个月

简介： GrayLog+nxlog采集邮箱登录日志csv文件并实现邮箱异地登录钉钉机器人告警

+关注继续查看

场景如下

某厂商邮箱的登录日志为xlsx/csv格式

只有如下四个字段登录时间，邮箱地址，登录IP，登录方式

(图片可点击放大查看)

想要根据邮箱地址关联出员工姓名，工号等相关

并且GeoIP地址库根据IP地址查询登录IP所在地理位置信息

比如登录的IP地理位置是非国内地址时实现钉钉机器人告警

实现思路及实践参考链接

1、csv是否可以转成sylog格式的日志发到GrayLog

解决办法：nxlog xm_csv功能

方法来源链接地址：

https://nxlog.co/question/6063/nxlog-read-multiple-csv-files-and-send-it-siem
https://gitlab.com/nxlog-public/contrib/-/blob/master/guide_configs/xm_gelf_example_csv-nxlog.conf

(图片可点击放大查看)

2、利用GrayLog的lookup table+pipeline处理功能进行关联查询，实现关联出员工工号，员工姓名等其他字段

解决办法：这个之前有实现过，移植过来即可

3、GrayLog告警+PrometheusAlert告警模板实现钉钉告警时呈现出相关告警字段

解决办法：这个之前有实现过，告警模板修改即可

具体实现的详细步骤如下

1、GrayLog服务器安装nxlog-ce并配置读取csv文件

yum localinstall nxlog-ce-2.11.2190-1_rhel7.x86_64.rpm 
cp /etc/nxlog.conf /etc/nxlog.conf_bak
echo > /etc/nxlog.conf
vi /etc/nxlog.conf

修改为如下内容

## This is a sample configuration file. See the nxlog reference manual about the
## configuration options. It should be installed locally under
## /usr/share/doc/nxlog-ce/ and is also available online at
## http://nxlog.org/docs
########################################
# Global directives                    #
########################################
User nxlog
Group nxlog
LogFile /var/log/nxlog/nxlog.log
LogLevel INFO
########################################
# Modules                              #
########################################
<Extension _syslog>
    Module      xm_syslog
</Extension>
<Extension gelf>
    Module      xm_gelf
</Extension>
<Extension charconv>
    Module              xm_charconv
    AutodetectCharsets  gbk,utf-8, euc-jp, utf-16, utf-32, iso8859-2
</Extension>
<Extension csv>
    Module      xm_csv
    Fields      $time, $email_address, $loginIP, $method
    FieldTypes  string, string, string,string
    Delimiter   ,
</Extension>
<Input file>
    Module      im_file
    File        "/home/nxlog/login.csv"
    Exec        csv->parse_csv();
</Input>
<Output udp>
    Module      om_udp
    Host        192.168.31.230
    Port        12201
    OutputType  GELF_UDP
</Output>
<Route csv_to_gelf>
    Path        file => udp
</Route>

(图片可点击放大查看)

启动nxlog服务

cd /home/
mkdir nxlog
chown -R nxlog:nxlog nxlog/
cd nxlog
rz上传邮件登录日志的csv文件
chown -R nxlog:nxlog login.csv 
chmod 777 login.csv 
firewall-cmd --add-port=12201/udp --permanent 
firewall-cmd --reload
systemctl restart nxlog
systemctl enable nxlog
如果有报错排查nxlog的运行日志
tail -f /var/log/nxlog/nxlog.log

说明：只有csv文件发生变化时才会产生日志

2、GrayLog配置GELF INPUT用于接收日志

(图片可点击放大查看)

并配置相应的Stream

(图片可点击放大查看)

3、配置LookupTable和Pipeline

LookupTable配置过程及相关csv文件截图如下

(图片可点击放大查看)

pipeline规则语法如下

rule "email2username_lookup_table"
when 
  //  true
   has_field("email_address") AND
   is_not_null(lookup_value("email2username",to_string($message.email_address)))
then 
    let email_addresslookup_multivalue = lookup("email2username",to_string($message.email_address));
    let email_addressmultivalue = split("#",to_string(email_addresslookup_multivalue.value));
    set_field("Employee_Username",to_string(email_addressmultivalue[0]));
    //debug($message.Employee_Username);
    set_field("Employee_Mobile",to_string(email_addressmultivalue[1]));
     //debug($message.Employee_Mobie);
    set_field("Employee_alias_emailaddress",to_string(email_addressmultivalue[2]));
    //debug($message.Employee_alias_emailaddress);
     set_field("Employee_ID",to_string(email_addressmultivalue[3]));
     //debug($message.Employee_ID);
end