五分钟带你玩转Elasticsearch(十)企业实战——使用logstash监控多服务器并获取日志

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: 五分钟带你玩转Elasticsearch(十)企业实战——使用logstash监控多服务器并获取日志


input{
        tcp {
          mode => "server"
        host => "0.0.0.0"
                port => 5000
                codec => json_lines
        type=> "A"
        }
    tcp {
          mode => "server"
        host => "0.0.0.0"
                port => 4999
                codec => json_lines
        type=> "B"
        }
}
filter{
    if[type] == "A"{
      if([message] =~  "^(?!.*?登录日志).*$") {
        ### 丢弃
        drop{}
         }
      }
}
output{
        if[type] == "A"{
            elasticsearch{
            hosts=>["192.168.4XX.XX:9200"]
            index => "A-%{+YYYY.MM.dd}"
                }
            }
        if[type] == "B"{
            elasticsearch{
            hosts=>["192.168.XX.XX:9200"]
            index => "B-%{+YYYY.MM.dd}"
                  }         
                        }
}

配置背景:1.从两台服务器上分别获取日志 且日志索引不同(为A,B)

                 2.A服务日志进行拦截 如果没有带"登录日志"字样的日志丢弃

知识点 :1  判断语句 if写法

              2  过滤器使用

              3  通过日期生成相同业务的不同索引(可以通过index template查询)


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
5天前
|
Java Maven Spring
超实用的SpringAOP实战之日志记录
【11月更文挑战第11天】本文介绍了如何使用 Spring AOP 实现日志记录功能。首先概述了日志记录的重要性及 Spring AOP 的优势,然后详细讲解了搭建 Spring AOP 环境、定义日志切面、优化日志内容和格式的方法,最后通过测试验证日志记录功能的准确性和完整性。通过这些步骤,可以有效提升系统的可维护性和可追踪性。
|
16天前
|
存储 监控 安全
|
15天前
|
存储 JSON 监控
开源日志分析Logstash
【10月更文挑战第22天】
30 1
|
1月前
|
Java 程序员 应用服务中间件
「测试线排查的一些经验-中篇」&& 调试日志实战
「测试线排查的一些经验-中篇」&& 调试日志实战
22 1
「测试线排查的一些经验-中篇」&& 调试日志实战
|
1月前
|
SQL 分布式计算 NoSQL
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
41 4
|
1月前
|
SQL 分布式计算 大数据
大数据-168 Elasticsearch 单机云服务器部署运行 详细流程
大数据-168 Elasticsearch 单机云服务器部署运行 详细流程
53 2
|
1月前
|
存储 数据采集 分布式计算
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
44 1
|
1月前
|
分布式计算 资源调度 数据可视化
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
37 1
|
2月前
|
关系型数据库 MySQL 应用服务中间件
服务器端日志在哪里
服务器端日志在哪里
|
2月前
|
SQL 安全 数据库
基于SQL Server事务日志的数据库恢复技术及实战代码详解
基于事务日志的数据库恢复技术是SQL Server中一个非常强大的功能,它能够帮助数据库管理员在数据丢失或损坏的情况下,有效地恢复数据。通过定期备份数据库和事务日志,并在需要时按照正确的步骤恢复,可以最大限度地减少数据丢失的风险。需要注意的是,恢复数据是一个需要谨慎操作的过程,建议在执行恢复操作之前,详细了解相关的操作步骤和注意事项,以确保数据的安全和完整。
116 0