十八、.net core(.NET 6)搭建ElasticSearch(ES)系列之使用Logstash通过Rabbitmq接收Serilog日志到ES

本文涉及的产品
Elasticsearch Serverless通用抵扣包,测试体验金 200元
日志服务 SLS,月写入数据量 50GB 1个月
简介: 使用Logstash通过Rabbitmq接收Serilog日志到ES首先,要部署logstash 为了与前面的ElasticSearch版本保持一致,此处Logstash下载的版本也是7.13.1, 下载地址:https://artifacts.elastic.co/downloads/logstash/logstash-7.13.1-windows-x86_64.zip


使用Logstash通过Rabbitmq接收Serilog日志到ES


首先,要部署logstash


为了与前面的ElasticSearch版本保持一致,此处Logstash下载的版本也是7.13.1,下载地址:

https://artifacts.elastic.co/downloads/logstash/logstash-7.13.1-windows-x86_64.zip

 

解压以后,修改一些配置:


config目录下,修改jvm.options文件,设置内存占用最小值和最大值:如果配置比较低,建议配置成512MB即可,如果电脑或服务器配置比较好,那就请随意。如果只是普通用途,比如记录普通日志啥的,配个4G内基本足够了。

1995789-20210630003408358-1101832066.png


config里面,有一个logstash-sample.conf文件,可以当做参考配置,随后咱们新建一个用于接收RabbitMQ的配置文件。先来写代码~~


package包项目下,新增引用 Serilog.Sinks.RabbitMQ组件:

1995789-20210630003452798-656624434.png

 

然后,在Program文件下面,添加serilog日志写入到RabbitMQ的一些配置:


1995789-20210630003517614-1298019453.png


以上代码如下:


logger.WriteTo.RabbitMQ((clientConfiguration, sinkConfig) =>
                         {
                             clientConfiguration.Username = "wesky";
                             clientConfiguration.Password = "wesky123";
                             clientConfiguration.Exchange = "WeskyExchange";
                             clientConfiguration.ExchangeType = "direct";
                             clientConfiguration.DeliveryMode = RabbitMQDeliveryMode.Durable;
                             clientConfiguration.RouteKey = "WeskyLog";
                             clientConfiguration.Port = 5672;
                             clientConfiguration.Hostnames.Add("127.0.0.1");
                             sinkConfig.TextFormatter = new JsonFormatter();
                         });



以上为了方便,所以写死了,大佬们可以写到配置文件里面去进行读取,这样好一点。

然后,程序启动时候,进行主动创建一个ExchangeWeskyExchange的,RouteKeyWeskyLogs的消息队列,包括生产者和消费者。之前有做过简单的RabbitMQ创建的案例,所以直接在原来的基础上做一些改动:


1995789-20210630003620058-1528936121.png


设置了两个RouteKey:WeskyLogWeskyLog2,以及两个队列 Log1Log2。咱们主要使用WeskyLogLog1

在消费者监听上面,做个过滤,对于队列是Log1的消息,直接返回不做处理,这样做到目的是消息不被消费,让logstash来消费消息:


1995789-20210630003644748-1542967816.png


现在开始配置logstash,上面有一个logstash-sample.conf文件,拷贝一分,重命名为 rabbitmq.conf  然后往里面更改一些配置信息,如下:

1995789-20210630003706332-578748508.png

 

logstash部分配置代码:


input {
  rabbitmq {
    host => "127.0.0.1"
    port => 5672
    user => "wesky"
    password => "wesky123"
    queue => "Log1"
    key => "WeskyLog"
    exchange => "WeskyExchange"
    durable => true
  }
}
filter {
  grok {
    match => {"Timestamp" => "%{TIMESTAMP_ISO8601:ctime}"}
    add_field => ["create_time","%{@timestamp}"]
  }
  date {
    match => ["ctime","yyyy-MM-dd HH:mm:ss.SSS","ISO8601"]
    target => "@timestamp"
  }
  mutate {
    remove_field => ["@version","Properties","Timestamp","ctime"]
    rename => {"MessageTemplate" => "message"}
    rename => {"Level" => "level"}
  }
  ruby {
    code => "event.set('create_time',event.get('@timestamp').time.localtime)"
  }
}
output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "log-%{+YYYYMMdd}"
  }
}

 

注意,配置不能使用Tab,必须只能用空格,每个缩进俩空格。


现在写一个测试的webapi,来看看效果。创建一个webapi,记录两条日志,一条是Infomaton,一条是Error

1995789-20210630003905578-428225220.png


现在启动Wsk.Core程序,试着跑一下看看效果:

 1995789-20210630003921511-32132430.png


哦吼,才发现有其他的日志,所以直接打开RabbitMQ,可以看到日志被写入到了MQ里面,而且因为没有消费,所以队列一直在增加。咱们现在启动一下logstash

启动方式如下图,具体地址那些,需要根据自己具体的目录而定:


1995789-20210630003957028-2097553021.png

可以看见,左边的消息,一下子被消费完毕,说明logstash应该是获取到MQ消息了。

现在我们看一下ElasticSearch上面,是否有消息:


1995789-20210630004027168-1096580294.png

 

查询log-20210629,可以看到对应的日志信息,说明写入ES成功。


kibana上面,选择Discover,然后创建一个log的筛选,用于查询所有以log开头到索引:

 1995789-20210630004132744-1532138510.png


刚添加会有点乱,咱们选择只查看create_timelevelmessage字段信息:


1995789-20210630004157905-1057678579.png

显示内容有点乱,debug信息也都记录了,咱们把这部分过滤掉再启动。配置文件里面,修改最小日志级别为Information:

1995789-20210630004220203-2064396968.png

 

再启动程序,查看效果,瞬间清爽~~~

1995789-20210630004234480-1419018422.png


现在通过上面的webapi,写两个日志看看效果:


1995789-20210630004250344-1127013437.png


控制台有信息了,现在去ES上面看下日志信息:


1995789-20210630004309522-684136523.png

 

可以看见日志也有了。现在试一下自带搜索引擎的查询的效果:


1995789-20210630004334780-332635573.png


1995789-20210630004349114-1611215746.png

 

说明查询也是OK的。

 

另外需要注意一点:


我这边索引还是log-20210629,但是实际上已经是2021630日的024分,这个是因为ES默认是0区,咱们中国是东八区,所以会自动少8个小时进行存储。Kibana上面查询的日志时间却正常的,这个是因为Kibana默认会读取浏览器的时区,自动帮我们转换进行显示了。


如果搜索日志时候,发现搜索的是单个字,没有词组那些,那可能是因为没有添加中文分词的原因。添加中文分词以及中文分词插件,可以加群索取哦~~


相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
目录
相关文章
|
10月前
|
开发框架 .NET 开发者
简化 ASP.NET Core 依赖注入(DI)注册-Scrutor
Scrutor 是一个简化 ASP.NET Core 应用程序中依赖注入(DI)注册过程的开源库,支持自动扫描和注册服务。通过简单的配置,开发者可以轻松地从指定程序集中筛选、注册服务,并设置其生命周期,同时支持服务装饰等高级功能。适用于大型项目,提高代码的可维护性和简洁性。仓库地址:<https://github.com/khellang/Scrutor>
229 5
|
9月前
|
存储 运维 监控
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
中信银行信用卡中心每日新增日志数据 140 亿条(80TB),全量归档日志量超 40PB,早期基于 Elasticsearch 构建的日志云平台,面临存储成本高、实时写入性能差、文本检索慢以及日志分析能力不足等问题。因此使用 Apache Doris 替换 Elasticsearch,实现资源投入降低 50%、查询速度提升 2~4 倍,同时显著提高了运维效率。
381 3
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
|
8月前
|
存储 弹性计算 运维
海量日志接入 Elasticsearch Serverless 应用降本70%以上
本文将探讨在日志场景下,使用阿里云Elasticsearch Serverless相较于基于ECS自建Elasticsearch集群的成本与性能优势,展示如何通过Serverless架构实现高达 70%以上的成本节约。
438 0
|
11月前
|
开发框架 .NET C#
在 ASP.NET Core 中创建 gRPC 客户端和服务器
本文介绍了如何使用 gRPC 框架搭建一个简单的“Hello World”示例。首先创建了一个名为 GrpcDemo 的解决方案,其中包含一个 gRPC 服务端项目 GrpcServer 和一个客户端项目 GrpcClient。服务端通过定义 `greeter.proto` 文件中的服务和消息类型,实现了一个简单的问候服务 `GreeterService`。客户端则通过 gRPC 客户端库连接到服务端并调用其 `SayHello` 方法,展示了 gRPC 在 C# 中的基本使用方法。
211 5
在 ASP.NET Core 中创建 gRPC 客户端和服务器
|
10月前
|
开发框架 算法 中间件
ASP.NET Core 中的速率限制中间件
在ASP.NET Core中,速率限制中间件用于控制客户端请求速率,防止服务器过载并提高安全性。通过`AddRateLimiter`注册服务,并配置不同策略如固定窗口、滑动窗口、令牌桶和并发限制。这些策略可在全局、控制器或动作级别应用,支持自定义响应处理。使用中间件`UseRateLimiter`启用限流功能,并可通过属性禁用特定控制器或动作的限流。这有助于有效保护API免受滥用和过载。 欢迎关注我的公众号:Net分享 (239字符)
189 1
|
11月前
|
开发框架 前端开发 .NET
Abp源码分析之Serilog日志
本文介绍了如何在ASP.NET Core MVC项目和ABP框架中配置和使用Serilog日志库。通过修改`Program.cs`文件,配置日志级别、输出目标,并在控制器和页面模型中记录日志。具体步骤包括新建MVC项目、配置日志、修改控制器和首页代码。最终,日志将被记录到控制台和`Logs/logs.txt`文件中。
170 1
Abp源码分析之Serilog日志
|
10月前
|
开发框架 缓存 .NET
GraphQL 与 ASP.NET Core 集成:从入门到精通
本文详细介绍了如何在ASP.NET Core中集成GraphQL,包括安装必要的NuGet包、创建GraphQL Schema、配置GraphQL服务等步骤。同时,文章还探讨了常见问题及其解决方法,如处理复杂查询、错误处理、性能优化和实现认证授权等,旨在帮助开发者构建灵活且高效的API。
227 3
|
11月前
|
存储 JSON Java
ELK 圣经:Elasticsearch、Logstash、Kibana 从入门到精通
ELK是一套强大的日志管理和分析工具,广泛应用于日志监控、故障排查、业务分析等场景。本文档将详细介绍ELK的各个组件及其配置方法,帮助读者从零开始掌握ELK的使用。
|
11月前
|
存储 SQL 监控
|
11月前
|
自然语言处理 监控 数据可视化