【最佳实践】Beats导入RabbitMQ日志至阿里云Elatic Stack实现可视化分析

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: RabbitMQ是一个开放源消息代理,创建于2007年以实现 AMQP,并且在过去的十二年中,不断增加插件列表,目前已包括 HTTP,STOMP,SMTP 和其他协议。它也是 Kafka 的一个强劲的竞争者。

RabbitMQ简介

RabbitMQ是消息队列软件,也称为消息代理或队列管理器。 简单地说; 它是定义队列的软件,应用程序连接到该队列以传输一条或多条消息。

image.png

一条消息可以包含任何种类的信息。 例如,它可能具有有关应在另一个应用程序(甚至可能在另一个服务器上)上启动的过程或任务的信息,或者可能只是一条简单的文本消息。 队列管理器软件存储消息,直到接收应用程序连接并从队列中取出消息为止。 接收应用程序然后处理该消息。

image.png

消息队列的基本体系结构很简单-有一些称之为生产者(producers)的客户端应用程序,它们可以创建消息并将其传递到代理(即消息队列)。 其他应用程序(称为消费者,也即consumers)连接到队列并订阅要处理的消息。 软件可以充当消息的生产者或消费者,或者既充当消息的消费者又充当生产者。 存储在队列中的消息将被存储,直到消费者检索到它们为止。

RabbitMQ的那些log

重要的是要知道,从2017年11月29日发布的3.7.0版开始,RabbitMQ 会记录到一个日志文件中。 在此之前,有两个日志文件。 在本文中,我使用的是RabbitMQ版本3.8.2,因此一个日志文件的内容将发送到Elasticsearch。 如果您使用的是RabbitMQ的早期版本,尤其是3.7.0之前的版本,请参考文档以获取有关两个不同日志文件的更多信息。

此外,对于当前版本的 RabbitMQ,您可以指定 RabbitMQ 将其日志文件保存在 Rabbitmq.conf中的位置,我将在安装过程中显示该文件。

准备工作

在本文中,我们将详述在如何使用阿里云 Beats 把我们想要的 RabbitMQ 日志导入到阿里云 Elastic Stack 中,并对日志进行可视化分析。

1、准备阿里云 Elasticsearch 6.7 版本环境,并使用创建的账号密码登录Kibana;
2、准备阿里云 Logstash 6.7 版本环境
3、准备 RabbitMQ 服务
4、安装 Filebeat

安装 RabbitMQ

安装需要在阿里云 ECS 环境中进行,这里就不累述了。安装后,RabbitMQ 服务将启动并启用,以在需要启动时启动。 要检查状态,请运行:

# cd /usr/lib/rabbitmq/bin
# rabbitmq-server start

配置RabbitMQ

安装完成后,配置日志记录级别,进入/etc/rabbitmq/rabbitmq.config,配置日志级别和文件名,默认是 “info”,也可将其设置为“error”,即出错记录日志。

# vim /etc/rabbitmq/rabbitmq.config
{lager, [
  %%
  %% Log directory, taken from the RABBITMQ_LOG_BASE env variable by default.
  %% {log_root, "/var/log/rabbitmq"},
  %%
  %% All log messages go to the default "sink" configured with
  %% the `handlers` parameter. By default, it has a single
  %% lager_file_backend handler writing messages to "$nodename.log"
  %% (ie. the value of $RABBIT_LOGS).
   {handlers, [
     {lager_file_backend, [{file, "rabbit.log"},
                           {level, info},
                           {date, ""},
                           {size, 0}]}
  ]},
{extra_sinks, [
 
     {rabbit_channel_lager_event, [{handlers, [
                                     {lager_forwarder_backend,
                                      [lager_event, info]}]}]},
     {rabbit_conection_lager_event, [{handlers, [
                                       {lager_forwarder_backend,
                                        [lager_event, error]}]}]}
 
  ]}

经过这样的修改,我们的 log 的文件名将会变成为“rabbit.log”,同时我们的日志级别也被设置为 “info”。因为我们已经修改了我们的配置文件,我们需要重新启动 rabbitmq-server 才能使得这个配置起作用。我们执行如下的命令:

#####由于rabbitmq是通过rpm包安装,进入bin下启动###
# cd /usr/lib/rabbitmq/bin
# rabbitmq-server start

进入/var/log/rabbitmq可看到有输出rabbit.log

安装RabbitMQ demo应用

为了利用上述 RabbitMQ 设置,我将在 Spring Boot App 使用 RabbitMQ 的 JMS 客户端演示。 可以使用 README中的说明以及 Spring CLI 或 Java JAR 文件来进行设置。为了能够使得你能够编译应用,你必须安装 Java 8 的环境。我们按照如下的步骤来进行:

# git clone https://github.com/rabbitmq/rabbitmq-jms-client-spring-boot-trader-demo
####进入该应用所在根目录######
# mvn clean package
# java -jar target/rabbit-jms-boot-demo-1.2.0-SNAPSHOT.jar
 .   ____          _            __ _ _
 /\\ / ___'_ __ _ _(_)_ __  __ _ \ \ \ \
( ( )\___ | '_ | '_| | '_ \/ _` | \ \ \ \
 \\/  ___)| |_)| | | | | || (_| |  ) ) ) )
  '  |____| .__|_| |_|_| |_\__, | / / / /
 =========|_|==============|___/=/_/_/_/
 :: Spring Boot ::        (v1.5.8.RELEASE)
2020-05-11 10:16:46.089  INFO 28119 --- [           main] com.rabbitmq.jms.sample.StockQuoter      : Starting StockQuoter v1.2.0-SNAPSHOT on zl-test001 with PID 28119 (/root/rabbitmq-jms-client-spring-boot-trader-demo/target/rabbit-jms-boot-demo-1.2.0-SNAPSHOT.jar started by root in /root/rabbitmq-jms-client-spring-boot-trader-demo)
2020-05-11 10:16:46.092  INFO 28119 --- [           main] com.rabbitmq.jms.sample.StockQuoter      : No active profile set, falling back to default profiles: default
2020-05-11 10:16:46.216  INFO 28119 --- [           main] s.c.a.AnnotationConfigApplicationContext : Refreshing org.springframework.context.annotation.AnnotationConfigApplicationContext@1de0aca6: startup date [Mon May 11 10:16:46 CST 2020]; root of context hierarchy
2020-05-11 10:16:47.224  INFO 28119 --- [           main] com.rabbitmq.jms.sample.StockConsumer    : connectionFactory => RMQConnectionFactory{user='guest', password=xxxxxxxx, host='localhost', port=5672, virtualHost='/', queueBrowserReadMax=0}
2020-05-11 10:16:48.054  INFO 28119 --- [           main] o.s.j.e.a.AnnotationMBeanExporter        : Registering beans for JMX exposure on startup
2020-05-11 10:16:48.062  INFO 28119 --- [           main] o.s.c.support.DefaultLifecycleProcessor  : Starting beans in phase 0
 ......
###经过上面配置,进入log下查看rabbitmq日志:
# pwd
/var/log/rabbitmq
erl_crash.dump  rabbit.log              rabbit@zl-test001.log              rabbit@zl-test001_upgrade.log
log

其中 rabbit.log 就是我们之前刚刚配置好的文件名。
接下来我们讲述如何使用阿里云 Filebeat 和 Logstash 把这些日志导入到阿里云 Elasticsearch 中。

配置阿里云 Filebeat

1、在阿里云 beats 数据采集中心,创建 Filebeat采集器
2、指定采集器名称、安装版本、采集器output及配置Yml配置。

image.png

Filebeat.input配置如下:

filebeat.inputs:
# Each - is an input. Most options can be set at the input level, so
# you can use different inputs for various configurations.
# Below are the input specific configurations.
- type: log
  # Change to true to enable this input configuration.
  enabled: true
  fields:
    log_type: rabbitmq-server
  # Paths that should be crawled and fetched. Glob based paths.
  paths:
    - /var/log/rabbitmq/*log
  fields_under_root: true
  encoding: utf-8
  ignore_older: 3h

3、进入下一步,选择与 Logstash 同一 VPC 下的 ECS 实例,进行启动。

image.png

待采集器生效,我们就可以启动 Filebeat 服务。

image.png

配置阿里云 Logstash

通过配置 Beat 采集器,将 RabbitMQ 的 Log 发送到 Logstash 的 8100 端口,接下来我们配置 Logstash,使用了基本的 Grok 模式从原始消息中分离出时间戳,日志级别和消息,然后将输出发送到阿里云 Elasticsearch,并指定索引。

1、进入 Logstash 实例下的管道管理页面。
2、点击创建管道,并对管道进行配置。

配置文件如下:

input {
  beats {
    port => 8100
  }
}
 
filter {
  grok {
    match => { "message" => ["%{TIMESTAMP_ISO8601:timestamp} \[%{LOGLEVEL:log_level}\] \<%{DATA:field_misc}\> %{GREEDYDATA:message}"] }
  }
}
 
output {
   elasticsearch {
      hosts => "es-cn-42333umei000u1zp5.elasticsearch.aliyuncs.com:9200"
      user => "elastic"
      password => "E222ic@123"
      index => "rabbitmqlog-%{+YYYY.MM.dd}"
  }
}

3、下一步,定义管道参数并保持部署。

image.png

4、部署成功后,查看 ES 上保存的索引数据,说明 ES 已存储了经 Logstash 处理后的数据。

image.png

通过 kibana 查看日志文档

在阿里云 Elasticsearch 控制台进入 Kbana 中的 Management ,配置“index patterns”,设置为 Rabbitmlog-*

image.png

指定时间过滤字段后创建该索引模块。

image.png

进入 Discover 页面下,选择上面创建的 patterns,通过 Filter 过滤出 RabbitMQ 相关的日志。

image.png

从上面我们可以看出来我们已经有 RabbitMQ 的日志了。

配置Metricbeat采集rabbitMQ各项指标

我们同样也可以通过 metricbeat index pattern 对 RabbitMQ 进行数据采集,并通过Kibana实现可视化指标监控。

进入“Add metric data”

image.png

点击“RabbitMQ Metrics”

image.png

安装步骤下载并安装

image.png

按照上述指令对 Metricbeat 进行配置。
通过修改 /etc/metricbeat/metricbeat.yml 文件,设置 ES 集群链接信息:

setup.kibana:
  # Kibana Host
  # Scheme and port can be left out and will be set to the default (http and 5601)
  # In case you specify and additional path, the scheme is required: http://localhost:5601/path
  # IPv6 addresses should always be defined as: https://[2001:db8::1]:5601
   host: "https://es-cn-451233mei000u1zp5.kibana.elasticsearch.aliyuncs.com:5601"
output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["es-cn-4591jumei000u1zp5.elasticsearch.aliyuncs.com:9200"]
  # Enabled ilm (beta) to use index lifecycle management instead daily indices.
  #ilm.enabled: false
  # Optional protocol and basic auth credentials.
  #protocol: "https"
  username: "elastic"
  password: "12233"

启动 RabbitMQ 模块及 Metricbeat 服务

# sudo metricbeat modules enable rabbitmq
#####设置仪表盘#######
# sudo metricbeat setup
# sudo service metricbeat start

重启 Metricbeat 服务后点击该页的 check data,返回"Data successfully received from this module"表示已从该模块成功接收数据。

image.png

点击“RabbitMQ metrics dashboard”查看 Dashboard 监控大盘

image.png

声明:本文由“Beats:使用Elastic Stack监控RabbitMQ:”基于阿里云服务环境授权改编
原文作者:Elastic 中国社区布道师——刘晓国

合作编辑:Lettie/大禹
出处链接:https://elasticstack.blog.csdn.net/.


image.png

阿里云Elastic Stack】100%兼容开源ES,独有9大能力

相关活动


更多折扣活动,请访问阿里云 Elasticsearch 官网

阿里云 Elasticsearch 商业通用版,1核2G ,SSD 20G首月免费
阿里云 Logstash 2核4G首月免费


image.png

image.png

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
4天前
|
机器人
阿里云 RPA 的成本效益分析
机器人流程自动化(RPA)技术在企业数字化转型中扮演着越来越重要的角色。阿里云 RPA 作为一种高效的自动化解决方案,不仅可以提高业务效率,还可以降低运营成本。本文将对阿里云 RPA 的成本效益进行分析,帮助企业更好地评估和利用这一技术。
|
4天前
|
数据库
阿里云DTS数据迁移和数据同步的差异性分析
阿里云DTS作为一款常用的数据库表迁移工具,提供了功能非常类似的两个功能:数据迁移、数据同步。阿里云DTS产品官网对这两个功能模块进行了简单的区分: 场景1:存量数据批量迁移,建议使用数据迁移功能。 场景2:增量数据实时同步,建议使用数据同步功能。 实际上,无论是数据迁移还是数据同步,都可以做 “结构初始化”+“全量数据迁移”+“增量迁移”,因此两者功能差异并不明显。笔者在多个项目实践DTS数据迁移,在简单需求场景下,将DTS的数据迁移、数据同步进行对比和总结。
|
2天前
|
监控 安全 数据挖掘
Email 接口API有哪些?具体分析一下阿里云和AOK的优点
本文介绍了常见的Email接口API,如阿里云邮件推送、AOKSend、SendGrid、Mailgun和Amazon SES。阿里云API以其高稳定性和数据分析功能脱颖而出,支持批量发送和多语言;而AOKSend API以易于集成、高安全性和优秀客户支持为亮点。企业在选择时应考虑自身需求和预算,以优化邮件营销效果。
|
4天前
|
存储 监控 Apache
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
网易的灵犀办公和云信利用 Apache Doris 改进了大规模日志和时序数据处理,取代了 Elasticsearch 和 InfluxDB。Doris 实现了更低的服务器资源消耗和更高的查询性能,相比 Elasticsearch,查询速度提升至少 11 倍,存储资源节省达 70%。Doris 的列式存储、高压缩比和倒排索引等功能,优化了日志和时序数据的存储与分析,降低了存储成本并提高了查询效率。在灵犀办公和云信的实际应用中,Doris 显示出显著的性能优势,成功应对了数据增长带来的挑战。
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
|
4天前
|
弹性计算 前端开发 Serverless
Serverless 应用引擎操作报错合集之在阿里云函数计算中,调用了FC函数但是没有执行或者报错,并且在FC函数后台也看不到调用记录日志如何解决
Serverless 应用引擎(SAE)是阿里云提供的Serverless PaaS平台,支持Spring Cloud、Dubbo、HSF等主流微服务框架,简化应用的部署、运维和弹性伸缩。在使用SAE过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
33 5
|
4天前
|
敏捷开发 Devops 测试技术
云效产品使用常见问题之不知道每次登录是否会记录在阿里云账号的登录日志中如何解决
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
4天前
|
消息中间件 NoSQL Kafka
云原生最佳实践系列 5:基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作
该方案描述了一个大数据ETL流程,其中阿里云Kafka消息根据内容触发函数计算(FC)函数,执行针对MongoDB的增、删、改操作。
|
4天前
|
域名解析 缓存 网络协议
阿里云DNS常见问题之阿里云DNS的操作日志查不到如何解决
阿里云DNS(Domain Name System)服务是一个高可用和可扩展的云端DNS服务,用于将域名转换为IP地址,从而让用户能够通过域名访问云端资源。以下是一些关于阿里云DNS服务的常见问题合集:
|
4天前
|
自然语言处理 算法 关系型数据库
阿里云PAI大模型RAG对话系统最佳实践
本文为大模型RAG对话系统最佳实践,旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术,从而显著提升对话系统的性能,使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践,您可以掌握构建一个大模型RAG对话系统的完整开发链路。
|
4天前
|
存储 运维 关系型数据库
规划阿里云RDS跨区迁移业务需求业务影响分析
规划阿里云RDS跨区迁移业务需求业务影响分析
28 4