【事件中心 Azure Event Hub】在Linux环境中(Ubuntu)安装Logstash的简易步骤及配置连接到Event Hub

简介: 【事件中心 Azure Event Hub】在Linux环境中(Ubuntu)安装Logstash的简易步骤及配置连接到Event Hub

在文章(【事件中心 Azure Event Hub】使用Logstash消费EventHub中的event时遇见的几种异常(TimeoutException, ReceiverDisconnectedException))中,介绍了使用Logstash连接EventHub时,遇见的两种异常,但是对于如何在Linux环境中安装Logstash,并且配置EventHub设置,启动等,则包含在当前文章中。

安装Logstash

首先在Logstash中选择需要的版本,使用wget下载到当前目录中,如当前使用的版本为最新7.9.1(https://www.elastic.co/downloads/logstash)

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.9.1.tar.gz //下载logstash-7.9.1.tar.gz
tar xzvf logstash-7.9.1.tar.gz //解压logstash-7.9.1.tar.gz到当前目录


进入Logstash的文件夹中

cd logstash-7.9.1


启动logstash(Logstash的启动文件在安装的版本文件夹中bin目录中)

bin/logstash -e 'input { stdin {} } output { stdout {} }'


启动成功后的结果如:

 

添加EventHub配置文件

准备条件:

  • 创建好EventHub中的实例(EventHub Namespace -> EventHub Instance), 在Event Hub Instance中获取连接字符串(Share Access Policy)
  • 为Logstash单独创建一个新的消费组
  • 创建好一个Storage Account, 并复制出连接字符串(Azure Portal-> Blob Storage account -> Access keys.)

创建配置文件(如eventhub.conf), 并使用VIM命令编辑内容

echo ""->eventhub.conf

vim eventhub.conf //打开eventhub.conf并编辑内容

在VIM编辑页面,在键盘输入I,是文件进入编辑模式,复制如下内容(关键点替换为准备条件中的内容)

input {
   azure_event_hubs {
      event_hub_connections => ["Endpoint=sb://xxxx.servicebus.chinacloudapi.cn/;SharedAccessKeyName=test;SharedAccessKey=xxxxxxxx=;EntityPath=xxxxxx"]
      threads => 8
      decorate_events => true
     consumer_group => "xxxx"
     storage_connection => "DefaultEndpointsProtocol=https;AccountName=xxx;AccountKey=xxxxxxx=;EndpointSuffix=core.chinacloudapi.cn"
   }
  } output { stdout {
   }
 }

然后按住Esc,输入 :wq,然后回车保存内容并退出vim窗口。

使用 -f 并指定配置文件,再次启动Logstash,验证已经连接到EventHub并接受Event。以上步骤,完成的命令如下:

root@lblinuxtest01:/logstash-7.9.1# echo ""->eventhub.conf //创建新文件
root@lblinuxtest01:/logstash-7.9.1# ls
CONTRIBUTORS  LICENSE.txt  config         eventhubtest.conf         logs                      modules  x-pack
Gemfile       NOTICE.TXT   data           eventhubwithstorage.conf  logstash-core             tools
Gemfile.lock  bin          eventhub.conf  lib                       logstash-core-plugin-api  vendor

root@lblinuxtest01:/logstash-7.9.1# vim eventhub.conf //编辑文件内容
root@lblinuxtest01:/logstash-7.9.1# ./bin/logstash -f eventhub.conf  //使用新的配置文件,启动logstash

启动结果如下:

 

 

参考资料

Logstash的Azure Event Hub Plugin文档https://www.elastic.co/guide/en/logstash/current/plugins-inputs-azure_event_hubs.html

 

相关文章
|
12天前
|
消息中间件 Linux RocketMQ
在Red Hat Enterprise Linux 9上使用Docker快速安装并部署
通过以上步骤,你可以在Red Hat Enterprise Linux 9上使用Docker快速安装并部署RocketMQ。这种方法不仅简化了安装过程,还提供了一个灵活的环境来管理和扩展消息队列系统。RocketMQ作为一款高性能的分布式消息系统,通过Docker可以实现快速部署和高效管理。
35 2
|
2天前
|
关系型数据库 MySQL Linux
Linux-安装Mariadb
本文介绍了在 Alibaba Cloud Linux 系统上安装和配置 MariaDB 10.5 的步骤。包括下载安装、初始化数据库、启动服务、处理启动失败的常见问题(如权限问题),以及如何连接数据库、设置密码和允许外部连接。通过这些步骤,您可以顺利完成 MariaDB 的安装和基本配置。
12 0
|
SQL Java 关系型数据库
linux系统安装和配置logstash数据导入工具
版权声明:本文为博主原创文章,如需转载,请标明出处。 https://blog.csdn.net/alan_liuyue/article/details/78905953 简介 上一篇博客讲到了elasticsearch搜索引擎的管理工具kibana的安装和配置,那么本篇博客将会具体介绍数据导入工具logstash的安装和配置。
1643 0
|
17天前
|
运维 安全 Linux
Linux中传输文件文件夹的10个scp命令
【10月更文挑战第18天】本文详细介绍了10种利用scp命令在Linux系统中进行文件传输的方法,涵盖基础文件传输、使用密钥认证、复制整个目录、从远程主机复制文件、同时传输多个文件和目录、保持文件权限、跨多台远程主机传输、指定端口及显示传输进度等场景,旨在帮助用户在不同情况下高效安全地完成文件传输任务。
126 5
|
17天前
|
Linux
Linux系统之expr命令的基本使用
【10月更文挑战第18天】Linux系统之expr命令的基本使用
57 4
|
4天前
|
缓存 监控 Linux
|
7天前
|
Linux Shell 数据安全/隐私保护
|
8天前
|
域名解析 网络协议 安全
|
14天前
|
运维 监控 网络协议
|
15天前
|
监控 Linux Shell