《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.12.Monitoring及Central Management (4) https://developer.aliyun.com/article/1228348
设置 Logstash 监控
在配置文件 logstash.yml 添加如下配置
xpack.monitoring.enabled: true xpack.monitoring.elasticsearch.username: "elastic" xpack.monitoring.elasticsearch.password: "esTeam123456" xpack.monitoring.elasticsearch.hosts: ["http://es-cn-6ja24dt4r007brz85.public.elasticsearch.aliyuncs.com:9200"] xpack.monitoring.collection.interval: 10s xpack.monitoring.collection.pipeline.details.enabled: true
设置 Logstash 集中管理
创建用于管理 Logstash 的用户和角色
POST _xpack/security/role/logstash_writer { "cluster": ["manage_index_templates", "monitor", "manage_ilm"], "indices": [ { "names": [ "test1_*", ".monitoring-logstash-*" ], "privileges": ["write","create","create_index","manage","manage_ilm"] } ] } POST _xpack/security/user/logstash_internal { "password" : "123456", "roles" : [ "logstash_writer", "logstash_admin", "logstash_system"], "full_name" : "Internal Logstash User" }
创建一个 logstash_writer 角色，并给其分配相应 cluster 和 indices 的权限
在配置文件 logstash.yml 添加如下配置
xpack.management.enabled: true xpack.management.pipeline.id: ["Team7_test"] xpack.management.elasticsearch.username: "logstash_internal" xpack.management.elasticsearch.password: "123456" xpack.management.elasticsearch.hosts: ["http://es-cn-6ja24dt4r007brz85.public.elasticsearch.aliyuncs.com:9200"] xpack.management.logstash.poll_interval: 1s
注意：xpack.management.pipeline.id 中支持配置多个 pipeline.id，请保证此处填入的和
Kibana 创建发布的保持一致。
启动 Logstash
[root@master01 logstash-7.10.0]# ./bin/logstash --debug Using JAVA_HOME defined java: /opt/jdk1.8.0_251 WARNING, using JAVA_HOME while Logstash distribution comes with a bundled JDK
在 Kibana monitor 查看 Logstash 监控
依次可以查看 Logstash 的概览，Logstash节点和 Logstash pipeline监控。
创建 Logstash Pipeline
在 Kibana 上操作，依次点击 Mangement-> Stack Management ->Logstash Pipelines->
Create pipeline，输入配置参数后，点击 Create and Deploy 即可创建和发布成功。
验证 Pipelines 集中管理
首先往 /var/log/test1 文件中写入多条日志
[root@master01 ~]# echo "test1" >> /var/log/test1 [root@master01 ~]# echo "test2" >> /var/log/test1 [root@master01 ~]# echo "test3" >> /var/log/test1 [root@master01 ~]# echo "test4" >> /var/log/test1
在 Elasticsearch 中可查询到刚刚 test1_20210501 写入的 4 条日志
也可以在 Logstash 的监控中，看到在 15:36-15:38 之间采集到数据
使用总结
l 该功能属于 X-pack 的高级特性，基础版本的 License 不能体验；
l 使用该功能时无需在 Logstash 节点配置任何 pipeline；
l 创建和发布的 pipeline 会自动下发至该集群管理的所有 Logstash 实例，不能进行单独管控。
《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.12.Monitoring及Central Management (6) https://developer.aliyun.com/article/1228346
