ELK日志(2)

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: ELK日志(2)

elasticsearch群集

状态颜色:灰色:未连接绿色:数据完整态黄色:副本不完整红色:数据分片不完整紫色:数据分片复制过程群集主机角色:主节点master:负责管理调度工作节点: 负责处理数据默认情况,所有节点都是工作节点,即主节点也处理数据

拓扑图及node-1参考ELK(1)

node-2

  1. 安装es,步骤参考第一台,注意配置文件需要修改
1. [root@node-2 ~]# rpm -ivh /media/elk-6.6/elasticsearch-6.6.0.rpm 
2. [root@node-2 ~]# vim /etc/elasticsearch/elasticsearch.yml
3. node.name: node-2
4. path.data: /data/elasticsearch                  
5. path.logs: /var/log/elasticsearch               
6. bootstrap.memory_lock: true
7. network.host: 192.168.8.2,127.0.0.1   
8. http.port: 9200 
9. discovery.zen.ping.unicast.hosts: ["192.168.8.1", "192.168.8.2"]        #前面masterIP后面本机IP
10. discovery.zen.minimum_master_nodes: 2        #添加的值=节点数/2 + 1(注意:2前面空格)
  1. 创建数据目录,并修改权限
1. [root@node-2 ~]# mkdir -p /data/elasticsearch 
2. [root@node-2 ~]# chown -R elasticsearch.elasticsearch /data/elasticsearch/
  1. 分配锁定内存
1. [root@node-2 ~]# vim /etc/elasticsearch/jvm.options
2. -Xms1g        #分配最小内存    
3. -Xmx1g        #分配最大内存,官方推荐为物理内存的一半,但最大为32G
  1. 修改锁定内存后,无法重启,解决方法如下
1. [root@node-2 ~]# systemctl edit elasticsearch
2. [Service]
3. LimitMEMLOCK=infinity
4. F2保存退出
5. 
6. [root@node-2 ~]# systemctl daemon-reload
7. [root@node-2 ~]# systemctl restart elasticsearch
8. [root@node-2 ~]# netstat -anpt | grep 9200
9. tcp6       0      0 192.168.8.2:9200        :::*                    LISTEN      105374/java         
10. tcp6       0      0 127.0.0.1:9200          :::*                    LISTEN      105374/java

node-3

  1. 安装es,步骤参考第一台,注意配置文件需要修改
1. [root@node-3 ~]# rpm -ivh /media/elk-6.6/elasticsearch-6.6.0.rpm 
2. [root@node-3 ~]# vim /etc/elasticsearch/elasticsearch.yml
3. node.name: node-3
4. path.data: /data/elasticsearch                  
5. path.logs: /var/log/elasticsearch               
6. bootstrap.memory_lock: true
7. network.host: 192.168.8.3,127.0.0.1   
8. http.port: 9200 
9. discovery.zen.ping.unicast.hosts: ["192.168.8.1", "192.168.8.3"]    #前面masterIP后面本机IP
10. discovery.zen.minimum_master_nodes: 2       #添加的值=节点数/2 + 1(注意:2前面空格)
  1. 创建数据目录,并修改权限
1. [root@node-3 ~]# mkdir -p /data/elasticsearch 
2. [root@node-3 ~]# chown -R elasticsearch.elasticsearch /data/elasticsearch/
  1. 分配锁定内存
1. [root@node-3 ~]# vim /etc/elasticsearch/jvm.options
2. -Xms1g        #分配最小内存    
3. -Xmx1g        #分配最大内存,官方推荐为物理内存的一半,但最大为32G
  1. 修改锁定内存后,无法重启,解决方法如下
1. [root@node-3 ~]# systemctl edit elasticsearch
2. [Service]
3. LimitMEMLOCK=infinity
4. F2保存退出
5. [root@node-3 ~]# netstat -anpt | grep 9200
6. tcp6       0      0 192.168.8.3:9200        :::*                    LISTEN      105486/java         
7. tcp6       0      0 127.0.0.1:9200          :::*                    LISTEN      105486/java

下图可以看到三个副本,分片处理,星号代表主节点,园代表从节点,健康状态为green。

监控命令

(1)查看索引信息

[root@node-1 ~]# curl -XGET '192.168.8.1:9200/_cat/indices?pretty'

(2)查看群集健康状态

[root@node-1 ~]# curl -XGET '192.168.8.1:9200/_cluster/health?pretty'

(3)统计群集节点

[root@node-1 ~]# curl -XGET '192.168.8.1:9200/_cat/nodes?human&pretty'

(4)查看群集所有节点详细信息

[root@node-1 ~]# curl -XGET '192.168.8.1:9200/_nodes/_all/info/jvm.process?human&pretty'

注意:企业环境使用脚本监控群集健康状态是否为green 或 节点数不匹配 就邮件报警。

(5)创建索引index1时,修改分片为3和副本数为2。

1. curl -X PUT 192.168.8.1:9200/index1  -H 'Content-Type: application/json' -d '{
2.     "settings" : {
3.         "index" : {
4.             "number_of_shards" : 3, 
5.             "number_of_replicas" : 2 
6.         }
7.     }
8. }'

访问浏览器确认

(6)针对已有索引,可修改副本数,不可改分片数。下面语句把index1的副本数由2改为1

1. curl -X PUT '192.168.8.1:9200/index1/_settings?pretty'  -H 'Content-Type: application/json' -d '{
2.   "settings": {
3.     "number_of_replicas": "1"
4.   }                          
5. }'

访问浏览器验证。


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
3月前
|
存储 消息中间件 网络协议
日志平台-ELK实操系列(一)
日志平台-ELK实操系列(一)
|
27天前
|
存储 监控 安全
|
4月前
|
消息中间件 Kafka 开发工具
rsyslog+ELK收集Cisco日志
rsyslog+ELK收集Cisco日志
|
4月前
|
存储 消息中间件 监控
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统ELK、日志收集分析
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统、日志收集分析。日志级别从小到大的关系(优先级从低到高): ALL < TRACE < DEBUG < INFO < WARN < ERROR < FATAL < OFF 低级别的会输出高级别的信息,高级别的不会输出低级别的信息
|
4月前
|
存储 数据可视化 Linux
在Linux中,如何使用ELK进行日志管理和分析?
在Linux中,如何使用ELK进行日志管理和分析?
|
4月前
|
数据可视化 Java API
如何在项目中快速引入Logback日志并搭配ELK使用
如何在项目中快速引入Logback日志并搭配ELK使用
|
4月前
|
存储 监控 Ubuntu
一键搞定:用脚本轻松部署ELK,让日志分析变得简单又高效
【8月更文挑战第13天】ELK栈由Elasticsearch、Logstash和Kibana组成,用于日志存储、解析及展示,是大数据领域广泛采用的日志解决方案。鉴于其安装配置复杂,本文提供了一个适用于Ubuntu 16.04的ELK自动安装Shell脚本示例。脚本首先确保Java环境安装,接着添加Elastic.co的APT仓库并安装ELK组件,最后启动所有服务。通过自动化流程,简化部署工作,减少人为错误,提升效率。实际应用中还需根据具体需求调整配置和服务设置。
66 0
|
24天前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
176 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
2月前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
256 3
|
2月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1654 14