ELK日志(2)

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: ELK日志(2)

elasticsearch群集

状态颜色:灰色:未连接绿色:数据完整态黄色:副本不完整红色:数据分片不完整紫色:数据分片复制过程群集主机角色:主节点master:负责管理调度工作节点: 负责处理数据默认情况,所有节点都是工作节点,即主节点也处理数据

拓扑图及node-1参考ELK(1)

node-2

  1. 安装es,步骤参考第一台,注意配置文件需要修改
1. [root@node-2 ~]# rpm -ivh /media/elk-6.6/elasticsearch-6.6.0.rpm 
2. [root@node-2 ~]# vim /etc/elasticsearch/elasticsearch.yml
3. node.name: node-2
4. path.data: /data/elasticsearch                  
5. path.logs: /var/log/elasticsearch               
6. bootstrap.memory_lock: true
7. network.host: 192.168.8.2,127.0.0.1   
8. http.port: 9200 
9. discovery.zen.ping.unicast.hosts: ["192.168.8.1", "192.168.8.2"]        #前面masterIP后面本机IP
10. discovery.zen.minimum_master_nodes: 2        #添加的值=节点数/2 + 1(注意:2前面空格)
  1. 创建数据目录,并修改权限
1. [root@node-2 ~]# mkdir -p /data/elasticsearch 
2. [root@node-2 ~]# chown -R elasticsearch.elasticsearch /data/elasticsearch/
  1. 分配锁定内存
1. [root@node-2 ~]# vim /etc/elasticsearch/jvm.options
2. -Xms1g        #分配最小内存    
3. -Xmx1g        #分配最大内存,官方推荐为物理内存的一半,但最大为32G
  1. 修改锁定内存后,无法重启,解决方法如下
1. [root@node-2 ~]# systemctl edit elasticsearch
2. [Service]
3. LimitMEMLOCK=infinity
4. F2保存退出
5. 
6. [root@node-2 ~]# systemctl daemon-reload
7. [root@node-2 ~]# systemctl restart elasticsearch
8. [root@node-2 ~]# netstat -anpt | grep 9200
9. tcp6       0      0 192.168.8.2:9200        :::*                    LISTEN      105374/java         
10. tcp6       0      0 127.0.0.1:9200          :::*                    LISTEN      105374/java

node-3

  1. 安装es,步骤参考第一台,注意配置文件需要修改
1. [root@node-3 ~]# rpm -ivh /media/elk-6.6/elasticsearch-6.6.0.rpm 
2. [root@node-3 ~]# vim /etc/elasticsearch/elasticsearch.yml
3. node.name: node-3
4. path.data: /data/elasticsearch                  
5. path.logs: /var/log/elasticsearch               
6. bootstrap.memory_lock: true
7. network.host: 192.168.8.3,127.0.0.1   
8. http.port: 9200 
9. discovery.zen.ping.unicast.hosts: ["192.168.8.1", "192.168.8.3"]    #前面masterIP后面本机IP
10. discovery.zen.minimum_master_nodes: 2       #添加的值=节点数/2 + 1(注意:2前面空格)
  1. 创建数据目录,并修改权限
1. [root@node-3 ~]# mkdir -p /data/elasticsearch 
2. [root@node-3 ~]# chown -R elasticsearch.elasticsearch /data/elasticsearch/
  1. 分配锁定内存
1. [root@node-3 ~]# vim /etc/elasticsearch/jvm.options
2. -Xms1g        #分配最小内存    
3. -Xmx1g        #分配最大内存,官方推荐为物理内存的一半,但最大为32G
  1. 修改锁定内存后,无法重启,解决方法如下
1. [root@node-3 ~]# systemctl edit elasticsearch
2. [Service]
3. LimitMEMLOCK=infinity
4. F2保存退出
5. [root@node-3 ~]# netstat -anpt | grep 9200
6. tcp6       0      0 192.168.8.3:9200        :::*                    LISTEN      105486/java         
7. tcp6       0      0 127.0.0.1:9200          :::*                    LISTEN      105486/java

下图可以看到三个副本,分片处理,星号代表主节点,园代表从节点,健康状态为green。

监控命令

(1)查看索引信息

[root@node-1 ~]# curl -XGET '192.168.8.1:9200/_cat/indices?pretty'

(2)查看群集健康状态

[root@node-1 ~]# curl -XGET '192.168.8.1:9200/_cluster/health?pretty'

(3)统计群集节点

[root@node-1 ~]# curl -XGET '192.168.8.1:9200/_cat/nodes?human&pretty'

(4)查看群集所有节点详细信息

[root@node-1 ~]# curl -XGET '192.168.8.1:9200/_nodes/_all/info/jvm.process?human&pretty'

注意:企业环境使用脚本监控群集健康状态是否为green 或 节点数不匹配 就邮件报警。

(5)创建索引index1时,修改分片为3和副本数为2。

1. curl -X PUT 192.168.8.1:9200/index1  -H 'Content-Type: application/json' -d '{
2.     "settings" : {
3.         "index" : {
4.             "number_of_shards" : 3, 
5.             "number_of_replicas" : 2 
6.         }
7.     }
8. }'

访问浏览器确认

(6)针对已有索引,可修改副本数,不可改分片数。下面语句把index1的副本数由2改为1

1. curl -X PUT '192.168.8.1:9200/index1/_settings?pretty'  -H 'Content-Type: application/json' -d '{
2.   "settings": {
3.     "number_of_replicas": "1"
4.   }                          
5. }'

访问浏览器验证。


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
2月前
|
存储 消息中间件 网络协议
日志平台-ELK实操系列(一)
日志平台-ELK实操系列(一)
|
7天前
|
存储 监控 安全
|
3月前
|
消息中间件 Kafka 开发工具
rsyslog+ELK收集Cisco日志
rsyslog+ELK收集Cisco日志
|
3月前
|
存储 消息中间件 监控
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统ELK、日志收集分析
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统、日志收集分析。日志级别从小到大的关系(优先级从低到高): ALL < TRACE < DEBUG < INFO < WARN < ERROR < FATAL < OFF 低级别的会输出高级别的信息,高级别的不会输出低级别的信息
|
3月前
|
存储 数据可视化 Linux
在Linux中,如何使用ELK进行日志管理和分析?
在Linux中,如何使用ELK进行日志管理和分析?
|
3月前
|
数据可视化 Java API
如何在项目中快速引入Logback日志并搭配ELK使用
如何在项目中快速引入Logback日志并搭配ELK使用
|
3月前
|
存储 监控 Ubuntu
一键搞定:用脚本轻松部署ELK,让日志分析变得简单又高效
【8月更文挑战第13天】ELK栈由Elasticsearch、Logstash和Kibana组成,用于日志存储、解析及展示,是大数据领域广泛采用的日志解决方案。鉴于其安装配置复杂,本文提供了一个适用于Ubuntu 16.04的ELK自动安装Shell脚本示例。脚本首先确保Java环境安装,接着添加Elastic.co的APT仓库并安装ELK组件,最后启动所有服务。通过自动化流程,简化部署工作,减少人为错误,提升效率。实际应用中还需根据具体需求调整配置和服务设置。
54 0
|
6月前
|
存储 监控 数据可视化
日志分析对决:揭示 ELK 与 GrayLog 的优势和差异
日志分析对决:揭示 ELK 与 GrayLog 的优势和差异
1276 0
|
6月前
|
存储 Prometheus 监控
Prometheus vs. ELK Stack:容器监控与日志管理工具的较量
随着容器化技术的广泛应用,容器监控与日志管理成为了关键任务。本文将对两种常用工具进行比较与选择,分别是Prometheus和ELK Stack。Prometheus是一款开源的监控系统,专注于时序数据的收集和告警。而ELK Stack则是一套完整的日志管理解决方案,由Elasticsearch、Logstash和Kibana三个组件组成。通过比较它们的特点、优势和适用场景,读者可以更好地了解如何选择适合自己需求的工具。
|
6月前
|
消息中间件 数据可视化 关系型数据库
ELK7.x日志系统搭建 4. 结合kafka集群完成日志系统
ELK7.x日志系统搭建 4. 结合kafka集群完成日志系统
199 0