确定elk中的数据存储的位置-和增加集群节点

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介:

可见由 配置文件path.data决定


[root@master etc]# cat /usr/local/elasticsearch/config/elasticsearch.yml  | egrep -v "^$|^#" 

path.data: /tmp/elasticsearch/data

path.logs: /tmp/elasticsearch/logs

network.host: 192.168.100.10

network.port: 9200



[root@master etc]# du -s /tmp/elasticsearch/data/  

4384    /tmp/elasticsearch/data/

[root@master etc]# du -s /tmp/elasticsearch/data/

8716    /tmp/elasticsearch/data/


如果是rpm安装的elasticsearch(简称)可以/etc/init.d/elasticsearch  中设置: data 和log的位置

1
2
3
4
5
6
7
8
9
  35 ES_USER="elasticsearch"
  36 ES_GROUP="elasticsearch"
  37 ES_HOME="/usr/share/elasticsearch"
  38 MAX_OPEN_FILES=65535
  39 MAX_MAP_COUNT=262144
  40 LOG_DIR="/data2/elk/elasticsearch/log/elasticsearch"
  41 DATA_DIR="/data2/elk/elasticsearch/data/elasticsearch"
  42 CONF_DIR="/etc/elasticsearch"
  43


配置集群:

没有集群的时候,默认的数据目录结构是:


[root@master etc]# ls /tmp/elasticsearch/data/elasticsearch/   

nodes


【配置集群的前提 hosts 解析】


master节点和slave节点要互相能够解析

[root@master httpd]# ping master 

PING www.elk.com (192.168.100.10) 56(84) bytes of data.

64 bytes from www.elk.com (192.168.100.10): icmp_seq=1 ttl=64 time=0.073 ms

^C

--- www.elk.com ping statistics ---

1 packets transmitted, 1 received, 0% packet loss, time 675ms

rtt min/avg/max/mdev = 0.073/0.073/0.073/0.000 ms

[root@master httpd]# ping slave

PING slave (192.168.100.13) 56(84) bytes of data.

64 bytes from slave (192.168.100.13): icmp_seq=1 ttl=64 time=1.18 ms


【配置集群】

master节点(节点一) 192.168.100.10上的配置:

# ---------------------------------- Cluster -----------------------------------

cluster.name: elasticsearch-cluster


# ------------------------------------ Node ------------------------------------


node.name: master


# --------------------------------- Discovery ----------------------------------

#

# Elasticsearch nodes will find each other via unicast, by default.

#

# Pass an initial list of hosts to perform discovery when new node is started:

# The default list of hosts is ["127.0.0.1", "[::1]"]

#

# discovery.zen.ping.unicast.hosts: ["host1", "host2"]

discovery.zen.ping.unicast.hosts: ["master", "slave"]





salve节点(节点二) 192.168.100.13上的配置:安装elasticsearch (同上elasticsearch安装)


[root@slave elasticsearch]# egrep -v "^$|^#" config/elasticsearch.yml     

1
2
3
4
5
6
7
cluster.name: elasticsearch-cluster
node.name: slave
discovery.zen.ping.unicast.hosts: ["master", "slave"]
path.data: /tmp/elasticsearch/data
path.logs: /tmp/elasticsearch/logs
network.host: 0.0.0.0
network.port: 9200



slave启动elasticsearch

1
[root@slave elasticsearch] # sudo su - elasticsearch /usr/local/elasticsearch/bin/elasticsearch



【验证】

访问插件查看集群状态


http://192.168.100.10:9200/_plugin/head/


wKioL1c4DX6g5bzcAAEhgCkyikc920.png



或者使用:

API检查

1
[root@master etc] # curl 192.168.100.10:9200/_cluster/health?pretty
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
{
   "cluster_name" : "elasticsearch",
   "status" : "yellow",
   "timed_out" : false,
   "number_of_nodes" : 1,
   "number_of_data_nodes" : 1,
   "active_primary_shards" : 26,
   "active_shards" : 26,
   "relocating_shards" : 0,
   "initializing_shards" : 0,
   "unassigned_shards" : 26,
   "delayed_unassigned_shards" : 0,
   "number_of_pending_tasks" : 0,
   "number_of_in_flight_fetch" : 0,
   "task_max_waiting_in_queue_millis" : 0,
   "active_shards_percent_as_number" : 50.0
}



状态意义

green所有主分片和从分片都可用

yellow所有主分片可用,但存在不可用的从分片

red存在不可用的主要分片

在接下来的章节,我们将学习一下什么是主要分片(primary shard) 和 从分片(replica shard),并说明这些状态在实际环境中的意义。




【为黄不为绿色的原因】

我主节点配置文件修改后,木有重启,重启后即正常



【结果】


wKioL1c4ESKSPf1oAABzPyAeJnw515.png



之后数据的存储路径会变成 elasticsearch-cluster 目录下面

/tmp/elasticsearch/data/elasticsearch-cluster



当然之前一个节点的数据当然是没有了,所以重新打开kibana会要新创建索引


数据目录中也只能看到今天的索引了

[root@master tls]# ls /tmp/elasticsearch/data/elasticsearch-cluster/nodes/0/indices/

.kibana/             logstash-2016.05.15/ 



wKiom1c4Ea2BlrqEAAC2uF0tc_A870.png




【看数据增加】

为了给它加点数据

1
[root@master httpd] # for i in {1..100000}; do echo "mesaage $i" >> /var/log/messages ;done

  

看结果:

wKioL1c4FYbzalq8AACEKyox56Y785.png



wKioL1c4FdWiX5kYAADG7u00HRM394.png

本文转自残剑博客51CTO博客,原文链接http://blog.51cto.com/cuidehua/1773571如需转载请自行联系原作者


cuizhiliang



相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
3月前
|
消息中间件 数据可视化 关系型数据库
ELK7.x日志系统搭建 4. 结合kafka集群完成日志系统
ELK7.x日志系统搭建 4. 结合kafka集群完成日志系统
151 0
|
4月前
|
存储 消息中间件 监控
ELK日志收集系统集群实验(5.5.0版)
ELK是指Elasticsearch、Logstash和Kibana的组合。它们是一套开源的日志收集、存储、搜索和可视化系统,常用于集中管理和分析日志数据。
88 0
|
11月前
|
Shell 数据安全/隐私保护 Docker
elk7.9异机真集群docker搭建
elk7.9异机真集群docker搭建
|
消息中间件 存储 SQL
【ELK解决方案】ELK集群+RabbitMQ部署方案以及快速开发RabbitMQ生产者与消费者基础服务
大概一年多前写过一个部署ELK系列的博客文章,前不久刚好在部署一个ELK的解决方案,我顺便就把一些基础的部分拎出来,再整合成一期文章。大概内容包括:搭建ELK集群,以及写一个简单的MQ服务。
460 0
【ELK解决方案】ELK集群+RabbitMQ部署方案以及快速开发RabbitMQ生产者与消费者基础服务
|
消息中间件 存储 缓存
springboot 2.0 集成 kafka 2.6.2(集群) + elk 7.6.2(集群)
springboot 2.0 集成 kafka 2.6.2(集群) + elk 7.6.2(集群)
291 0
springboot 2.0 集成 kafka 2.6.2(集群) + elk 7.6.2(集群)
|
应用服务中间件 Linux nginx
ELK,彻底解决集群项目的日志查看问题(二)
每当项目上线时,因为项目是集群部署的,所以,来回到不同的服务器上查看日志会变得很麻烦,你是不是也碰到这样类似的问题,那么ELK将能解决你遇到的问题!
ELK,彻底解决集群项目的日志查看问题(二)
|
消息中间件 存储 Java
ELK,彻底解决集群项目的日志查看问题(一)
每当项目上线时,因为项目是集群部署的,所以,来回到不同的服务器上查看日志会变得很麻烦,你是不是也碰到这样类似的问题,那么ELK将能解决你遇到的问题!
ELK,彻底解决集群项目的日志查看问题(一)