Elasticsearch-单机部署避坑指南
引言
ElasticSearch是一个基于Lucene的搜索引擎,它提供了一个基于RESTful web接口的分布式多用户的全文搜索引擎。ElasticSearch可以用来存储需要检索和统计的数据,它支持聚合、百分比、分段统计等,也可以用来存储日志,例如ELK(Elasticsearch+Logstash+Kibana)日志分析系统。
如何在Kubernetes上部署高可用和可扩展的Elasticsearch?
先决条件
Elasticsearch的基本知识,其Node类型及角色
运行至少有3个节点的Kubernetes集群(至少4Cores 4GB)
Kibana的相关知识
部署架构图
Elasticsearch Data Node的Pod被部署为具有Headless Service的StatefulSets,以提供稳定的网络ID。
mongo-connector导入数据到Elasticsearch
当前测试环境下Elasticsearch版本为2.3。不同版本的mongo-connector、elastic-doc-manager/elastic2-doc-manager所支持的Elasticsearch版本不同,安装时注意版本的选择。
安装mongo-connector
测试机上Python的默认版本为2.6,由于我采用anonacoda作为Python开发环境,Python默认版
玩转大数据系列之四:搜索服务
搜索服务是阿里云产品非常重要的组成部分,也承载了阿里巴巴集团的全部主要的搜索任务。这里的搜索服务主要包含两个产品:阿里云Elasticsearch和开放搜索OpenSearch。本文将介绍如何玩转阿里云搜索的大数据服务。
分布式实时日志分析解决方案ELK部署架构
本文主要介绍了ELK实时日志分析的三种部署架构,以及不同架构所能解决的问题,这三种架构中第二种部署方式是时下最流行也是最常用的部署方式,最后介绍了ELK作在日志分析中的一些问题与解决方案,说在最后,ELK不仅仅可以用来作为分布式日志数据集中式查询和管理,还可以用来作为项目应用以及服务器资源监控等场景。