检索分析服务 Elasticsearch版

——

——

--

从早期开发的 Elasticsearch 到之后 ELK Stack 的发布，Elastic 在此期间经历了辉煌发展，也有混乱的时期，随后又推出了 Elastic Stack，并迎来了新的时代。

最近读了马伯庸老师的小说《长安十二时辰》（也有改为《长安二十四时辰》的网剧，之所以改成二十四时辰，我觉得也是非常的不认可原著里面的时间观念吧？

几个月以来，我一直在记录自己开发 Elasticsearch 应用程序的最佳实践。本文梳理的内容试图传达 Java 的某些思想，我相信其同样适用于其他编程语言。我尝试尽量避免重复教程和 Elasticsearch 官方文档中已经介绍的内容。

在生产环境搭建或维护 Elasticsearch 集群和个人搭建集群的小打小闹有非常大的不同。

本文将介绍如何使用 ELK 在网络安全分析领域中的实际应用

你是否考虑分析和可视化地理数据？ 为什么不尝试 Elastic Stack？ 也就是所谓的 ELK（Elasticsearch + Logstash + Kibana）或 Elatic Stack 不仅是 NoSQL数据库。 它是一个整体系统，可以实时存储，搜索，分析和可视化来自任何来源的数据。 在这种情况下，我们将使用有关华沙公共交通位置的开放数据。

你是否曾经尝试在图像中搜索目标？ Elasticsearch 可以帮助你存储，分析和搜索图像或视频中的目标。

发挥 Elastic Stack 在日志和实时数据分析计算领域的一些优势，对流媒体服务这样规模较大、实时性要求偏高，且分析、业务探索流程要求灵活的业务是一个比较百搭的选择。

PaaS 下管理了大量集群，监控和告警能快速的让开发维护人员，知道系统已经发生故障，并且辅助高效排障。

当代商业组织面临的最基本挑战，是互联网已经不再是一个替代或可选渠道，它已经成为许多企业最主要的、甚至是惟一的销售平台。网上店面在现实中往往比实体店面还要重要，所以人们就必须要像监视实体店面一样，监控网上应用。

通过每个应用服务器上部署 filebeat，上传到 kafka；由 kafka 分发消息到 logstash； Logstatsh 写入日志到 Elasticsearch 集群；

本应用实践，主要针对 Elasticsearch 如何实现类似百度广告置顶显示，给定商品数据的效果展开介绍，例如实现置顶显示某特定数据，像搜索某关键词，出现关联广告置顶显示的效果。

网络舆情监测，主要是利用互联网信息采集技术，以及自然语言处理等智能信息处理技术，通过对互联网公开数据进行自动化抓取，然后对信息进行结构化、自动分类、文本聚类、主题发现与跟踪等，提供信息检索、多维度统计、敏感信息预警、信息简报、自动化报告等功能，帮助用户及时发现危害品牌形象的观点，并为用户分析关注对象在网络中的形象提供依据。

Monitoring 及 Central Management

现在互联网架构随着用户的增加，而越来越复杂，可能要有成千上万个不同的组件和不同的实例，对这些组件可用性的监控是提供高可用服务的关键之一，Elastic 为此推出了 Uptime App。

应用程序性能管理（Application Performance Management）简称 APM。主要功能为监视和管理软件应用程序性能和可用性。

Space 功能可以将 Kibana 划分为多个工作空间，并基于权限控制使不同的用户看到不同的工作空间

Canvas 是 Kibana 中内置的一项演示工具。

Elasticsearch 在 6.7 版本正式加入索引生命周期管理，旨在管理 Elasticsearch 中的索引。

时间序列数据（ time series data ）是在不同时间上收集到的数据，用于所描述现象随时间变化的情况

分片分配 (shard allocation)，是指在索引创建、副本增减、节点增减、分片重平衡等，将索引分片落实到实际的物理节点的过程，分片分配可以分为，集群级分配和索引级分配两种，集群级分配常见的包括

Kibana 基础应用

本文将基于阿里云 Elasticsearch，通过快速创建、访问实例，并使用 Restful API，完成创建索引、创建文档、插入数据、搜索数据、删除索引等操作，从而体验 Cloud 云服务。

如何使用Elastic Helm Chart来部署一个多节点的Elasticsearch集群。

为了防止生产中未经授权的访问，采用了不同的机制来施加安全性，例如在防火墙后运行Elastic Stack并通过反向代理（例如 nginx，HAProxy 等）进行保护

Logstash 是一个功能强大的工具，可与各种部署集成。 它提供了大量插件，可帮助你解析，丰富，转换和缓冲来自各种来源的数据。 如果你的数据需要 Beats 中没有的其他处理，则需要将 Logstash 添加到部署中。

Beats 是轻量级（资源高效，无依赖性，小型）和开放源代码日志发送程序的集合，这些日志发送程序充当安装在基础结构中不同服务器上的代理，用于收集日志或指标（Metrics）。这些可以是日志文件（Filebeat），网络数据（Packetbeat），服务器指标（Metricbeat）或 Elastic 和社区开发的越来越多的 Beats 可以收集的任何其他类型的数据。 收集后，数据将直接发送到 Elasticsearch 或 Logstash 中进行其他处理。Beats 建立在名为 libbeat 的 Go 框架之上，该框架用于数据转发，这意味着社区一直在开发和贡献新的 Beats。

Kibana 是一个基于 Nodejs 构建出来的前端项目，它本身不包含数据存储功能，所以需要配合一个 Elasticsearch 节点/集群一起进行使用。本节将从系统环境的选择，必须的基础应用的安装等方面进行阐述。

本章介绍 Elasticsearch （简称 ES ）的安装和部署

当我们开始使用 Elasticsearch 时，我们必须理解其中的一些重要的概念。这些概念的理解对于以后我们使用 Elastic Stack 是非常重要的。在今天的这篇文章里，我们先来介绍一下在 Elastic Stack 中最重要的一些概念

业界对可观测性的定义由Logging（日志）,Metrics （指标）和 Tracing（跟踪）组成。其中大多数软件都仅在一个领域内发力，这导致了实施可观测性时的高昂成本。需要建设多个技术栈的软件，才能实现完整的可观测性。大多数企业基本都使用了 5个+ 的技术栈，有的甚至能达到10个技术栈。

企业搜索，顾名思义，就是企业使用的搜索服务或者说是企业提供的搜索服务。

在时序数据分析领域，你是否也遇到写入高资源消耗多、运维难、性能不足等情况。而我们又该如何更好的解决这些问题，并且降低存储成本，提升数据写入能力呢？

图作为一种现实中广泛存在的结构，与我们的生活息息相关，如社交网络、交通网络等。如何抽象的描述这些结构，并对其进行分析，获取潜在价值是一个普遍存在的问题。

汇总作业（ rollup jobs ）是周期性执行的任务，通过汇总作业，可以将某些索引中的数据进行周期性自定义化聚合，然后将聚合后的数据写入到新的索引中，整个流程叫做 Rollup 。

Kibana 的 Alert 模块主要用于 Elastic Stack 的监控告警。以一种相对较低的使用成本，将复杂的查询条件，编辑完成后监控不同的 Elastic Stack 的技术产品中产生的数据，最终把符合条件的告警信息以需要的方式反馈给用户。

Elasticsearch 集群天然支持横向水平扩展，因此当业务规模扩大、对集群产生读写压力时，增加节点总是运维人员的“懒人选择”。但随着节点数增多，集群主节点要维护的 meta 信息也随之增多，这会导致集群更新压力增大，甚至无法提供正常服务。 另外每个企业的数据中心都需要有灾备方案，在集群间同步数据，因为单点集群会存在隐患。

Painless scripting 是一种简单的、安全的针对 Elasticsearch 设计的脚本语言，Painless 可以使用在任何可以使用 scripting 的场景

本文着重介绍 Ingest Pipeline，以下比较了 Logstash 与 Ingest Pipeline的一些区别，便于在实际业务场景中选择

在查询场景中，从 Elasticsearch 中取得结果，根据不同场景，有多种不同的方式。

使用`Rollover index`的方式来限制每个索引的大小。

将文档从源索引复制到目的地索引，称之为 Reindex。

别名，是为一个或多个索引而命名的第二名称，第二名称不得与集群中任何索引同名；只要把第二名称和真实索引建立绑定关系，便可以使用别名对索引进行相关的操作。

Elasticsearch 本着让用户使用更方便快捷的原则，针对这个问题做了很多工作，使定义数据的方式更加抽象灵活，多个雷同的字段可使用 1 个配置完成。

Elasticsearch 允许使用模板语言 mustache 来预设搜索逻辑，在实际搜索时，通过参数中的键值，对来替换模板中的占位符，最终完成搜索

Elasticsearch 本着让用户方便快捷的使用搜索功能的原则，对数据定义（索引定义）做了高度抽象，尽可能得避免了重复性定义工作，使之更加灵活。

Nested 是 Object 的专用版本，允许对象数组以可以彼此独立查询的方式进行索引。