检索分析服务 Elasticsearch版

在本文中，我们使用 Elastic Stack 来分析相关的数据，并对数据进行分析。我们将使用 Kibana 来对所有的数据进行可视化分析。

你是否考虑分析和可视化地理数据？ 为什么不尝试 Elastic Stack？ 也就是所谓的 ELK（Elasticsearch + Logstash + Kibana）或 Elatic Stack 不仅是 NoSQL数据库。 它是一个整体系统，可以实时存储，搜索，分析和可视化来自任何来源的数据。 在这种情况下，我们将使用有关华沙公共交通位置的开放数据。

你是否曾经尝试在图像中搜索目标？ Elasticsearch 可以帮助你存储，分析和搜索图像或视频中的目标。

发挥 Elastic Stack 在日志和实时数据分析计算领域的一些优势，对流媒体服务这样规模较大、实时性要求偏高，且分析、业务探索流程要求灵活的业务是一个比较百搭的选择。

PaaS 下管理了大量集群，监控和告警能快速的让开发维护人员，知道系统已经发生故障，并且辅助高效排障。

当代商业组织面临的最基本挑战，是互联网已经不再是一个替代或可选渠道，它已经成为许多企业最主要的、甚至是惟一的销售平台。网上店面在现实中往往比实体店面还要重要，所以人们就必须要像监视实体店面一样，监控网上应用。

通过每个应用服务器上部署 filebeat，上传到 kafka；由 kafka 分发消息到 logstash； Logstatsh 写入日志到 Elasticsearch 集群；

本应用实践，主要针对 Elasticsearch 如何实现类似百度广告置顶显示，给定商品数据的效果展开介绍，例如实现置顶显示某特定数据，像搜索某关键词，出现关联广告置顶显示的效果。

网络舆情监测，主要是利用互联网信息采集技术，以及自然语言处理等智能信息处理技术，通过对互联网公开数据进行自动化抓取，然后对信息进行结构化、自动分类、文本聚类、主题发现与跟踪等，提供信息检索、多维度统计、敏感信息预警、信息简报、自动化报告等功能，帮助用户及时发现危害品牌形象的观点，并为用户分析关注对象在网络中的形象提供依据。

Monitoring 及 Central Management

现在互联网架构随着用户的增加，而越来越复杂，可能要有成千上万个不同的组件和不同的实例，对这些组件可用性的监控是提供高可用服务的关键之一，Elastic 为此推出了 Uptime App。

应用程序性能管理（Application Performance Management）简称 APM。主要功能为监视和管理软件应用程序性能和可用性。

Space 功能可以将 Kibana 划分为多个工作空间，并基于权限控制使不同的用户看到不同的工作空间

Canvas 是 Kibana 中内置的一项演示工具。

Elasticsearch 在 6.7 版本正式加入索引生命周期管理，旨在管理 Elasticsearch 中的索引。

时间序列数据（ time series data ）是在不同时间上收集到的数据，用于所描述现象随时间变化的情况

分片分配 (shard allocation)，是指在索引创建、副本增减、节点增减、分片重平衡等，将索引分片落实到实际的物理节点的过程，分片分配可以分为，集群级分配和索引级分配两种，集群级分配常见的包括

Kibana 基础应用

本文将基于阿里云 Elasticsearch，通过快速创建、访问实例，并使用 Restful API，完成创建索引、创建文档、插入数据、搜索数据、删除索引等操作，从而体验 Cloud 云服务。

如何使用Elastic Helm Chart来部署一个多节点的Elasticsearch集群。

为了防止生产中未经授权的访问，采用了不同的机制来施加安全性，例如在防火墙后运行Elastic Stack并通过反向代理（例如 nginx，HAProxy 等）进行保护

Logstash 是一个功能强大的工具，可与各种部署集成。 它提供了大量插件，可帮助你解析，丰富，转换和缓冲来自各种来源的数据。 如果你的数据需要 Beats 中没有的其他处理，则需要将 Logstash 添加到部署中。

Beats 是轻量级（资源高效，无依赖性，小型）和开放源代码日志发送程序的集合，这些日志发送程序充当安装在基础结构中不同服务器上的代理，用于收集日志或指标（Metrics）。这些可以是日志文件（Filebeat），网络数据（Packetbeat），服务器指标（Metricbeat）或 Elastic 和社区开发的越来越多的 Beats 可以收集的任何其他类型的数据。 收集后，数据将直接发送到 Elasticsearch 或 Logstash 中进行其他处理。Beats 建立在名为 libbeat 的 Go 框架之上，该框架用于数据转发，这意味着社区一直在开发和贡献新的 Beats。

Kibana 是一个基于 Nodejs 构建出来的前端项目，它本身不包含数据存储功能，所以需要配合一个 Elasticsearch 节点/集群一起进行使用。本节将从系统环境的选择，必须的基础应用的安装等方面进行阐述。

本章介绍 Elasticsearch （简称 ES ）的安装和部署

当我们开始使用 Elasticsearch 时，我们必须理解其中的一些重要的概念。这些概念的理解对于以后我们使用 Elastic Stack 是非常重要的。在今天的这篇文章里，我们先来介绍一下在 Elastic Stack 中最重要的一些概念

业界对可观测性的定义由Logging（日志）,Metrics （指标）和 Tracing（跟踪）组成。其中大多数软件都仅在一个领域内发力，这导致了实施可观测性时的高昂成本。需要建设多个技术栈的软件，才能实现完整的可观测性。大多数企业基本都使用了 5个+ 的技术栈，有的甚至能达到10个技术栈。

企业搜索，顾名思义，就是企业使用的搜索服务或者说是企业提供的搜索服务。

在时序数据分析领域，你是否也遇到写入高资源消耗多、运维难、性能不足等情况。而我们又该如何更好的解决这些问题，并且降低存储成本，提升数据写入能力呢？

图作为一种现实中广泛存在的结构，与我们的生活息息相关，如社交网络、交通网络等。如何抽象的描述这些结构，并对其进行分析，获取潜在价值是一个普遍存在的问题。

汇总作业（ rollup jobs ）是周期性执行的任务，通过汇总作业，可以将某些索引中的数据进行周期性自定义化聚合，然后将聚合后的数据写入到新的索引中，整个流程叫做 Rollup 。

Kibana 的 Alert 模块主要用于 Elastic Stack 的监控告警。以一种相对较低的使用成本，将复杂的查询条件，编辑完成后监控不同的 Elastic Stack 的技术产品中产生的数据，最终把符合条件的告警信息以需要的方式反馈给用户。

Elasticsearch 集群天然支持横向水平扩展，因此当业务规模扩大、对集群产生读写压力时，增加节点总是运维人员的“懒人选择”。但随着节点数增多，集群主节点要维护的 meta 信息也随之增多，这会导致集群更新压力增大，甚至无法提供正常服务。 另外每个企业的数据中心都需要有灾备方案，在集群间同步数据，因为单点集群会存在隐患。

Painless scripting 是一种简单的、安全的针对 Elasticsearch 设计的脚本语言，Painless 可以使用在任何可以使用 scripting 的场景

本文着重介绍 Ingest Pipeline，以下比较了 Logstash 与 Ingest Pipeline的一些区别，便于在实际业务场景中选择

在查询场景中，从 Elasticsearch 中取得结果，根据不同场景，有多种不同的方式。

使用`Rollover index`的方式来限制每个索引的大小。

将文档从源索引复制到目的地索引，称之为 Reindex。

别名，是为一个或多个索引而命名的第二名称，第二名称不得与集群中任何索引同名；只要把第二名称和真实索引建立绑定关系，便可以使用别名对索引进行相关的操作。

Elasticsearch 本着让用户使用更方便快捷的原则，针对这个问题做了很多工作，使定义数据的方式更加抽象灵活，多个雷同的字段可使用 1 个配置完成。

Elasticsearch 允许使用模板语言 mustache 来预设搜索逻辑，在实际搜索时，通过参数中的键值，对来替换模板中的占位符，最终完成搜索

Elasticsearch 本着让用户方便快捷的使用搜索功能的原则，对数据定义（索引定义）做了高度抽象，尽可能得避免了重复性定义工作，使之更加灵活。

Nested 是 Object 的专用版本，允许对象数组以可以彼此独立查询的方式进行索引。

Join 类型是一种特殊的数据类型，类似父子结构，一个子文档只能有一个父文档，一个父文档可以有多个子文档。

搜索引擎中的搜索与数据库中，常规的 SELECT 查询语句，都能帮你从一大堆数据中，找到匹配某个特定关键字的数据条目，但是这两者最大的区别在于，搜索引擎能够基于查询和结果的相关性，帮你做好结果集排序，即搜索引擎会将它认为最符合你查询诉求的数据条目，放在最前面，而数据库的 SELECT 语句却做不到。

设计索引 Mapping 时，需要设计的对象中包含对象（非数组），此时就可以使用 Object 类型来存储对象。

在 TO B 行业，对商品的搜索展示，是有一定业务要求的，例如：存在合作关系的买家和供应商才能看到供应商店铺的商品，不存在合作关系的买家则不展示商品。另外，有些商品对客户甲展示一种价格，对客户乙则展示另外一种价格，从而区分不同的会员、分组对商品价格的区别。

映射（mapping）就像数据库中的 Schema ，描述了文档可能具有的字段或属性、每个字段的数据类型，比如 Text，Keyword，Integer 或 Date ，以及 Lucene 是如何索引和存储这些字段的。

Elasticsearch 使用一种称为倒排索引的结构，它适用于快速的全文搜索

群体（ population）分析检测异常：通过机器学习分析可建立 “典型” 用户，机器或其他实体在指定时间段内所做的工作的概况，然后识别与其它群体相比表现异常情况。