铭毅天下_社区达人页

2021年11月

• 11.10 13:49:13
  发表了文章 2021-11-10 13:49:13

  Elasticsearch常见的5个错误及应对策略

  网罗Elasticsearch最佳实践，实际应用场景中常见错误要预知和避免，以最大化提升集群性能。

  
• 11.10 13:47:51
  发表了文章 2021-11-10 13:47:51

  图解Elasticsearch之一——索引创建过程

  引言 这是国外培训ppt课程的节选内容。 以下是我们的Core Elasticsearch：Operations课程中的一些很棒的幻灯片，它们有助于解释分片分配的概念。 我们建议您更全面地了解这一点，但我会在此提供我们培训的概述： 分片分配是将分片分配给节点的过程。 这可能发生在初始恢复，副本分配，重新平衡或添加或删除节点期间。 大多数时候，你不需要考虑它，这项工作是由Elasticsearch在后台完成的。 如果您发现自己对这些细节感到好奇，本文将探讨在几种不同情况下的分片分配。 由于是图解，为方便阅读，我分了4篇文章逐一呈现。

  
• 11.10 13:43:12
  发表了文章 2021-11-10 13:43:12

  Elasticsearch集群管理之1——如何高效的添加、删除节点？

  1、问题抛出 1.1 新增节点问题 我的群集具有黄色运行状况，因为它只有一个节点，因此副本保持未分配状态，我想要添加一个节点，该怎么弄？

  
• 11.10 13:40:56
  发表了文章 2021-11-10 13:40:56

  干货 | Elasticsearch Nested类型深入详解

  0、概要 在Elasticsearch实战场景中，我们或多或少会遇到嵌套文档的组合形式，反映在ES中称为父子文档。 父子文档的实现，至少包含以下两种方式： 1）父子文档 父子文档在5.X版本中通过parent-child父子type实现，即：1个索引对应多个type； 6.X+版本已经不再支持一个索引多个type，6.X+的父子索引的实现改成Join。 2）Nested嵌套类型

  
• 11.10 13:38:30
  发表了文章 2021-11-10 13:38:30

  干货 | 通透理解Elasticsearch聚合

  使用Elasticsearch的过程中，除了全文检索，或多或少会做统计操作，而做统计操作势必会使用Elasticsearch聚合操作。 类似mysql中group by的terms聚合用的最多，但当遇到复杂的聚合操作时，往往会捉襟见肘、不知所措… 这也是社区中聚合操作几乎每天都会被提问的原因。 本文基于官方文档，梳理出聚合的以下几个核心问题，目的:将Elasticsearch的聚合结合实际场景说透。

  
• 11.10 11:40:52
  发表了文章 2021-11-10 11:40:52

  Elasticsearch Top5典型应用场景

  题记 刚接触Elasticsearch的朋友，或多或少会遇到一个问题，Elasticsearch在实际公司应用中除了搜索到底能做什么？ 本文给出了答案。 除了“You Know, for Search”，Elasticsearch的使用会不断增长和变化。ObjectRocket作为一家托管云计算公司，已经在ObjectRocket平台上提供托管Elasticsearch一段时间了，并且能够看到我们客户之间的一些明确趋势以及他们如何使用该产品。以下是我们在平台上看到的Top5场景用例：

  
• 11.10 11:37:40
  发表了文章 2021-11-10 11:37:40

  Elasticsearch存储深入详解

  在本文中，我们将研究Elasticsearch的各个部分写入数据目录的文件。我们将查看节点，索引和分片级文件，并简要说明其内容，以便了解Elasticsearch写入磁盘的数据。

  
• 11.10 11:33:42
  发表了文章 2021-11-10 11:33:42

  干货 | 论Elasticsearch数据建模的重要性

  1、什么是数据模型？ 数据模型是抽象描述现实世界的一种工具和方法，是通过抽象的实体及实体之间联系的形式，用图形化的形式去描述业务规则的过程，从而表示现实世界中事务的相互关系的一种映射。

  
• 11.10 11:29:43
  发表了文章 2021-11-10 11:29:43

  思维导图 | Elasticsearch加速检索的15个核心建议

  思维导图 | Elasticsearch加速检索的15个核心建议

  
• 11.10 11:28:09
  发表了文章 2021-11-10 11:28:09

  干货 | Elasticsearch通用优化建议

  1、题记 Elasticsearch开发实战的后期会遇到性能问题，包括：创建索引性能、写入数据性能、检索性能等。网上有很多结合自己实际应用场景的相关优化建议，但“对症下药”才是关键。 实际，官网已经有非常明确的相关优化建议。如果没有实战场景，一些特性的理解可能不到位。为此，我特定将官网建议做了翻译，并加了结合实战开发的通俗理解注释。 此为第一篇：通用优化一般建议。

  
• 11.10 11:27:01
  发表了文章 2021-11-10 11:27:01

  干货 | Elasticsearch Reindex性能提升10倍+实战

  #1、reindex的速率极慢，是否有办法改善？ 以下问题来自社区：https://elasticsearch.cn/question/3782 问题1：reindex和snapshot的速率极慢，是否有办法改善？ reindex和snapshot的速率比用filebeat或者kafka到es的写入速率慢好几个数量级（集群写入性能不存在瓶颈），reindex/snapshot的时候CPU还是IO使用率都很低，是不是集群受什么参数限制了reindex和snapshot的速率？ reindex不管是跨集群还是同集群上都很慢，大约3~5M/s的索引速率，会是什么原因导致的？

  
• 11.10 11:25:05
  发表了文章 2021-11-10 11:25:05

  干货 | Elasticsearch索引生命周期管理探索

  引言 Elasticsearch上海Meetup中ebay工程师提了索引生命周期管理的概念。的确，在Demo级别的验证阶段我们数据量比较小，不太需要关注索引的生命周期，一个或几个索引基本就能满足需要。所以，这也会产生一种假象，认为：“Elasticsearch不就是增删改查，毛毛雨啦”的荒诞的假象。 但是，在实战开发的生产环境中，索引的动态模板设置、索引Mapping设置、索引分片数/副本数设置、索引创建、打开、关闭、删除的全生命周期的管理必须高度关注，做好提前知识储备， 否则，会在开发后期出现由于数据激增暴露架构设计不合理问题，甚至引发分片/节点数据丢失、集群宕机等严重问题。

  
• 11.10 11:22:22
  发表了文章 2021-11-10 11:22:22

  干货 | Elasticsearch集群黄色原因的终极探秘

  1、Elasticsearch集群不同颜色代表什么？ 绿色——最健康的状态，代表所有的主分片和副本分片都可用； 黄色——所有的主分片可用，但是部分副本分片不可用； 红色——部分主分片不可用。（此时执行查询部分数据仍然可以查到，遇到这种情况，还是赶快解决比较好。

  
• 11.10 11:20:30
  发表了文章 2021-11-10 11:20:30

  干货 | Nginx实现Elasticsearch后台服务的负载均衡

  1、题记 Elasticsearch后台程序开发完毕后，相关的ES配置、部署、ES DSL查询、聚合语句也做了优化，但实际客户仍然要求提高QPS，要求保障性能的前提下的很高的并发用户数。 这时候，你能想到的方案是什么呢？ 实际调研发现，优选方案是Nginx负载均衡方案。

  
• 11.10 11:19:05
  发表了文章 2021-11-10 11:19:05

  探究 | Elasticsearch不支持事务有什么好的弥补方案吗？

  1、问题 源自星球同学的提问：es如何与hive或mysql结合使用？es不支持事务有什么好的弥补方案吗？

  
• 11.10 11:16:47
  发表了文章 2021-11-10 11:16:47

  探究 | kafka-connector 同步 Elasticsearch速度慢根因分析？

  1、kafka同步Elasticsearch的方式 之前博文中也有介绍： 方式一：logstash_input_kafka 方式二：kafka_connector 方式三：spark stream 方式四：java程序读写自己实现

  
• 11.10 11:15:22
  发表了文章 2021-11-10 11:15:22

  总结 | Elasticsearch对外提供分词服务实践

  1、问题抛出？ 实战开发应用场景中，有获取一段话、一篇文章词频的业务场景， 词频的前提就是分词。 常用的中文分词包括： 1、IK分词——https://github.com/medcl/elasticsearch-analysis-ik 2、结巴分词——https://github.com/huaban/elasticsearch-analysis-jieba 3、ANSJ分词——https://github.com/NLPchina/elasticsearch-analysis-ansj 实际开发中，我们可以借助以上分词工具封装成接口或服务进行分词。 但，有没有想过，借助Elasticsea

  
• 11.10 11:04:59
  发表了文章 2021-11-10 11:04:59

  干货 | Elasticsearch 趋势科技实战分享笔记

  Elasticsearch 最少必要知识实战教程直播回放 1、Elasticsearch 索引的设计 1.1 单一索引还是基于时间的索引？

  
• 11.10 11:02:06
  发表了文章 2021-11-10 11:02:06

  抢先 | 支持sql的Elasticsearch6.3全景概览

  1、Elasticsearch6.3 特性概览 1.1、支持Sq 像操作Mysql一样使用Elasticsearch，缩减DSL的学习成本，更多人爱上ES的特性。
• 11.10 11:00:55
  发表了文章 2021-11-10 11:00:55

  严选 | Elasticsearch史上最全最常用工具清单

  1、题记 工欲善其事必先利其器，ELK Stack的学习和实战更是如此，特将工作中用到的“高效”工具分享给大家。 希望能借助“工具”提高开发、运维效率！

  
• 11.10 10:56:47
  发表了文章 2021-11-10 10:56:47

  干货 | 知识库全文检索的最佳实践

  1、题记 这是stackoverflow上一篇精彩的问答。 原文不大好理解，我做了梳理+图解； 原文是ES早期版本，部分写法已不适用，所有DSL我在6.X上进行了重写和验证； 针对原文内容做了扩展。

  
• 11.10 10:55:35
  发表了文章 2021-11-10 10:55:35

  吃透 | Elasticsearch filter和query的不同

  1、query和filter的本质区别？

  
• 11.10 10:52:27
  发表了文章 2021-11-10 10:52:27

  方法 | Elasticsearch Jest 批量操作bug 根因定位排查

  1、背景 使用Jest进行批量插入数据的时候，偶尔会出现如下的bug One or more of the items in the Bulk request failed, check BulkResult.getItems() for more information. 起初认为是偶发，就把并发数调小，就再没有关注。
• 11.10 10:51:45
  发表了文章 2021-11-10 10:51:45

  干货 | Elasticsearch 布道者Medcl对话携程Wood大叔核心笔记

  Elastic Podcast 第二期来啦, 这一次我们来到了位于上海的携程旅行网，携程内部大量运用了 Elasticsearch来进行集中式的运维日志管理和为业务部门提供统一的搜索服务平台， 目前线上总共部署了多达 94 个 Elasticsearch 集群和超过 700 多个 Elasticsearch 节点，每天新增日志 1600 亿条，峰值达到 300 万每秒，存放在 Elasticsearch里面的索引文档达到 2.5 万亿，磁盘存储达到 PB 级。 想知道携程是如何应对这些海量数据下的挑战，以及最佳实践，让我们一起来收听这一期的 Podcast，跟随携程的两位技术负责人吴晓刚和胡航
• 11.10 10:51:02
  发表了文章 2021-11-10 10:51:02

  实战 | 一步步排查基于业务场景的Elasticsearch难题！

  1、题记 我们在实际的业务场景中做Elasticsearch开发时，免不了遇到这样、那样的问题。 《死磕Elasticsearch方法论》中，已经告诉大家相关问题的排查方法。 这一节，我们以具体的示例，解决基于业务场景的Elasticsearch难题的方法？
• 11.10 10:50:01
  发表了文章 2021-11-10 10:50:01

  探究 | Elasticsearch如何物理删除给定期限的历史数据？

  1、题记 想到删除，基础认知是delete，细分为删除文档（document）和删除索引；要删除历史数据，基础认知是：删除了给定条件的数据，用delete_by_query。 实际操作发现： - 删除文档后，磁盘空间并没有立即减少，反而增加了？ - 除了定时任务+delete_by_query，有没有更好的方式呢？
• 11.10 10:49:19
  发表了文章 2021-11-10 10:49:19

  干货 | 吃透Elasticsearch 堆内存

  1、什么是堆内存？

  
• 11.10 10:47:56
  发表了文章 2021-11-10 10:47:56

  Elasticsearch6.X 去重详解

  1、题记 Elasticsearch有没有类似mysql的distinct的去重功能呢？ 1）如何去重计数？ 类似mysql: select distinct(count(1)) from my_table; 2）如何获取去重结果。 类似mysql：SELECT DISTINCT name,age FROM users;
• 11.10 10:47:17
  发表了文章 2021-11-10 10:47:17

  探究 | Elasticsearch CPU高排查思路

  一、可能导致ES CPU高的原因： 1、复杂的query查询 举例：我这边出现过200个组合wildcard query导致集群down掉的情况； 2、有大量的reindex操作 3、ES版本较低
• 11.10 10:46:26
  发表了文章 2021-11-10 10:46:26

  Elasticsearch6.X 新类型Join深入详解

  0、ES6.X 一对多、多对多的数据该如何存储和实现呢？

  
• 11.09 14:13:46
  发表了文章 2021-11-09 14:13:46

  Elasticsearch6.2.2 X-Pack部署及使用详解

  X-Pack已经开源，预计Elasticsearch6.3版本会全面集成，不再收费。 赶紧体验一下强大的X-pack吧！

  
• 11.09 14:08:30
  发表了文章 2021-11-09 14:08:30

  Elasticsearch实战 | 必要的时候，还得空间换时间!

  1、应用场景 实时数据流通过kafka后，根据业务需求，一部分直接借助kafka-connector入Elasticsearch不同的索引中。 另外一部分，则需要先做聚类、分类处理，将聚合出的分类结果存入ES集群的聚类索引中。如下图所示： 业务系统的分层结构可分为：接入层、数据处理层、数据存储层、接口层。 那么问题来了？ 我们需要基于聚合（数据处理层）的结果实现检索和聚合分析操作，如何实现更快的检索和更高效的聚合分析效果呢？

  
• 11.09 14:03:18
  发表了文章 2021-11-09 14:03:18

  Elasticsearch全量数据增量遍历实现原理

  0、需求 针对凤凰网财经版块的新闻数据和评论数据， 1个索引存储采集凤凰网财经版块的新闻数据；1个索引存储相关的财经数据评论结果。 统计： 1）某条新闻的评论数的多少？ 2）某条评论属于哪条新闻？ 3）当前已采集数据的所有评论、评论数汇总，按照评论数逆序排序，以便于图形化展示。
• 11.09 14:01:32
  发表了文章 2021-11-09 14:01:32

  Elasticsearch索引增量统计及定时邮件实现

  0、需求 随着ELKStack在应用系统中的数据规模的急剧增长，每天千万级别数据量（存储大小：10000000*10k/1024/1024=95.37GB，假设单条数据10kB，实际远大于10KB）的累积成为日常需求。 如何以相对简单的图形化效果展示数据的增量呢？ 本文给出思路和实现。

  
• 11.08 18:12:34
  发表了文章 2021-11-08 18:12:34

  Elasticsearch聚合优化 | 聚合速度提升5倍

  1、聚合为什么慢？ 大多数时候对单个字段的聚合查询还是非常快的， 但是当需要同时聚合多个字段时，就可能会产生大量的分组，最终结果就是占用 es 大量内存，从而导致 OOM 的情况发生。

  
• 11.08 18:11:11
  发表了文章 2021-11-08 18:11:11

  Elasticsearch实战 | match_phrase搜不出来，怎么办？

  1、问题抛出 某个词组在Elasitcsearch中的某个document中存在，就一定通过某种匹配方式把它搜出来。 举例：
• 11.08 18:10:34
  发表了文章 2021-11-08 18:10:34

  Elasticsearch聚合后分页深入详解

  1、Elasticsearch支持聚合后分页吗，为什么？ 不支持，看看Elasticsearch员工如何解读。

  
• 11.08 18:06:49
  发表了文章 2021-11-08 18:06:49

  Elasticsearch聚合深入详解——对比Mysql实现

  聚合认知前提 桶（Buckets）——满足特定条件的文档的集合 指标（Metrics）——对桶内的文档进行统计计算 SELECT COUNT(color) FROM table GROUP BY color COUNT(color) 相当于指标。 GROUP BY color 相当于桶。

  
• 11.08 18:05:33
  发表了文章 2021-11-08 18:05:33

  kafka最常用命令清单

  kafka版本：V0.2.10.1 zookeeper版本：V3.4.11 confluent版本：V3.3.0 一、confluent相关启动
• 11.08 18:04:40
  发表了文章 2021-11-08 18:04:40

  kafka数据同步Elasticsearch深入详解

  1、kafka同步到Elasticsearch方式？ 目前已知常用的方式有四种： 1）logstash_input_kafka插件； 缺点：不稳定（ES中文社区讨论） 2）spark stream同步； 缺点：太庞大 3）kafka connector同步； 4）自写程序读取、解析、写入

  
• 11.08 18:02:46
  发表了文章 2021-11-08 18:02:46

  实战 | Elasticsearch打造知识库检索系统

  题记 源自“死磕Elasticsearch”技术群里的讨论问题： ——我想用es做个类似于知识库的东西,所以需要索引一些pdf、word之类的文件，这个你之前有试过吗？能给个方向吗？

  
• 11.08 18:01:24
  发表了文章 2021-11-08 18:01:24

  DSL的诞生 | 复杂sql转成Elasticsearch DSL深入详解

  源自死磕ElasticsearchQQ群（626036393）中的一个问题： 问题如下： where (position=ES or work=ES or content=ES) and academic=本科 and （city=北京 or city=深圳） 1 怎么构建ES的查询条件？ 我的问题拆解与实现如下：

  
• 11.08 17:59:46
  发表了文章 2021-11-08 17:59:46

  实战 | Elasticsearch实现类Google高级检索

  一、高级检索的功能点 通过高级搜索配置搜索项，能更准确的过滤掉不相干信息，获取最想要的检索信息。 以Google搜索为例（截取核心片段）：

  
• 11.08 17:58:01
  发表了文章 2021-11-08 17:58:01

  干货 | Elasticsearch 集群健康值红色终极解决方案

  题记 Elasticsearch当清理缓存（ echo 3 > /proc/sys/vm/drop_caches ）的时候，出现 如下集群健康值：red，红色预警状态，同时部分分片都成为灰色。

  
• 11.08 17:55:49
  发表了文章 2021-11-08 17:55:49

  干货 | Elasticsearch5.X Mapping万能模板

  0、引言 在关系型数据库如Mysql中，设计库表需要注意的是： 1）需要几个表； 2）每个表有哪些字段； 3）表的主键及外键的设定——便于有效关联。 表的设计遵守范式约束，考虑表的可扩展性，避免开发后期对表做大的改动。 Mysql或者Oracle中，修改数据类型相对比较简单，通过命令行或者navicat、sqldeveloper等可视化工具直接修改。 即便千万级别数据量，多等点时间，也能修改好。

  
• 11.08 17:54:38
  发表了文章 2021-11-08 17:54:38

  刨根问底 | Elasticsearch 5.X集群多节点角色配置深入详解

  、问题引出 ES5.X节点类型多了ingest节点类型。 针对3个节点、5个节点或更多节点的集群，如何配置节点角色才能使得系统性能最优呢？

  
• 11.08 17:53:02
  发表了文章 2021-11-08 17:53:02

  docker ce 使用及两台docker集群通信配置详解

  1 docker ce 介绍 1.1 docker ce功能

  
• 11.08 17:49:34
  发表了文章 2021-11-08 17:49:34

  深究｜Elasticsearch单字段支持的最大字符数?

  在业务系统中，遇到过两个问题： 问题1：设置为keyword类型的字段，插入很长的大段内容后，报字符超出异常，无法插入。 问题2：检索超过ignore_above设定长度的字段后，无法返回结果。

  
• 11.08 17:48:23
  发表了文章 2021-11-08 17:48:23

  Elasticsearch究竟要设置多少分片数？

  0、引言 本文翻译自Elasticsearch20170918热乎的官方博客，原作者：Christian Dahlqvist。 在构建Elasticsearch集群的初期如果集群分片设置不合理，可能在项目的中后期就会出现性能问题。

  
• 11.08 17:47:08
  发表了文章 2021-11-08 17:47:08

  Elasticsearch大文件检索性能提升20倍实践（干货）

  1、大文件是多大？ ES建立索引完成全文检索的前提是将待检索的信息导入Elaticsearch。