工程师甲_个人页

2020年12月

• 12.17 10:51:51
  发表了文章 2020-12-17 10:51:51

  Elasticsearch 全观测技术解析与应用（二）：技术原理与生态

  本文从理论和技术层面介绍了全观测的技术，包括全观测与可观测的区别，如何实 现可观测，如何构建可观测，可观测每一步所存在的问题，以及全观测如何解决这些问题， 它又有哪些工具可以使用等进行了介绍。

  
• 12.17 10:32:05
  发表了文章 2020-12-17 10:32:05

  Elasticsearch 全观测技术解析与应用（一）：走进阿里云ES

  本文对 Elasticsearch 进行了整体介绍，包括 Elasticsearch 生态矩阵的构成，它 所具备的低成本和强功能等特性，以及与搭建开源 ES 服务相比阿里云 Elasticsearch 所 具备的优势。此外，还对 Elasticsearch 全观测产品能力、架构、技术难点和实践案例进 行了分享。希望通过本文，大家能对 Elasticsearch 和全观测有更全面的认识。

  
• 12.09 15:49:22
  发表了文章 2020-12-09 15:49:22

  双12双倍快乐 | 搜索产品（Elasticsearch、开放搜索）7折起再享满减

  2020双十二收获双倍快乐，加入“阿里云飞天会员”,搜索产品（Elasticsearch、开放搜索）七折起，，再享最高上万元云津贴

  
• 12.03 11:19:37
  发表了文章 2020-12-03 11:19:37

  Elastic：机器学习的实践 - single metric job

  在 Elasticsearch 中，可以将机器学习视为搜索和分析的自然扩展。它是对时间序列数据的分析。 Elasticsearch 支持的机器学习功能可以通过运行 metric 任务来自动分析时间序列数据，该 metric 任务包含一个或多个定义了将要分析的字段的检测器。 它可以帮助我们识别单变量时间序列数据中的异常，并向我们显示正常情况。在 Elasticsearch 中，我们可以通过机器学习来检测时间系列中的异常情况。

  

2020年11月

• 11.12 14:09:06
  发表了文章 2020-11-12 14:09:06

  【最佳实践】Elastic：机器学习的实践 - categorization

  如果你有基于消息的日志条目，但是这些日志条目是机器生成的，则在将它们用于异常检测之前，首先需要将它们组织成类似的消息类型。 该过程称为分类 （cateogrization)，Elastic ML 可以帮助完成该过程。Categorization 将结构引入半结构化数据，以便对其进行分析。这样做的好处就是在事先在并不知道 message 含有什么，就能找到日志里的异常。

  

2020年10月

• 10.30 16:32:24
  发表了文章 2020-10-30 16:32:24

  Elasticsearch：理解 Percolator 数据类型及 Percolate 查询

  Elasticsearch 是一款功能强大且功能丰富的搜索工具。本文将介绍一种小众的数据类型 Percolator ，同时介绍Percolate query的使用。 您需要基本了解 Elasticsearch，尤其是mapping和search。

  
• 10.30 15:27:17
  发表了文章 2020-10-30 15:27:17

  双11返场 | 搜索推荐产品全场7折（Elasticsearch/开放搜索/智能推荐）

  错过双11折扣？别担心，截止12月1日0时，返场年付7折继续

  
• 10.28 11:26:17
  发表了文章 2020-10-28 11:26:17

  好消息！Elasticsearch中也可以使用机器学习了

  机器学习已经在现在的工业实践中得到了广泛的应用。作为强大搜索引擎的ElasticSearch也在6.3开始内置了对机器学习的支持。

  
• 10.23 11:27:55
  发表了文章 2020-10-23 11:27:55

  【最佳实践】Vega：定制开箱即用的 Kibana 可视化分析图标

  Kibana 提供了很多开箱即用的可视化工具。它们可以让我们很方便地创建我们想要的分析图表。如果我们想定制一个我们自己的可视化图，那该怎么办呢？传统的方法是创建自己的插件来扩充我们自己的需求，但是这种开发的成本及周期都比较长。很幸运的是，Kibana 提供了一种很方便的可视化工具 : Vega。在今天的文章中，我们将来介绍如何创建一个属于我们自己的 Vega 可视化图。

  
• 10.20 16:24:20
  发表了文章 2020-10-20 16:24:20

  报名中 | 4天4城(深圳/广州/上海/武汉），10位专家带你实操演练，如何玩转行业大数据应用

  您是否了解数仓最新技术趋势「湖仓一体」？您是否还在惆怅业务数据不够实时？您是否在大数据开发治理、日志数据分析和个性化推荐等方面遇到难题？

  
• 10.19 11:31:17
  发表了文章 2020-10-19 11:31:17

  大数据上手实战！《Elasticsearch 实战进阶营》第二季限时免费报名啦

  8月18日，阿里巴巴大数据训练营“九营齐开”正式开营，来自数据计算、数据分析、数据仓库、搜索、机器学习、数据智能等多个领域的技术大佬亲身上阵教学，解读各技术领域基础原理，剖析行业实践案例，帮助开发者实现大数据从0到1的上手学习。

  
• 10.14 10:59:35
  提交了问题 2020-10-14 10:59:35

  阿里云 Elasticsearch 备份数据在实例过期后保留多久？有什么更好的数据保存方法吗？

• 10.14 10:58:10
  回答了问题 2020-10-14 10:58:10

  阿里云 的 ES 自动备份的 snapshot ，能恢复到新建的ES集群上去吗？

  赞0 踩0 评论0
• 10.13 17:34:02
  提交了问题 2020-10-13 17:34:02

  阿里云 的 ES 自动备份的 snapshot ，能恢复到新建的ES集群上去吗？

• 10.09 10:56:20
  发表了文章 2020-10-09 10:56:20

  运用 makelogs 创建合适的 Elasticsearch 测试数据

  我们在使用 Elasticsearch 时，经常想找一些数据来进行测试，比如我们想试一下 Kibana 的可视化工具。我们有时想有很多的数据，但是有时就是找不到合适的数据。那么我们该怎么办呢？当然，我们有一种简单的办法就是使用 Kibana 给我们提供的测试数据，但是它可能也有很多的局限性：

  

2020年09月

• 09.27 11:23:56
  发表了文章 2020-09-27 11:23:56

  【最佳实践】运用 Logstash Fingerprint 过滤器处理并删除 Elasticsearch 重复数据

  这篇文章介绍了使用 Logstash 在 Elasticsearch 中对数据进行重复数据删除的方法。 根据你的用例，Elasticsearch中 的重复内容可能不被接受。 例如，如果你要处理指标，则 Elasticsearch中 的重复数据可能会导致错误的聚合和不必要的警报。 即使对于某些搜索用例，重复的数据也可能导致不良的分析和搜索结果。

  
• 09.24 17:41:25
  发表了文章 2020-09-24 17:41:25

  Elasticsearch， 你值得拥有！—— 云栖大会 Elasticsearch 场景化应用全景回顾

  云栖大会大咖云集，作为Elastic爱好者，参加大会就是想看平时看不到、学不到的内容。

  
• 09.24 16:57:09
  发表了文章 2020-09-24 16:57:09

  同行计划——阿里云搜索&推荐技术社群合伙人招募

  为了与更多技术人一起走得更远，我们发起2020同行计划。

  
• 09.21 11:44:05
  发表了文章 2020-09-21 11:44:05

  精华回顾 | 云栖大会 Elasticsearch 专场，集结8位ES大咖，超5000人围观的技术专场

  收藏本文，你将不错过Elasticsearch 场景化应用的任何精彩内容！

  
• 09.09 14:34:27
  发表了文章 2020-09-09 14:34:27

  训练营报名中 | 5天突破Elasticsearch全观测日志分析能力

  开源 Elasticsearch 技术训练营 ,9月7日至9月13日正式免费开放报名啦~~

  

2020年08月

• 08.24 11:23:12
  发表了文章 2020-08-24 11:23:12

  Elasticsearch 既是搜索引擎又是数据库？真的有那么全能吗？

  经常遇到很多朋友询问，如何学好 Elasticsearch？这个问题本质上很不好回答，但我一直又很想好好回答，所以本文就以我个人的经验视角，跟大家探讨一下如何正确的拥抱 Elasticsearch。

  
• 08.18 15:40:30
  发表了文章 2020-08-18 15:40:30

  9大训练营免费开营！阿里云大数据团队的独门绝学全在这了

  即日起，阿里云大数据训练营九营齐开！理论与实践，概念与案例，大数据从0到1上手学习，行业大神真人带练！

  
• 08.18 15:06:24
  发表了文章 2020-08-18 15:06:24

  Elasticsearch 场景化检索及全观测运维介绍

  基于Elasticsearch场景化检索及全观测运维解决方案的介绍，内容包括Elasticsearch产品介绍，电商零售分析检索能力与解决方案，以及在线教育全观测运维监控能力与解决方案。

  
• 08.12 10:12:10
  发表了文章 2020-08-12 10:12:10

  大神都这么做，让 Kibana 搜索语法 query string 也能轻松上手

  kibana 的搜索框默认选择了 query string 的搜索语法，虽然简洁却不简单，本文来帮大家如何轻松上手；

  
• 08.05 16:31:06
  发表了文章 2020-08-05 16:31:06

  PB级数据量背后阿里云 Elasticsearch 的内核优化实践

  本文将揭秘阿里云在面对 PB 级数据量挑战下所做的内核优化实践。

  
• 08.04 09:58:21
  发表了文章 2020-08-04 09:58:21

  这些行业用阿里云 Elasticsearch 弹性伸缩能力，将减少47%成本

  弹性伸缩帮助用户根据定时/定量等策略，自动触发资源auto scaling，最大程度保证业务服务质量，并尽可能的减少低峰期的资源使用成本及人力运维负担。

  

2020年07月

• 07.29 10:30:56
  发表了文章 2020-07-29 10:30:56

  运用 geoip 处理器来丰富 Elasticsearch 数据

  Geoip 处理器可以解析 IPv4 和 IPv6 地址，根据来自 Maxmind 数据库的数据添加有关 IP 地址地理位置的信息，并将此信息添加到 geoip 字段下。

  
• 07.28 10:28:10
  发表了文章 2020-07-28 10:28:10

  Elasticsearch 如何实现 SQL 语句中 Group By 和 Limit 的功能

  给大家讲一条常见的 SQL 语句如何用 Elasticsearch 的查询语言实现。

  
• 07.22 09:39:12
  发表了文章 2020-07-22 09:39:12

  搜“apple”不返回“Apple”？你需要了解 Elasticsearch Normalizer

  在 Elasticsearch 中处理字符串类型的数据时，如果我们想把整个字符串作为一个完整的 term 存储，我们通常会将其类型 type 设定为 keyword。但有时这种设定又会给我们带来麻烦，比如同一个数据再写入时由于没有做好清洗，导致大小写不一致，比如 apple、Apple 两个实际都是 apple，但当我们去搜索 apple 时却无法返回 Apple 的文档。要解决这个问题，就需要 Normalizer 出场了。

  
• 07.21 10:51:02
  发表了文章 2020-07-21 10:51:02

  初次使用 Elasticsearch 遇多种分词难题？那是你没掌握这些原理

  命名有包含搜索关键词的文档，但结果却没有？存进去的文档被分成哪些词(term)了？自定义分词规则，但感觉好麻烦呢，无从下手？

  
• 07.16 18:29:53
  发表了文章 2020-07-16 18:29:53

  【最佳实践】使用 Elasticsearch SQL 实现数据查询

  如何使用 Elasticsearch SQL 来对我们的数据进行查询。

  
• 07.15 09:57:49
  发表了文章 2020-07-15 09:57:49

  剖析 Elasticsearch 源码，解读 ES 在 index、create 时的原理

  “源码面前，了无秘密”

  
• 07.08 10:17:23
  发表了文章 2020-07-08 10:17:23

  【最佳实践】Elasticsearch Snapshot 备份的使用方法

  常见的数据库都会提供备份的机制，以解决在数据库无法使用的情况下，可以开启新的实例，然后通过备份来恢复数据减少损失。

  
• 07.07 10:02:26
  发表了文章 2020-07-07 10:02:26

  Elasticsearch 字段类型之 Range 经典应用场景

  Elasticsearch 产品功能越来越强大，字段类型支持很多种，部分类型还引入了专用的算法。一个客户企业选中 Elasticsearch 作为搜索中台，居然是看中了 Elasticsearch 的 Range 字段类型，下面就围绕这个 Range 类型展开。

  
• 07.02 10:16:08
  发表了文章 2020-07-02 10:16:08

  【最佳实践】Elastic stack 实时分析下你的Redis slowlog

  Redis 是目前最流行的 NoSQL 内存数据库，然而如果在使用过程中出现滥用、乱用的情况，很容易发生性能问题，此时我们就要去关注慢查询日志，本文尝试给大家介绍一种通过 elastic stack 来快速分析 Redis 慢查询日志的方法，希望能给大家提供帮助。

  
• 07.01 09:55:24
  发表了文章 2020-07-01 09:55:24

  【最佳实践】ingest对异源数据结构化处理，并由Elastic Stack实现可观测性分析

  本文将讲述如何运用Elasticsearch的 ingest 节点实现数据结构化，并对数据进行处理。

  

2020年06月

• 06.30 10:02:22
  发表了文章 2020-06-30 10:02:22

  Elasticsearch对垒8大竞品技术，孰优孰劣？

  简要用Elasticsearch与其它8中数据产品做了个对比，基于很多业务场景对比，代表了笔者对于Elasticsearch优胜劣汰的看法

  
• 06.28 15:20:28
  发表了文章 2020-06-28 15:20:28

  【最佳实践】一文掌握并应用Elasticsearch中的GC实现垃圾日志处理

  你是否了解 GC 日志？以及如何通过GC，来解决何时找到、何时处理以及如何处理垃圾日志？

  
• 06.28 10:02:19
  发表了文章 2020-06-28 10:02:19

  【最佳实践】如何使用 Elasticsearch ingest 节点来丰富日志和指标

  丰富化是将权威来源的数据合并到文档中的过程，当将这些数据导入到 Elasticsearch 中时，并用其他信息丰富文档，通常可以帮助我们更好的对信息进行搜索或查看数据。

  
• 06.23 15:53:16
  发表了文章 2020-06-23 15:53:16

  Elasticsearch集群模式知多少？

  Elasticsearch经过多年发展，集群模式已经非常成熟，涵盖的技术点非常多，对于使用者来说，掌握并熟练运用至关重要。那么Elasticsearch有多少种集群模式呢？当前适合哪种集群模式？

  
• 06.18 09:47:01
  发表了文章 2020-06-18 09:47:01

  【最佳实践】不可不掌握的2种有效减少Logstash启动等待时间的使用技巧

  Logstash 是 Elastic Stack 中功能最强大的 ETL 工具，相较于 beats 家族，Logstash 略显臃肿，但却功能丰富及处理能力强大。大家在使用的过程中肯定体验过其启动时的慢吞吞，那么有什么办法可以减少 Logstash 的启动等待时间，提高编写其处理配置文件的效率呢？本文给大家推荐一个小技巧，帮助大家解决如下两个问题，让大家更好地与这个笨重的大家伙相处。

  
• 06.17 15:30:54
  发表了文章 2020-06-17 15:30:54

  【最佳实践】Elasticsearch 运用 shard filtering 实现冷热节点索引分配

  在 Elasticsearch 的部署中，由于 node（节点）能力不同，会用来做不同的用途：运算能力较强的节点可以用来做 indexing（建立索引表格）的工作，而那些能力较差一点的节点，我们可以用来做搜索用途，这就是我们常说的 hot / warm 架构。

  
• 06.16 10:10:12
  发表了文章 2020-06-16 10:10:12

  一次有趣的Elasticsearch+矩阵变换聚合实践

  Elasticsearch 聚合功能非常丰富，性能也相当不错，特别适合实时聚合分析场景，但在二次聚合上也有明显短板。本项目是一个基于日期维度做预处理的技术方案，以下是结合 Elasticsearch 优缺点扬长避短的一次尝试性实战，非常有意思，希望可以带来一些参考，同时欢迎各种讨论。

  
• 06.11 10:19:54
  发表了文章 2020-06-11 10:19:54

  【资源分享】esrally：Elasticsearch 官方压测工具测试数据共享（国内）

  自从上篇发布的关于“【最佳实践】esrally：Elasticsearch 官方压测工具及运用详解”后，不停有同学询问使用中遇到的问题，尤其是测试数据存储在国外 aws 上，导致下载极慢的情况出现。为了让大家快速上手使用 esrally，我 build 了一个可用的 docker 镜像，将 13GB 的测试数据拉取到国内的存储上，通过百度网盘的方式分享给大家。大家只要按照下面简单的几步操作就可以顺畅地使用 esrally 来进行相关测试了。

  
• 06.10 10:24:56
  发表了文章 2020-06-10 10:24:56

  【最佳实践】简单配置，实现Filebeat多行日志传送

  在解决应用程序问题时，多行日志为开发人员提供了宝贵的信息。 堆栈跟踪就是一个例子。 堆栈跟踪是引发异常时应用程序处于中间的一系列方法调用。 堆栈跟踪包括遇到错误的相关行以及错误本身。

  
• 06.09 15:45:56
  发表了文章 2020-06-09 15:45:56

  【最佳实践】esrally：Elasticsearch 官方压测工具及运用详解

  由于 Elasticsearch（后文简称 es） 的简单易用及其在大数据处理方面的良好性能，越来越多的公司选用 es 作为自己的业务解决方案。然而在引入新的解决方案前，不免要做一番调研和测试，本文便是介绍官方的一个 es 压测工具 esrally，希望能为大家带来帮助。

  
• 06.04 17:27:05
  发表了文章 2020-06-04 17:27:05

  【最佳实践】Transforms数据透视让Elasticsearch数据更易分析

  Transforms 使您能够从 Elasticsearch 索引中检索信息，对其进行转换并将其存储在另一个索引中。 使您能够透视数据并创建以实体为中心的索引，这些索引可以汇总实体的行为。 这会将数据组织成易于分析的格式。让我们使用Kibana示例数据来演示如何使用变换来透视和汇总数据。

  
• 06.03 15:55:10
  发表了文章 2020-06-03 15:55:10

  DB 与 Elasticsearch 混合应用之数据离线同步

  详细介绍如何解决DB到Elasticsearch数据离线同步问题