检索分析服务 Elasticsearch版

即日起，阿里云大数据训练营九营齐开！理论与实践，概念与案例，大数据从0到1上手学习，行业大神真人带练！

基于Elasticsearch场景化检索及全观测运维解决方案的介绍，内容包括Elasticsearch产品介绍，电商零售分析检索能力与解决方案，以及在线教育全观测运维监控能力与解决方案。

本文以将自建Elasticsearch迁移至阿里云Elasticsearch中为例，为您介绍通过OSS快照迁移数据的具体方法。

kibana 的搜索框默认选择了 query string 的搜索语法，虽然简洁却不简单，本文来帮大家如何轻松上手；

Redis是目前流行的高性能key-value数据库，但如果使用不当，很容易出现慢查询。慢查询过多或者一个时间较长（例如20s）的慢查询会导致操作队列（Redis是单进程）堵塞，可能会导致服务不可用。因此您需要实时收集并分析Redis slowlog，在出现问题时快速定位解决。本文介绍如何通过Elasticsearch和rsbeat实时分析Redis slowlog。

本文将揭秘阿里云在面对 PB 级数据量挑战下所做的内核优化实践。

本文以阿里云Elasticsearch为例，为您演示通过第三方社区提供的solr-to-es工具，将Solr节点中的文档迁移到阿里云Elasticsearch（简称ES）中的方法。

弹性伸缩帮助用户根据定时/定量等策略，自动触发资源auto scaling，最大程度保证业务服务质量，并尽可能的减少低峰期的资源使用成本及人力运维负担。

本文介绍Elasticsearch的Java Client的原理、版本兼容性以及使用示例，帮助您快速使用Java客户端与Elasticsearch集群进行交互，完成检索、分析等相关业务。

Geoip 处理器可以解析 IPv4 和 IPv6 地址，根据来自 Maxmind 数据库的数据添加有关 IP 地址地理位置的信息，并将此信息添加到 geoip 字段下。

给大家讲一条常见的 SQL 语句如何用 Elasticsearch 的查询语言实现。

在 Elasticsearch 中处理字符串类型的数据时，如果我们想把整个字符串作为一个完整的 term 存储，我们通常会将其类型 type 设定为 keyword。但有时这种设定又会给我们带来麻烦，比如同一个数据再写入时由于没有做好清洗，导致大小写不一致，比如 apple、Apple 两个实际都是 apple，但当我们去搜索 apple 时却无法返回 Apple 的文档。要解决这个问题，就需要 Normalizer 出场了。

命名有包含搜索关键词的文档，但结果却没有？存进去的文档被分成哪些词(term)了？自定义分词规则，但感觉好麻烦呢，无从下手？

如何使用 Elasticsearch SQL 来对我们的数据进行查询。

“源码面前，了无秘密”

常见的数据库都会提供备份的机制，以解决在数据库无法使用的情况下，可以开启新的实例，然后通过备份来恢复数据减少损失。

Elasticsearch 产品功能越来越强大，字段类型支持很多种，部分类型还引入了专用的算法。一个客户企业选中 Elasticsearch 作为搜索中台，居然是看中了 Elasticsearch 的 Range 字段类型，下面就围绕这个 Range 类型展开。

Redis 是目前最流行的 NoSQL 内存数据库，然而如果在使用过程中出现滥用、乱用的情况，很容易发生性能问题，此时我们就要去关注慢查询日志，本文尝试给大家介绍一种通过 elastic stack 来快速分析 Redis 慢查询日志的方法，希望能给大家提供帮助。

本文将讲述如何运用Elasticsearch的 ingest 节点实现数据结构化，并对数据进行处理。

简要用Elasticsearch与其它8中数据产品做了个对比，基于很多业务场景对比，代表了笔者对于Elasticsearch优胜劣汰的看法

你是否了解 GC 日志？以及如何通过GC，来解决何时找到、何时处理以及如何处理垃圾日志？

丰富化是将权威来源的数据合并到文档中的过程，当将这些数据导入到 Elasticsearch 中时，并用其他信息丰富文档，通常可以帮助我们更好的对信息进行搜索或查看数据。

Elasticsearch经过多年发展，集群模式已经非常成熟，涵盖的技术点非常多，对于使用者来说，掌握并熟练运用至关重要。那么Elasticsearch有多少种集群模式呢？当前适合哪种集群模式？

Logstash 是 Elastic Stack 中功能最强大的 ETL 工具，相较于 beats 家族，Logstash 略显臃肿，但却功能丰富及处理能力强大。大家在使用的过程中肯定体验过其启动时的慢吞吞，那么有什么办法可以减少 Logstash 的启动等待时间，提高编写其处理配置文件的效率呢？本文给大家推荐一个小技巧，帮助大家解决如下两个问题，让大家更好地与这个笨重的大家伙相处。

在 Elasticsearch 的部署中，由于 node（节点）能力不同，会用来做不同的用途：运算能力较强的节点可以用来做 indexing（建立索引表格）的工作，而那些能力较差一点的节点，我们可以用来做搜索用途，这就是我们常说的 hot / warm 架构。

Elasticsearch 聚合功能非常丰富，性能也相当不错，特别适合实时聚合分析场景，但在二次聚合上也有明显短板。本项目是一个基于日期维度做预处理的技术方案，以下是结合 Elasticsearch 优缺点扬长避短的一次尝试性实战，非常有意思，希望可以带来一些参考，同时欢迎各种讨论。

自从上篇发布的关于“【最佳实践】esrally：Elasticsearch 官方压测工具及运用详解”后，不停有同学询问使用中遇到的问题，尤其是测试数据存储在国外 aws 上，导致下载极慢的情况出现。为了让大家快速上手使用 esrally，我 build 了一个可用的 docker 镜像，将 13GB 的测试数据拉取到国内的存储上，通过百度网盘的方式分享给大家。大家只要按照下面简单的几步操作就可以顺畅地使用 esrally 来进行相关测试了。

在解决应用程序问题时，多行日志为开发人员提供了宝贵的信息。 堆栈跟踪就是一个例子。 堆栈跟踪是引发异常时应用程序处于中间的一系列方法调用。 堆栈跟踪包括遇到错误的相关行以及错误本身。

由于 Elasticsearch（后文简称 es） 的简单易用及其在大数据处理方面的良好性能，越来越多的公司选用 es 作为自己的业务解决方案。然而在引入新的解决方案前，不免要做一番调研和测试，本文便是介绍官方的一个 es 压测工具 esrally，希望能为大家带来帮助。

Transforms 使您能够从 Elasticsearch 索引中检索信息，对其进行转换并将其存储在另一个索引中。 使您能够透视数据并创建以实体为中心的索引，这些索引可以汇总实体的行为。 这会将数据组织成易于分析的格式。让我们使用Kibana示例数据来演示如何使用变换来透视和汇总数据。

详细介绍如何解决DB到Elasticsearch数据离线同步问题

详细介绍如何解决DB到Elasticsearch数据实时同步问题

在今天的文章中，我们来详细地描述如果使用Filebeat把MySQL的日志信息传输到Elasticsearch中。

从技术、业务两个层面探讨，为什么要使用 DB 结合 ES 混用的模式。

本文介绍“为什么要从MongoDB迁移到Elasticsearch？”以及“如何从MongoDB迁移到Elasticsearch？”。

为了充分利用阿里云 Elasticsearch 提供的强大搜索功能，很多公司都会在关系型数据库的基础上，部署 Elasticsearch。这种情况下，则需要确保 Elasticsearch 与所关联关系型数据库中的数据保持同步。 在本篇博文中，我会演示如何使用 Logstash 高效复制数据，将关系型数据库阿里云 RDS 中的数据更新同步到 Elasticsearch 中。

RabbitMQ是一个开放源消息代理，创建于2007年以实现 AMQP，并且在过去的十二年中，不断增加插件列表，目前已包括 HTTP，STOMP，SMTP 和其他协议。它也是 Kafka 的一个强劲的竞争者。

阿里云Elasticsearch官方在2017年的时候达成了非常紧密的战略合作关系。自此以后，一直在云上致力于为大家提供全链路的ElasticStack生态内所有的能力的一个托管服务。阿里云产品专家，洪阳和阿里云技术专家，志宸两位专家为大家带来阿里云Elasticsearch增强版的介绍。

索引生命周期管理（ILM）是指：ES数据索引从设置，创建，打开，关闭，删除的全生命周期过程的管理；为了降低索引存储成本，提升集群性能和执行效率，我们可以通过对存储在阿里云 Elasticsearch 的数据做生命周期管理。

Redis 以其易用性的特性而被广泛使用，但管理Redis服务器或集群同样带来诸多挑战——如磁盘故障或内存不足，都可能导致失败，而采集、分析、监控 Redis 日志，可以更好的帮助我们管理Redis服务器。

阿里云 Elastic Stack （Elasticsearch、Logstash、Kibana、Beats），作为一站式日志管理、分析平台，将为工程师提供一种非常简单有效的方法来监控 Nginx 。

轻量化数据采集器Beats入门教程，帮助 Elasticsearch 初学者全面了解什么是 Beats、如何快速部署 Beats。

本周课程（19~22讲）阮一鸣老师详细的讲解如何设置Elasticsearch Mapping，并通过配置 Mapping 实现自定义Analyzer，同时运用 Index Template 和 Dynamic Template 更方便的设计Mapping 索引，还简单介绍了 Elasticsearch 多种聚合分析方式。

本周课程（15~18讲）详细介绍了 Elasticsearch URI Search 的基本概念，以及什么是 Request Body 与 Query DSL，如何通过 Query String & Simple Query String 进行查询，并对Dynamic Mapping 和常见字段类型进行了介绍。

Elasticsearch作为一个分布式、高扩展、实时的搜索与数据分析引擎，因其轻量级、稳定、可靠、快速等特性受到越来越多开发者的青睐，在搜索、日志分析、运维监控和安全分析等领域得到广泛应用。阿里云Elasticsearch技术团队，深度采访了来自阿里巴巴、vivo、携程、eBay等知名公司的技术专家，推出了Elasticsearch大咖说系列专题，为广大开发者提供技术入门与进阶的经验分享，以及最佳应用实践参考。

本周课程（11~14讲）介绍了 如何对Elasticsearch 文档增删改查、什么是倒排索引、分词的介绍及 Elasticsearch 各个分词的作用、以及Elasticsearch 搜索查询方式及相关性衡量指标。

“图片搜索”是作为导购类网站，比较常见的一种功能，其实现的方式也有多种。但如何做到快速、精准、简单等特性，本文给你答案。

Elasticsearch 作为一个开箱即用的搜索引擎，其丰富的功能和极低的使用门槛吸引着越来越多的公司和用户选择它作为搜索和数据分析的工具

『Elasticsearch 入门课程23讲』目前已播出至第10讲，本周通过阮一鸣老师细致的讲解及实操，让大家了解如何通过 Docker 运行 Elasticsearch Kibana 、如何安装 Logstash 并导入数据 、对 Elasticsearch 关于索引、文档、REST API、节点、集群、分片及副本有了一个系统的了解。

Logstash & Beats，在整个 Elastic Stack 数据链路中，属于前数据链路，目的是把多源数据接入到 Elasticsearch 中，并由 Elasticsearch 进行各种分析及检索，所以对于 Elastic Stack 来说，前数据链路的数据接入难度及复杂度，决定了业务数据实时监测及问题定位的难度。如何快速、简单、低成本接入多源数据？本文告诉你答案。