检索分析服务 Elasticsearch版

如何利用大数据和AI破解在线教育增长难题？数据存储成本高、业务查询分析效率低怎么解决？ 3天6大主题，深度剖析行业场景下的大数据痛点，分享最实用的业务经验。 特邀您入营，一起突破增长困境。

本书从介绍Elasticsearch、全观测技术原理、行业应用到技术实践，全面系统地解读在大数据背景下，运维人员、开发人员等应用全观测技术的价值和实践上手指南。还有借助阿里云环境进行的 ES 实战演练，详细的图文说明，手把手引导大家系统地使用 ES。

本文是借助阿里云环境进行的ES实战演练，主要演示了APM的配置和使用过程，介绍了相关界面的使用和注意事项，引入大家系统地使用ES。

本文主要解决 3 个问题：1.什么是全观测性？2.为什么是 Elastic Stack？3.全观 测性行业应用场景。介绍了全观测性的概念，Elastic Stack 技术栈的 Kibana、 Elasticsearch、Beats、Logstash 等产品，以及全观测在应用系统、中间件和操作系统 的应用。

本文梳理了全观测流程，介绍了Elastic的整套工具及其在全观测中的能力，并且用两个实例展示了如何用这些工具进行全观测。

本文从理论和技术层面介绍了全观测的技术，包括全观测与可观测的区别，如何实 现可观测，如何构建可观测，可观测每一步所存在的问题，以及全观测如何解决这些问题， 它又有哪些工具可以使用等进行了介绍。

本文对 Elasticsearch 进行了整体介绍，包括 Elasticsearch 生态矩阵的构成，它 所具备的低成本和强功能等特性，以及与搭建开源 ES 服务相比阿里云 Elasticsearch 所 具备的优势。此外，还对 Elasticsearch 全观测产品能力、架构、技术难点和实践案例进 行了分享。希望通过本文，大家能对 Elasticsearch 和全观测有更全面的认识。

Elasticsearch 是业内比较热门和主流的信息检索分析引擎，在 DB-Engine 指数排行上是全球热度第 7 的数据库。本书将从介绍Elasticsearch、全观测技术原理、行业应用到技术实践，全面系统地解读在大数据背景下，运维人员、开发人员等应用全观测技术的价值和实践上手指南。还有借助阿里云环境进行的 ES 实战演练，详细的图文说明，手把手引导大家系统地使用ES。

2020双十二收获双倍快乐，加入“阿里云飞天会员”,搜索产品（Elasticsearch、开放搜索）七折起，，再享最高上万元云津贴

在 Elasticsearch 中，可以将机器学习视为搜索和分析的自然扩展。它是对时间序列数据的分析。 Elasticsearch 支持的机器学习功能可以通过运行 metric 任务来自动分析时间序列数据，该 metric 任务包含一个或多个定义了将要分析的字段的检测器。 它可以帮助我们识别单变量时间序列数据中的异常，并向我们显示正常情况。在 Elasticsearch 中，我们可以通过机器学习来检测时间系列中的异常情况。

如果你有基于消息的日志条目，但是这些日志条目是机器生成的，则在将它们用于异常检测之前，首先需要将它们组织成类似的消息类型。 该过程称为分类 （cateogrization)，Elastic ML 可以帮助完成该过程。Categorization 将结构引入半结构化数据，以便对其进行分析。这样做的好处就是在事先在并不知道 message 含有什么，就能找到日志里的异常。

Elasticsearch 是一款功能强大且功能丰富的搜索工具。本文将介绍一种小众的数据类型 Percolator ，同时介绍Percolate query的使用。 您需要基本了解 Elasticsearch，尤其是mapping和search。

错过双11折扣？别担心，截止12月1日0时，返场年付7折继续

机器学习已经在现在的工业实践中得到了广泛的应用。作为强大搜索引擎的ElasticSearch也在6.3开始内置了对机器学习的支持。

Kibana 提供了很多开箱即用的可视化工具。它们可以让我们很方便地创建我们想要的分析图表。如果我们想定制一个我们自己的可视化图，那该怎么办呢？传统的方法是创建自己的插件来扩充我们自己的需求，但是这种开发的成本及周期都比较长。很幸运的是，Kibana 提供了一种很方便的可视化工具 : Vega。在今天的文章中，我们将来介绍如何创建一个属于我们自己的 Vega 可视化图。

您是否了解数仓最新技术趋势「湖仓一体」？您是否还在惆怅业务数据不够实时？您是否在大数据开发治理、日志数据分析和个性化推荐等方面遇到难题？

8月18日，阿里巴巴大数据训练营“九营齐开”正式开营，来自数据计算、数据分析、数据仓库、搜索、机器学习、数据智能等多个领域的技术大佬亲身上阵教学，解读各技术领域基础原理，剖析行业实践案例，帮助开发者实现大数据从0到1的上手学习。

我们在使用 Elasticsearch 时，经常想找一些数据来进行测试，比如我们想试一下 Kibana 的可视化工具。我们有时想有很多的数据，但是有时就是找不到合适的数据。那么我们该怎么办呢？当然，我们有一种简单的办法就是使用 Kibana 给我们提供的测试数据，但是它可能也有很多的局限性：

这篇文章介绍了使用 Logstash 在 Elasticsearch 中对数据进行重复数据删除的方法。 根据你的用例，Elasticsearch中 的重复内容可能不被接受。 例如，如果你要处理指标，则 Elasticsearch中 的重复数据可能会导致错误的聚合和不必要的警报。 即使对于某些搜索用例，重复的数据也可能导致不良的分析和搜索结果。

云栖大会大咖云集，作为Elastic爱好者，参加大会就是想看平时看不到、学不到的内容。

为了与更多技术人一起走得更远，我们发起2020同行计划。

收藏本文，你将不错过Elasticsearch 场景化应用的任何精彩内容！

开源 Elasticsearch 技术训练营 ,9月7日至9月13日正式免费开放报名啦~~

在今天的文章中，我们将参考之前的文章 “如何使用 Elasticsearch ingest 节点来丰富日志和指标”。我们可以利用 Elasticsearch ingest 节点来更加丰富我们的数据，并对这些数据做更进一步的的分析。

本书是搜索&推荐技术应用系列的第一本。阅读本书，您将清晰了解到：Elasticsearch 对比主流数据产品，到底有哪些优劣势？人脸识别、地理位置分析等典型场景，如何轻松完成？PB级大数据下，如何保障毫秒级的检索与秒级分析...

如果您需要收集数据，但没有资源来运行资源密集型数据收集器，那么Beats会是您最佳的选择。这种无处不在（涵盖所有联网设备）的数据收集方式，能够让您快速检测到异常情况并做出反应。

经常遇到很多朋友询问，如何学好 Elasticsearch？这个问题本质上很不好回答，但我一直又很想好好回答，所以本文就以我个人的经验视角，跟大家探讨一下如何正确的拥抱 Elasticsearch。

即日起，阿里云大数据训练营九营齐开！理论与实践，概念与案例，大数据从0到1上手学习，行业大神真人带练！

基于Elasticsearch场景化检索及全观测运维解决方案的介绍，内容包括Elasticsearch产品介绍，电商零售分析检索能力与解决方案，以及在线教育全观测运维监控能力与解决方案。

本文以将自建Elasticsearch迁移至阿里云Elasticsearch中为例，为您介绍通过OSS快照迁移数据的具体方法。

kibana 的搜索框默认选择了 query string 的搜索语法，虽然简洁却不简单，本文来帮大家如何轻松上手；

Redis是目前流行的高性能key-value数据库，但如果使用不当，很容易出现慢查询。慢查询过多或者一个时间较长（例如20s）的慢查询会导致操作队列（Redis是单进程）堵塞，可能会导致服务不可用。因此您需要实时收集并分析Redis slowlog，在出现问题时快速定位解决。本文介绍如何通过Elasticsearch和rsbeat实时分析Redis slowlog。

本文将揭秘阿里云在面对 PB 级数据量挑战下所做的内核优化实践。

本文以阿里云Elasticsearch为例，为您演示通过第三方社区提供的solr-to-es工具，将Solr节点中的文档迁移到阿里云Elasticsearch（简称ES）中的方法。

弹性伸缩帮助用户根据定时/定量等策略，自动触发资源auto scaling，最大程度保证业务服务质量，并尽可能的减少低峰期的资源使用成本及人力运维负担。