3.3.基础篇
3.3.1.Elastic Stack家族
创作人:左卫东
审稿人:田雪松
Elastic Stack 完整版图
Elastic Stack 是一系列由 Elastic 公司开发的产品组件,能够安全可靠地获取任何来源、任何格式的数据,然后实时地对数据进行搜索、分析和可视化。Elastic Stack 旧称 ELK Stack,主要有 Elasticsearch,Logstash,Kibana,Beats 四种组件组成。
Elastic Stack 功能丰富,他可以用来集中采集各类日志记录,这在识别 Web 服务器与应用程序相关的问题中起着重要作用。它使你可以在单个位置搜索所有日志,并通过在 IT 环境中找到的特定时间范围内,关联它们的日志来确定跨多个服务器的问题,这些特定时间范围包括
Web 分析,业务智能,合规性和安全性的用例。同样的,Elastic Stack 也可以将你海量的日志、指标和 APM 追踪集中到单一技术栈中,从而即时全面地监测环境中所发生的所有事件,并采取对策。
Elastic Stack 组件主要优点如下:
l 配置简单,开箱即用
l 上手简单,只需要修改几行配置,就能快速搭建起一套 Elastic Stack 平台。
l 多种数据源支持
l Beats 组件支持多种数据类型,能够快速满足日志,指标,网络数据等多种数据源接入的需求。
l 性能优异
l 无论是数据写入还是实时检索,性能都相当优异。
l 集群扩展性强
l Elasticsearch 和 Kibana 均可以进行灵活扩展,能够有效提高集群性能和高可用性。
l 多维度分析
l 得益于 Elasticsearch 强大的搜索能力和 Kibana 优秀的可视化功能,能够从多个维度,对数据进行聚合分析并且展示。
Elastic Stack 应用场景
Elastic Stack 除了采集提供采集各类日志的能力外,它还提供了许多开箱即用的场景,如企业搜索,可观测性,安全解决方案等。
企业搜索
Elastic 企业搜索由 Elasticsearch 提供支持,性能优异,同时其采用的相关性模型已针对实际的自然搜索进行优化且得到了实践验证,因此能够快速投入应用。同时它又提供了灵活的定制选项,可以让客户快速根据自身需要打造精致又自然的搜索体验。
可观测性
Elastic Stack 将你的可观测性数据统一到一个强大的数据存储中,便于你实时搜索并应用交互式分析。凭借日志、指标和 APM 追踪之间的直观导航,便能依赖 Machine Learning 暴露异常数值,并对您系统中发生的所有事件采取对策。同时提供良好的可视化体验,能够以最直观的方式展示您的数据,完美掌握系统运行状态。
安全解决方案
Elastic 安全助力分析师防御、检测威胁,并就威胁做出响应。免费、开放的解决方案提供了
SIEM、Endpoint Security、威胁搜寻、云监测等功能。通过整个环境无死角的恶意软件和勒索软件防御体系,避免破坏和损失。同时为从业人员提供直观的 UI ,简化事件管理。利用可视化功能进行监测和搜寻,描绘出攻击的来源、程度和时间线 — 通过分析师驱动型的关联性将信息转变为见解。通过内置式案例管理和自动化操作加快响应速度。
Elasticsearch 在 Elastic Stack 中的位置及能力
Elasticsearch 是一个分布式的免费及开放搜索和分析引擎,适用于所有类型的数据,包括文本、数字、地理空间、结构化和非结构化数据。Elasticsearch 在 Apache Lucene 的基础上开发而成,以其简单的 RESTful API、相关性搜索,高性能和高可扩展性而闻名,是 Elastic Stack 的核心组件。
Elasticsearch 在 Elastic Stack 中的作用
在 Elastic Stack 体系中,Elasticsearch 提供数据的存储及检索能力,并且它是最核心的组件。外部数据采集到 Elasticsearch 后,用户便可针对他们的数据运行复杂的查询,并使用聚合检索自身数据的复杂汇总。
Elasticsearch Index
一个 Elasticsearch Index 指相互关联的文档集合。Elasticsearch 以 JSON 文档的形式存储数据。每个文档都会在一组键(字段或属性的名称)和它们对应的值(字符串、数字、布尔值、日期、数组自值、地理位置或其他类型的数据)之间建立联系。
Elasticsearch 使用的是一种名为倒排索引的数据结构,这一结构的设计可以允许十分快速地进行全文本搜索。倒排索引会列出在所有文档中出现的每个特有词汇,并且可以找到包含每个词汇的全部文档。
在 Index 过程中,Elasticsearch 会存储文档并构建倒排索引,这样用户便可以近实时地对文档数据进行搜索。索引过程是在索引 API 中启动的,通过此 API 你既可向特定索引中添加
JSON 文档,也可更改特定索引中的 JSON 文档。
Elasticsearch 能力
Elasticsearch 性能优异
由于 Elasticsearch 是在 Lucene 基础上构建而成的,所以在全文本搜索方面表现十分出色。
Elasticsearch 同时还是一个近实时的搜索平台,这意味着从文档索引操作到文档变为可搜索状态之间的延时很短,一般只有一秒(这个可以同过配置进行调整)。因此,Elasticsearch 非常适用于对时间有严苛要求的用例,例如安全分析和基础设施监测。
《Elastic Stack 实战手册》——三、产品能力——3.3.基础篇——3.3.1.Elastic Stack家族(2) https://developer.aliyun.com/article/1231602