带你读《Elastic Stack 实战手册》之6:——3.3.1.Elastic Stack家族(2)

本文涉及的产品
Elasticsearch Serverless通用抵扣包,测试体验金 200元
简介: 带你读《Elastic Stack 实战手册》之6:——3.3.1.Elastic Stack家族(2)

《Elastic Stack 实战手册》——三、产品能力——3.3.基础篇——3.3.1.Elastic Stack家族(1) https://developer.aliyun.com/article/1231603


Elasticsearch 具有分布式的本质特征

 

Elasticsearch 中存储的文档分布在不同的容器中,这些容器称为分片,可以进行复制以提供数据冗余副本,以防发生硬件故障时造成数据不能被访问的情况。Elasticsearch 的分布式特性使得它可以扩展至数百台(甚至数千台)服务器,并处理 PB 量级的数据。


 

Elasticsearch 优异的相关性检索能力

 

Elasticsearch 底层采用倒排索引的数据结构,检索过程中采用优异的相关性计算算法,因此

Elasticsearch 具有优异的相关性检索能力,它能基于多个维度多搜索结果进行评分,因此它可以与业务需求进行结合,达到满足用户需求的搜索结果。

 

Elasticsearch 包含一系列广泛的功能

 

除了速度、可扩展性和弹性等优势以外,Elasticsearch 还有大量强大的内置功能(例如数据汇总和索引生命周期管理),可以方便用户更加高效地存储和搜索数据。

 

Logstash 在 Elastic Stack 中的位置及能力


Logstash 是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到你最喜欢的“存储库”中。


image.png

Logstash 在 Elastic Stack 中的作用

 

Logstash 是 Elastic Stack 的核心产品之一,可用来对数据进行聚合和处理,并将数据发送到Elasticsearch。Logstash 是一个开源的服务器端数据处理管道,允许你在将数据索引到

Elasticsearch 之前同时从多个来源采集数据,并对数据进行丰富和转换。

 

Logstash 能力

 

采集各种样式、大小和来源的数据

 

数据往往以各种各样的形式,或分散或集中地存在于很多系统中。Logstash 支持多种输入选择,可以同时从众多常用来源捕捉事件。能够以连续的流式传输方式,轻松地从你的日志、指标、Web 应用、数据存储以及诸如 AWS 等云服务采集数据。

 

实时解析和转换数据

 

数据从源传输到存储库的过程中,Logstash 过滤器能够解析各个事件,识别已命名的字段以构建结构,并将它们转换成通用格式,以便进行更强大的分析和实现商业价值。

 

Logstash 能够动态地转换和解析数据,不受格式或复杂度的影响,比如:

 

l 利用 Grok 从非结构化数据中派生出结构

l 从 IP 地址破译出地理坐标

l 将 PII (Personal Identifiable Information)数据匿名化,完全排除敏感字段

l 简化整体处理,不受数据源、格式或架构的影响

 

选择你的存储库,导出你的数据

 

尽管 Elasticsearch 是我们的首选输出方向,能够为我们的搜索和分析带来无限可能,但它并非唯一选择。


Logstash 在 Elastic Stack 中的作用

 

Logstash 是 Elastic Stack 的核心产品之一,可用来对数据进行聚合和处理,并将数据发送到Elasticsearch。Logstash 是一个开源的服务器端数据处理管道,允许你在将数据索引到

Elasticsearch 之前同时从多个来源采集数据,并对数据进行丰富和转换。



《Elastic Stack 实战手册》——三、产品能力——3.3.基础篇——3.3.1.Elastic Stack家族(3) https://developer.aliyun.com/article/1231600

 

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
8月前
|
弹性计算 运维 安全
不得不懂的阿里云账号体系
很多云参与者,并不了解云上账号体系,但了解云账号体系是云采用的基础,本文就带你全面了解阿里云账号体系,适用于所有云参与者。
944 3
|
存储 人工智能 自然语言处理
Elasticsearch Inference API增加对阿里云AI的支持
本文将介绍如何在 Elasticsearch 中设置和使用阿里云的文本生成、重排序、稀疏向量和稠密向量服务,提升搜索相关性。
440 14
Elasticsearch Inference API增加对阿里云AI的支持
|
弹性计算 网络安全
快速部署 RAGFlow 社区版
RAGFlow是一个基于深度文档理解的开源RAG(检索增强生成)引擎。当与LLM集成时,它能够提供真实的问答功能,并得到各种复杂格式数据的充分引用的支持。本文介绍如何通过计算巢快速部署 RAGFlow社区版。
快速部署 RAGFlow 社区版
|
存储 对象存储
【阿里云OSS】You have no right to access this object because of bucket acl.
【阿里云OSS】You have no right to access this object because of bucket acl.
18696 1
【阿里云OSS】You have no right to access this object because of bucket acl.
|
存储 JSON 安全
带你读《Elastic Stack 实战手册》之6:——3.3.1.Elastic Stack家族(1)
带你读《Elastic Stack 实战手册》之6:——3.3.1.Elastic Stack家族(1)
262 0
|
存储 机器学习/深度学习 缓存
APM-Elastic Stack 实战手册
应用程序性能管理(Application Performance Management)简称 APM。主要功能为监视和管理软件应用程序性能和可用性。
3151 0
APM-Elastic Stack 实战手册
|
开发工具
教你如何将WSL系统更换国内源?+固定路径+国内镜像源+详细教程
教你如何将WSL系统更换国内源?+固定路径+国内镜像源+详细教程
17480 2
|
存储 自然语言处理 Java
05-ElasticSearch进阶
05-ElasticSearch进阶
|
机器学习/深度学习 存储 算法
【机器学习实战项目】10分钟学会Python怎么用LDA线性判别模型进行分类预测(五)
【机器学习实战项目】10分钟学会Python怎么用LDA线性判别模型进行分类预测(五)
665 0
|
存储 前端开发 数据可视化
带你读《Elastic Stack 实战手册》之6:——3.3.1.Elastic Stack家族(3)
带你读《Elastic Stack 实战手册》之6:——3.3.1.Elastic Stack家族(3)
258 0

热门文章

最新文章