Elasticsearch, 你值得拥有!—— 云栖大会 Elasticsearch 场景化应用全景回顾

简介: 云栖大会大咖云集,作为Elastic爱好者,参加大会就是想看平时看不到、学不到的内容。

原创作者:铭毅天下 — Elastic认证工程师、Elastic中文社区2018杰出贡献者、Elastic中文社区日报责任编辑、阿里云MVP、elastic.blog.csdn.net 博主专家、铭毅天下 公众号作者

为什么要参加云栖大会?

今年是线上的方式,参加大会实际就是看直播或者回放视频。

我在多种场合提及我的偶像是俞敏洪,多年前他在高校的演讲有这么一段:“我和马云的聊天,你们想不想听?当然想听,因为我们聊的内容都是书本上看不到的内容”。

是的,云栖大会大咖云集,作为Elastic爱好者,参加大会就是想看平时看不到、学不到的内容。

认知的四个维度中“不知道自己不知道”最为可怕。

image.png

之前微信群中有这么一段讨论:

[其实能做得很多 es本身一开始更多的是文本相关性的搜索。但是其实现在信息已经更多是图像化、视频化、其他媒体类型。其实很重要得一点。就是原始数据进行embeding生成向量,存储向量,进行相似性检索。Elasticsearch 在这方面需要做的东西还是有很大空间]

引发了大家关于 Elasticsearch 未来发展方向的讨论。

本次云栖大会Elasticsearch 场景化应用给出了答案。

我们从:Elastic Stack 三大解决方案、从Zero到Hero学习路径、阿里云 Elasticsearch 牛逼之处做下复盘。

Elastic Stack 三大解决方案

“3 + 1“ 战略场景

“3 + 1”是指在Elastic Stack 基础上在Elastic 企业搜索、Elastic 全观察、Elastic 安全 三个核心业务场景发力。

image.png

1:代表的是——Elastic Stack。

3:代表的是——搜索、可观察性、安全。

1)搜索——不用过多介绍了,传统的搜索场景,比如:网页搜索、APP搜索 等。

2)可观察性——则是围绕企业基础设施数据,日志、指标、APM,三位一体。

ps: 我一直认为:可观察性 和 全观察 中文不好理解,甚至辞海里面都没有收录。本质是:数据可视化的意思。

image.png

英文意思:Elastic Observability。最新官方文档的这个翻译,能相对好理解一些。

image.png

3)安全是 Elastic 重点在发力的一个方向,这一块 Elastic 同样是一个行业的颠覆者。

Elastic 是业界第一个提供开源免费的终端安全防护解决方案的厂商,最近还发布了自己的开源检测规则库,开放、透明和社区协作将是未来应对大规模安全威胁的不二选择,企业能够借助 Elastic 的 SIEM 和终端防护方案,打造自己的 SOC 团队,保护企业的数字资产。

一句话:Elastic 已经由原来的 Elasticsearch 检索工具转变为 Elastic Stack 解决方案提供商。

如何实现全方位数据可视性?

image.png

让数据采集更简单

image.png

1、Elastic Agent

1.1、解决:beats 多,不方便管理的问题

1.2、屏蔽多agent复杂性问题,减少安装复杂的困扰

2、Fleet

2.1、集群管理大量Agent

3、ingest Manager

3.1、UI 管理,对接各种数据源

3.2、更好的开箱即用

4、Data stream

4.1、对不同数据集更好管理数据的全生命周期

异步搜索,承载更多数据

image.png

对于大数据离线非实时业务场景,对检索响应时间没有要求,但很在意返回结果的场景非常有用。

堆内存升级改造

image.png

为了提升搜索、聚合性能,Elasticsearch 一直在快步迭代升级自己。

更好的可视化效果

image.png

1、图表下钻、不同dashboad 跳转
做过大数据分析的都知道,不能下钻很痛苦,还得借助:echart等自己实现。

2、kibana Lens 持续改进 支持饼图、圈图、树状结构图
图表& 分析持续更新

3、全新告警系统 整合解决方案,配置更容易。

4、APM Sevice Map 全字段自动化监测

更好的分析和展示

image.png

一句话:Elasticsearch 要革数据分析的命!

传统的数据分析师借助Elastic stack 可以更高效实现分析工作,简直“如虎添翼”。

甚至:一些开发人员、运维人员都可以实现自己的多种维度数据分析。

从 Zero 到 Hero Elastic Stack 学习路径

李猛老师文风流畅、点评辛辣,写出了很多漂亮的 Elasticsearch 实战博文。
李猛老师在这个版本谈了自己的想法,梳理总结如下。

系统化学习

摒弃拼装学习、碎片化学习的思维。

的确,遇到问题解决问题的那一刻很有成就感,但没有系统化的思维,很容易出现要么“坐井观天”、要么“钻牛角尖”。

如何提升?

1、认知要非常正确

2、宽广的胸怀学习 Elasticsearch,ES 不足的地方可以结合其他方案完善。

3、知道 Elastic Stack 能干什么、不能干什么?

4、定位自己,开发、架构、运维、源码、算法,不同定位,不同学习路径。

但,要想深入,源码是必要的。

5、多看书、多看视频。

6、多交流,每个人的业务场景、知识体系都是有局限性的。

交流包含但不限于:经验交流,项目交流,认知交流等。

牛逼的阿里云 Elasticsearch

简单——无限的存储空间及计算能力

好用——丰富的检索功能扩展(人脸识别,dsl2sql)

便宜——各类场景化套餐

image.png

写入高效——消息队列缓存,提高数据写入能力。

Eyou——健康监测,探测潜在风险,让开发更便捷。

image.png

计算和存储分离——不需要ES多副本机制,依赖云存储

云端组件化——分词、SQL、向量检索、流量控制

image.png

小结

正如阮一鸣老师所说:“Elasticsearch 当前面临:控制成本、提高精度、保持高性能的挑战,为了应对挑战 Elasticsearch 推出了:冷热架构、跨集群复制、快照搜索,还有这次会议提到的:异步搜索、Off heap 等特性,相比于其他的大数据产品,Elasticsearch 迎合了大数据时代的趋势。” 所以,Elastic 发展的很快,版本更新迭代的也快!

作为 Elastic 的铁粉,每次看到新的功能、技术点出现(比如:近期的 Wildcard Type、Date Streams 等),都会很兴奋。

圆桌会议的最后,王刚老师让每位嘉宾一句话做总结:

Medcl 老师:选 Elasticsearch 就对了!

阮一鸣老师:Elasticsearch, 你值得拥有!

李猛老师:任何数据问题都可以用 ES 来拆解,如果不能,请再来一套!

这个小结作为本文的结尾也非常贴合。

彩蛋环节

视频建议:2倍速播放,挺2遍,挺有意思的(很有喜感)。

王刚老师 和 medcl 老师书房的书单,能否提供一下(我只看到了一本《这就是搜索引擎》)?给广大 Elastic 爱好者提供这方面的入门启蒙知识。

更多文章关注公众号“铭毅天下”
可能是中国关注人数最多的非官方 Elastic 公众号!

注:本文有公众号“铭毅天下”授权转载


image.png

阿里云Elastic Stack】100%兼容开源ES,独有9大能力,提供免费 X-pack服务(单节点价值$6000)

相关活动


更多折扣活动,请访问阿里云 Elasticsearch 官网

阿里云 Elasticsearch 商业通用版,1核2G ,SSD 20G首月免费
阿里云 Logstash 2核4G首月免费
下载白皮书:Elasticsearch 八大经典场景应用


image.png

image.png

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
打赏
0
0
0
0
496
分享
相关文章
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
中信银行信用卡中心每日新增日志数据 140 亿条(80TB),全量归档日志量超 40PB,早期基于 Elasticsearch 构建的日志云平台,面临存储成本高、实时写入性能差、文本检索慢以及日志分析能力不足等问题。因此使用 Apache Doris 替换 Elasticsearch,实现资源投入降低 50%、查询速度提升 2~4 倍,同时显著提高了运维效率。
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
海量日志接入 Elasticsearch Serverless 应用降本70%以上
本文将探讨在日志场景下,使用阿里云Elasticsearch Serverless相较于基于ECS自建Elasticsearch集群的成本与性能优势,展示如何通过Serverless架构实现高达 70%以上的成本节约。
206 0
Elasticsearch 在日志分析中的应用
【9月更文第2天】随着数字化转型的推进,日志数据的重要性日益凸显。日志不仅记录了系统的运行状态,还提供了宝贵的洞察,帮助企业改进产品质量、优化用户体验以及加强安全防护。Elasticsearch 作为一个分布式搜索和分析引擎,因其出色的性能和灵活性,成为了日志分析领域的首选工具之一。本文将探讨如何使用 Elasticsearch 作为日志分析平台的核心组件,并详细介绍 ELK(Elasticsearch, Logstash, Kibana)栈的搭建和配置流程。
586 4
云端问道12期实操教学-构建基于Elasticsearch的企业级AI搜索应用
本文介绍了构建基于Elasticsearch的企业级AI搜索应用,涵盖了从传统关键词匹配到对话式问答的搜索形态演变。阿里云的AI搜索产品依托自研和开源(如Elasticsearch)引擎,提供高性能检索服务,支持千亿级数据毫秒响应。文章重点描述了AI搜索的三个核心关键点:精准结果、语义理解、高性能引擎,并展示了架构升级和典型应用场景,包括智能问答、电商导购、多模态图书及商品搜索等。通过实验部分,详细演示了如何使用阿里云ES搭建AI语义搜索Demo,涵盖模型创建、Pipeline配置、数据写入与检索测试等步骤,同时介绍了相关的计费模式。
构建基于 Elasticsearch 的企业级 AI 搜索应用
本文介绍了基于Elasticsearch构建企业级AI搜索应用的方案,重点讲解了RAG(检索增强生成)架构的实现。通过阿里云上的Elasticsearch AI搜索平台,简化了知识库文档抽取、文本切片等复杂流程,并结合稠密和稀疏向量的混合搜索技术,提升了召回和排序的准确性。此外,还探讨了Elastic的向量数据库优化措施及推理API的应用,展示了如何在云端高效实现精准的搜索与推理服务。未来将拓展至多模态数据和知识图谱,进一步提升RAG效果。
云栖大会|多模+一体化,构建更高效的AI应用
在2024年云栖大会「NoSQL数据库」专场,多位知名企业和阿里云瑶池数据库团队的技术专家,共同分享了阿里云Lindorm、Tair、MongoDB和MyBase的最新进展与实践。Tair推出Serverless KV服务,解决性能瓶颈和运维难题;Lindorm助力AI和具身智能时代的多模数据处理;MongoDB云原生化提升开发效率;MyBase One打破云边界,提供云边端一体化服务。这些技术进展和最佳实践,展示了阿里云在NoSQL数据库领域的创新能力和广泛应用前景。
云端问道12期-构建基于Elasticsearch的企业级AI搜索应用陪跑班获奖名单公布啦!
云端问道12期-构建基于Elasticsearch的企业级AI搜索应用陪跑班获奖名单公布啦!
202 2

热门文章

最新文章

相关产品

  • 检索分析服务 Elasticsearch版