AI 助理
文档备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】使用Spark和Elasticsearch构建数据集搜索引擎

2017-02-18 4039
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Oscar Castaneda Villagran在Spark Summit East 2017上的演讲，主要介绍了利用内置了Elasticsearch的Spark集群使得在集群中的驱动节点上运行嵌入式Elasticsearch实例成为了可能，这就为开发更为先进的应用程序奠定了基础，其中一个应用就是数据集搜索。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Oscar Castaneda Villagran在Spark Summit East 2017上的演讲，主要介绍了利用内置了Elasticsearch的Spark集群使得在集群中的驱动节点上运行嵌入式Elasticsearch实例成为了可能，这就为开发更为先进的应用程序奠定了基础，其中一个应用就是数据集搜索。


28a3113b81e1ed528d1a994998525afe76d5a9ba

b50f79ad588a10f6768a0a91802a2944b0d162cf

fe21b3175fa65e504da944823e5a8b367b03b437

e437029585e79160cccf0c0ce382f936d8f1923b

d0cf5caebeeea1a33c90a289ecc47e680f2142ce

ebcab3abf038a4cde0205d4578590cbc1d5514fc

dd7a01a4f757ee6cdcaed2801892e668a1868bd5

c8ec20363813bfb37ef152f91a323145383cbd6d

c500921b43dd64b524cd20b3212f704143d3fbab

b1d9b655c062409d5bf90c558b75524b764bd292

0910a4d643843887b24ec8d5e6d9cf523aae1113

8e53b3a6547e46b535532c4b4df32aba989f401f

5918b93ac50cd7c61cc58a075dd96989f23982d9

618477d4a6c6651b8130ad35a70ef931fb53b352

29f09acd4f6e03d07cbec03a93c2a3f9d701501f

493a4afb855bf892a6246f422082bd1088c0fa50

7740a3dd8a744f38186ecfaafb638a24f96d4db3

1df73df79e3d509e393d2a27cc3fc503cc332e63

b4310e0519612d37d623b3bbb548466731f5569a

4bd8529811c258efade1caec472a03ae73a4b8fa

4854029a9d37d0a9180e149c8736e4a000eb296a

fe99579b201c78a65cac87910d99cb7e07cadd0b

5a9372bb31ed0b7fa2cc91aacc6442069bbb9bdd

7fb275fd069c302e5a87d10c5046bc2ae3a5d305

c8fcc7c1e18f8e9a327e3c0c41a630e601c9ce7c

d71838c7773c4424ecd7e6b277adb7b26e351ae8

821720096f70e9a1ab601b451fc3fc29101f3460

14219ba7c89b0de8d3d6cb1bd417be1c7e31102c

91797d8347b232fa613413c155f40ef020457c15

e3c4c17ab69aa1ec1de981c7ed45f5f694971271

648413a2f3e34332e3e8c9ba4635cc34ccbccb30

9704af0f4a7c39a68dc5fa266d7cb54a01067a2e

de7a4700d0e7d112d621a2d4d8ed5e587a468f96

dee255d3985bd56811106a0eaa2944ecb35808fa

5f885b4114168ab375463a2d0a74a95b32758e6d

691ce8c89c55140f56c421ac694619d1ec4a430d

5f1a9b7ec9ca7e4e8233ffc8af5f15313ea80c03

b723f207ecb40aca1528ce529b2f2dad000f196b

47018a81b2aaa9234cc8f07984e8efedc13d9cd5

fb42819175eb98844157520a9a287c2d3e380bf3

d6046ae79379be6b66cc108a48f3d17b825fe7ef

e593dbfd8fa22d71e30bff50f03ef05752a9db47

9fc3816a889b06295ddbc564fe2c76221a78c96a

文章标签：
检索分析服务 Elasticsearch版
分布式计算
Spark
搜索推荐
大数据
MaxCompute
关键词：
检索分析服务 Elasticsearch版构建
apache spark构建
检索分析服务 Elasticsearch版搜索引擎
apache spark数据集
检索分析服务 Elasticsearch版spark
相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务，构建一个高效、精准的语义搜索系统，模拟电商场景，深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch（Elastic）就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch，如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理，最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
小猫吃鱼569
目录
相关文章
阿里云开发者
|
人工智能 运维 自然语言处理
如何在 Elasticsearch 中构建你的智能 AI 助手？
随着微服务、容器化和云原生架构的发展，系统日志量呈指数增长。传统人工排查和固定规则告警方式已难以应对，导致日志查不准、异常发现慢等问题，影响系统稳定性和运维效率。本文介绍如何基于 Elasticsearch 构建具备自然语言理解、异常检测和安全威胁识别能力的智能运维 AI 助手，帮助将 Elasticsearch 从“日志仓库”升级为“智能决策中枢”，提升运维智能化水平与操作效率。
阿里云开发者
246 0
阿里云云原生
|
9月前
|
存储 机器学习/深度学习 人工智能
使用 LangChain + Higress + Elasticsearch 构建 RAG 应用
本文介绍了如何利用LangChain、Higress和Elasticsearch快速构建RAG（检索增强生成）应用，实现企业知识的智能检索与问答。首先通过LangChain解析Markdown文档并写入Elasticsearch，接着部署Higress AI网关并配置ai-search插件以整合私有知识库与在线搜索功能。最后，通过实际案例展示了RAG查询流程及结果更新机制，确保内容准确性和时效性。文章还提供了相关参考资料以便进一步学习。
阿里云云原生
814 38
郑小健
|
存储 运维 监控
超越传统模型：从零开始构建高效的日志分析平台——基于Elasticsearch的实战指南
【10月更文挑战第8天】随着互联网应用和微服务架构的普及，系统产生的日志数据量日益增长。有效地收集、存储、检索和分析这些日志对于监控系统健康状态、快速定位问题以及优化性能至关重要。Elasticsearch 作为一种分布式的搜索和分析引擎，以其强大的全文检索能力和实时数据分析能力成为日志处理的理想选择。
郑小健
953 6
awesimon
|
10月前
|
人工智能 自然语言处理 运维
让搜索引擎“更懂你”：AI × Elasticsearch MCP Server 开源实战
本文介绍基于Model Context Protocol (MCP)标准的Elasticsearch MCP Server，它为AI助手（如Claude、Cursor等）提供与Elasticsearch数据源交互的能力。文章涵盖MCP概念、Elasticsearch MCP Server的功能特性及实际应用场景，例如数据探索、开发辅助。通过自然语言处理，用户无需掌握复杂查询语法即可操作Elasticsearch，显著降低使用门槛并提升效率。项目开源地址：<https://github.com/awesimon/elasticsearch-mcp>，欢迎体验与反馈。
awesimon
2598 1
灵杰开发者
|
机器学习/深度学习 人工智能 运维
阿里云技术公开课直播预告：基于阿里云 Elasticsearch 构建 AI 搜索和可观测 Chatbot
阿里云技术公开课预告：Elastic和阿里云搜索技术专家将深入解读阿里云Elasticsearch Enterprise版的AI功能及其在实际应用。
灵杰开发者
622 2
阿里云技术公开课直播预告：基于阿里云 Elasticsearch 构建 AI 搜索和可观测 Chatbot
技术小达人
|
人工智能 自然语言处理 搜索推荐
云端问道12期实操教学-构建基于Elasticsearch的企业级AI搜索应用
本文介绍了构建基于Elasticsearch的企业级AI搜索应用，涵盖了从传统关键词匹配到对话式问答的搜索形态演变。阿里云的AI搜索产品依托自研和开源（如Elasticsearch）引擎，提供高性能检索服务，支持千亿级数据毫秒响应。文章重点描述了AI搜索的三个核心关键点：精准结果、语义理解、高性能引擎，并展示了架构升级和典型应用场景，包括智能问答、电商导购、多模态图书及商品搜索等。通过实验部分，详细演示了如何使用阿里云ES搭建AI语义搜索Demo，涵盖模型创建、Pipeline配置、数据写入与检索测试等步骤，同时介绍了相关的计费模式。
技术小达人
412 3
技术小达人
|
人工智能 算法 API
构建基于 Elasticsearch 的企业级 AI 搜索应用
本文介绍了基于Elasticsearch构建企业级AI搜索应用的方案，重点讲解了RAG（检索增强生成）架构的实现。通过阿里云上的Elasticsearch AI搜索平台，简化了知识库文档抽取、文本切片等复杂流程，并结合稠密和稀疏向量的混合搜索技术，提升了召回和排序的准确性。此外，还探讨了Elastic的向量数据库优化措施及推理API的应用，展示了如何在云端高效实现精准的搜索与推理服务。未来将拓展至多模态数据和知识图谱，进一步提升RAG效果。
技术小达人
464 1
CosmicFlicker
|
存储 自然语言处理 搜索推荐
分布式搜索引擎ElasticSearch
Elasticsearch是一款强大的开源搜索引擎，用于快速搜索和数据分析。它在GitHub、电商搜索、百度搜索等场景中广泛应用。Elasticsearch是ELK（Elasticsearch、Logstash、Kibana）技术栈的核心，用于存储、搜索和分析数据。它基于Apache Lucene构建，提供分布式搜索能力。相比其他搜索引擎，如Solr，Elasticsearch更受欢迎。倒排索引是其高效搜索的关键，通过将词条与文档ID关联，实现快速模糊搜索，避免全表扫描。
CosmicFlicker
750 94
小宋1021
|
自然语言处理 搜索推荐 数据库
高性能分布式搜索引擎Elasticsearch详解
高性能分布式搜索引擎Elasticsearch详解
小宋1021
416 4
高性能分布式搜索引擎Elasticsearch详解
开发者评测
|
人工智能
云端问道12期-构建基于Elasticsearch的企业级AI搜索应用陪跑班获奖名单公布啦！
云端问道12期-构建基于Elasticsearch的企业级AI搜索应用陪跑班获奖名单公布啦！
开发者评测
303 2

热门文章

最新文章

  • 1
    万字长文：一文彻底搞懂Elasticsearch中Geo数据类型查询、聚合、排序
  • 2
    好消息！Elasticsearch中也可以使用机器学习了
  • 3
    kibana 报错 elasticsearch service Unavailable
  • 4
    带你领略基于ELK+Kafka的日志分析系统和Elasticsearch运维实践
  • 5
    DB 与 Elasticsearch 混合应用之数据实时同步
  • 6
    【Elasticsearch 入门公开课】在Docker环境中，实操详解 ELK 基本概念-回顾篇（2）
  • 7
    Elasticsearch实例磁盘占用率高排查及解决
  • 8
    Elasticsearch hadoop使用示例 & 运维实战之集群规划 &presto-elasticsearch connector
  • 9
    elasticsearch插件六—— 分词 IK analyzer插件安装详解
  • 10
    ELK技术栈 - Elasticsearch 学习笔记（一）
  • 1
    Spark3.3.0源码编译补充篇-抓狂的证书问题
    157
  • 2
    Spark性能优化之SparkUI
    497
  • 3
    利用SparkLauncher实现Spark Cluster模式下的远端交互
    424
  • 4
    Spark3.x的Cache能不能让我在2022好好睡觉
    146
  • 5
    Spark 3.0 中的屏障执行模式_Spark的MPI时代来了
    166
  • 6
    Spark性能优化指南—思路梳理
    676
  • 7
    肝Spark源码的若干骚操作
    158
  • 8
    Spark的几种去重的原理分析
    476
  • 9
    Spark开发实用技巧-从入门到爱不释手
    178
  • 10
    Spark 编译出现 InvalidAlgorithmParameterException: the trustAnchors parameter must be non-empty
    550

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • ElasticSearch 最新快速入门教程
  • ElasticSearch 入门精讲

    • 相关电子书

    更多
  • 阿里云Elasticsearch体系架构与特性解析
  • 开源与云：Elasticsearch应用剖析
  • 《Elasticsearch全观测解决方案》
    • 下一篇
    第五届伏魔挑战赛如约来袭，诚邀各路高手来战！