AI 助理
文档备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】使用Spark和Elasticsearch构建数据集搜索引擎

2017-02-18 4070
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Oscar Castaneda Villagran在Spark Summit East 2017上的演讲，主要介绍了利用内置了Elasticsearch的Spark集群使得在集群中的驱动节点上运行嵌入式Elasticsearch实例成为了可能，这就为开发更为先进的应用程序奠定了基础，其中一个应用就是数据集搜索。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Oscar Castaneda Villagran在Spark Summit East 2017上的演讲，主要介绍了利用内置了Elasticsearch的Spark集群使得在集群中的驱动节点上运行嵌入式Elasticsearch实例成为了可能，这就为开发更为先进的应用程序奠定了基础，其中一个应用就是数据集搜索。


28a3113b81e1ed528d1a994998525afe76d5a9ba

b50f79ad588a10f6768a0a91802a2944b0d162cf

fe21b3175fa65e504da944823e5a8b367b03b437

e437029585e79160cccf0c0ce382f936d8f1923b

d0cf5caebeeea1a33c90a289ecc47e680f2142ce

ebcab3abf038a4cde0205d4578590cbc1d5514fc

dd7a01a4f757ee6cdcaed2801892e668a1868bd5

c8ec20363813bfb37ef152f91a323145383cbd6d

c500921b43dd64b524cd20b3212f704143d3fbab

b1d9b655c062409d5bf90c558b75524b764bd292

0910a4d643843887b24ec8d5e6d9cf523aae1113

8e53b3a6547e46b535532c4b4df32aba989f401f

5918b93ac50cd7c61cc58a075dd96989f23982d9

618477d4a6c6651b8130ad35a70ef931fb53b352

29f09acd4f6e03d07cbec03a93c2a3f9d701501f

493a4afb855bf892a6246f422082bd1088c0fa50

7740a3dd8a744f38186ecfaafb638a24f96d4db3

1df73df79e3d509e393d2a27cc3fc503cc332e63

b4310e0519612d37d623b3bbb548466731f5569a

4bd8529811c258efade1caec472a03ae73a4b8fa

4854029a9d37d0a9180e149c8736e4a000eb296a

fe99579b201c78a65cac87910d99cb7e07cadd0b

5a9372bb31ed0b7fa2cc91aacc6442069bbb9bdd

7fb275fd069c302e5a87d10c5046bc2ae3a5d305

c8fcc7c1e18f8e9a327e3c0c41a630e601c9ce7c

d71838c7773c4424ecd7e6b277adb7b26e351ae8

821720096f70e9a1ab601b451fc3fc29101f3460

14219ba7c89b0de8d3d6cb1bd417be1c7e31102c

91797d8347b232fa613413c155f40ef020457c15

e3c4c17ab69aa1ec1de981c7ed45f5f694971271

648413a2f3e34332e3e8c9ba4635cc34ccbccb30

9704af0f4a7c39a68dc5fa266d7cb54a01067a2e

de7a4700d0e7d112d621a2d4d8ed5e587a468f96

dee255d3985bd56811106a0eaa2944ecb35808fa

5f885b4114168ab375463a2d0a74a95b32758e6d

691ce8c89c55140f56c421ac694619d1ec4a430d

5f1a9b7ec9ca7e4e8233ffc8af5f15313ea80c03

b723f207ecb40aca1528ce529b2f2dad000f196b

47018a81b2aaa9234cc8f07984e8efedc13d9cd5

fb42819175eb98844157520a9a287c2d3e380bf3

d6046ae79379be6b66cc108a48f3d17b825fe7ef

e593dbfd8fa22d71e30bff50f03ef05752a9db47

9fc3816a889b06295ddbc564fe2c76221a78c96a

文章标签：
检索分析服务 Elasticsearch版
分布式计算
Spark
搜索推荐
大数据
MaxCompute
关键词：
检索分析服务 Elasticsearch版构建
apache spark构建
检索分析服务 Elasticsearch版搜索引擎
apache spark数据集
检索分析服务 Elasticsearch版spark
相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务，构建一个高效、精准的语义搜索系统，模拟电商场景，深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch（Elastic）就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch，如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理，最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
小猫吃鱼569
目录
相关文章
java知路
|
机器学习/深度学习 搜索推荐 关系型数据库
号称Elasticsearch 10倍性能搜索引擎到底有多强悍
号称Elasticsearch 10倍性能搜索引擎到底有多强悍
java知路
1038 0
阿里云大数据
|
12月前
|
分布式计算 运维 搜索推荐
立马耀：通过阿里云 Serverless Spark 和 Milvus 构建高效向量检索系统，驱动个性化推荐业务
蝉妈妈旗下蝉选通过迁移到阿里云 Serverless Spark 及 Milvus，解决传统架构性能瓶颈与运维复杂性问题。新方案实现离线任务耗时减少40%、失败率降80%，Milvus 向量检索成本降低75%，支持更大规模数据处理，查询响应提速。
阿里云大数据
627 57
阿里云大数据
|
存储 分布式计算 物联网
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台，实现了数据与 AI 技术的有效融合，解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台，最终实现不同场景下整体性能提升50%以上，同时综合成本下降30%。
阿里云大数据
1008 58
awesimon
|
人工智能 自然语言处理 运维
让搜索引擎“更懂你”：AI × Elasticsearch MCP Server 开源实战
本文介绍基于Model Context Protocol (MCP)标准的Elasticsearch MCP Server，它为AI助手（如Claude、Cursor等）提供与Elasticsearch数据源交互的能力。文章涵盖MCP概念、Elasticsearch MCP Server的功能特性及实际应用场景，例如数据探索、开发辅助。通过自然语言处理，用户无需掌握复杂查询语法即可操作Elasticsearch，显著降低使用门槛并提升效率。项目开源地址：<https://github.com/awesimon/elasticsearch-mcp>，欢迎体验与反馈。
awesimon
3303 1
CosmicFlicker
|
存储 自然语言处理 搜索推荐
分布式搜索引擎ElasticSearch
Elasticsearch是一款强大的开源搜索引擎，用于快速搜索和数据分析。它在GitHub、电商搜索、百度搜索等场景中广泛应用。Elasticsearch是ELK（Elasticsearch、Logstash、Kibana）技术栈的核心，用于存储、搜索和分析数据。它基于Apache Lucene构建，提供分布式搜索能力。相比其他搜索引擎，如Solr，Elasticsearch更受欢迎。倒排索引是其高效搜索的关键，通过将词条与文档ID关联，实现快速模糊搜索，避免全表扫描。
CosmicFlicker
818 111
晓之以理的喵~~
|
分布式计算 API Apache
Spark与Elasticsearch的集成与全文搜索
Spark与Elasticsearch的集成与全文搜索
晓之以理的喵~~
776 0
小宋1021
|
自然语言处理 搜索推荐 数据库
高性能分布式搜索引擎Elasticsearch详解
高性能分布式搜索引擎Elasticsearch详解
小宋1021
643 4
高性能分布式搜索引擎Elasticsearch详解
java冯坚持
|
自然语言处理 搜索推荐 关系型数据库
elasticsearch学习六：学习 全文搜索引擎 elasticsearch的语法，使用kibana进行模拟测试（持续更新学习）
这篇文章是关于Elasticsearch全文搜索引擎的学习指南，涵盖了基本概念、命令风格、索引操作、分词器使用，以及数据的增加、修改、删除和查询等操作。
java冯坚持
777 0
elasticsearch学习六：学习 全文搜索引擎 elasticsearch的语法，使用kibana进行模拟测试（持续更新学习）
GoFly开发者
|
开发框架 监控 搜索推荐
GoFly快速开发框架集成ZincSearch全文搜索引擎 - Elasticsearch轻量级替代为ZincSearch全文搜索引擎
本文介绍了在项目开发中使用ZincSearch作为全文搜索引擎的优势，包括其轻量级、易于安装和使用、资源占用低等特点，以及如何在GoFly快速开发框架中集成和使用ZincSearch，提供了详细的开发文档和实例代码，帮助开发者高效地实现搜索功能。
GoFly开发者
1006 0
武子康
|
自然语言处理 搜索推荐 Java
SpringBoot 搜索引擎 海量数据 Elasticsearch-7 es上手指南 毫秒级查询 包括 版本选型、操作内容、结果截图(一)
SpringBoot 搜索引擎 海量数据 Elasticsearch-7 es上手指南 毫秒级查询 包括 版本选型、操作内容、结果截图
武子康
417 0

热门文章

最新文章

  • 1
    万字长文：一文彻底搞懂Elasticsearch中Geo数据类型查询、聚合、排序
  • 2
    kibana 报错 elasticsearch service Unavailable
  • 3
    【玩转ElasticSearch】降维打击！使用ElasticSearch作为时序数据库
  • 4
    DB 与 Elasticsearch 混合应用之数据实时同步
  • 5
    Elasticsearch如何配置日志
  • 6
    采购季，购划算 | 搜索推荐专场（Elasticsearch、开放搜索、智能推荐）6折 一起购
  • 7
    深入解析：Elasticsearch集群性能调优策略与最佳实践
  • 8
    利用 docker 部署 elasticsearch 集群（单节点多实例）
  • 9
    【Elasticsearch 技术分享】—— Elasticsearch 存储一条数据， put 过程是什么样子的？
  • 10
    ElasticSearch 攻略（三）概念认识
  • 1
    Linux环境下 java程序提交spark任务到Yarn报错
    246
  • 2
    Kubeflow-Spark-Operator-架构学习指南
    366
  • 3
    阿里云 EMR Serverless Spark：面向 Data+AI 的高性能 Lakehouse 产品
    679
  • 4
    springboot项目集成dolphinscheduler调度器 可拖拽spark任务管理
    499
  • 5
    Spark SQL架构及高级用法
    636
  • 6
    大数据≠大样本：基于Spark的特征降维实战（提升10倍训练效率）
    527
  • 7
    一体系数据平台的进化：基于阿里云 EMR Serverless Spark 的持续演进
    354
  • 8
    Fusion 引擎赋能：流利说如何用阿里云 Serverless Spark 实现数仓计算加速
    772
  • 9
    3 秒音频也能克隆？拆解 Spark-TTS 架构的极致小样本学习
    837
  • 10
    从InfluxDB到StarRocks：Grab实现Spark监控平台10倍性能提升
    476

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • ElasticSearch 最新快速入门教程
  • ElasticSearch 入门精讲
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • 阿里云Elasticsearch体系架构与特性解析
  • 开源与云：Elasticsearch应用剖析
  • 《Elasticsearch全观测解决方案》
    • 下一篇
    开通oss服务