AI 助理
备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】使用Spark和Elasticsearch构建数据集搜索引擎

2017-02-18 3874
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
检索分析服务 Elasticsearch 版，2核4GB开发者规格 1个月
推荐场景：
数据可视化分析航班信息
简介： 本讲义出自Oscar Castaneda Villagran在Spark Summit East 2017上的演讲，主要介绍了利用内置了Elasticsearch的Spark集群使得在集群中的驱动节点上运行嵌入式Elasticsearch实例成为了可能，这就为开发更为先进的应用程序奠定了基础，其中一个应用就是数据集搜索。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Oscar Castaneda Villagran在Spark Summit East 2017上的演讲，主要介绍了利用内置了Elasticsearch的Spark集群使得在集群中的驱动节点上运行嵌入式Elasticsearch实例成为了可能，这就为开发更为先进的应用程序奠定了基础，其中一个应用就是数据集搜索。


28a3113b81e1ed528d1a994998525afe76d5a9ba

b50f79ad588a10f6768a0a91802a2944b0d162cf

fe21b3175fa65e504da944823e5a8b367b03b437

e437029585e79160cccf0c0ce382f936d8f1923b

d0cf5caebeeea1a33c90a289ecc47e680f2142ce

ebcab3abf038a4cde0205d4578590cbc1d5514fc

dd7a01a4f757ee6cdcaed2801892e668a1868bd5

c8ec20363813bfb37ef152f91a323145383cbd6d

c500921b43dd64b524cd20b3212f704143d3fbab

b1d9b655c062409d5bf90c558b75524b764bd292

0910a4d643843887b24ec8d5e6d9cf523aae1113

8e53b3a6547e46b535532c4b4df32aba989f401f

5918b93ac50cd7c61cc58a075dd96989f23982d9

618477d4a6c6651b8130ad35a70ef931fb53b352

29f09acd4f6e03d07cbec03a93c2a3f9d701501f

493a4afb855bf892a6246f422082bd1088c0fa50

7740a3dd8a744f38186ecfaafb638a24f96d4db3

1df73df79e3d509e393d2a27cc3fc503cc332e63

b4310e0519612d37d623b3bbb548466731f5569a

4bd8529811c258efade1caec472a03ae73a4b8fa

4854029a9d37d0a9180e149c8736e4a000eb296a

fe99579b201c78a65cac87910d99cb7e07cadd0b

5a9372bb31ed0b7fa2cc91aacc6442069bbb9bdd

7fb275fd069c302e5a87d10c5046bc2ae3a5d305

c8fcc7c1e18f8e9a327e3c0c41a630e601c9ce7c

d71838c7773c4424ecd7e6b277adb7b26e351ae8

821720096f70e9a1ab601b451fc3fc29101f3460

14219ba7c89b0de8d3d6cb1bd417be1c7e31102c

91797d8347b232fa613413c155f40ef020457c15

e3c4c17ab69aa1ec1de981c7ed45f5f694971271

648413a2f3e34332e3e8c9ba4635cc34ccbccb30

9704af0f4a7c39a68dc5fa266d7cb54a01067a2e

de7a4700d0e7d112d621a2d4d8ed5e587a468f96

dee255d3985bd56811106a0eaa2944ecb35808fa

5f885b4114168ab375463a2d0a74a95b32758e6d

691ce8c89c55140f56c421ac694619d1ec4a430d

5f1a9b7ec9ca7e4e8233ffc8af5f15313ea80c03

b723f207ecb40aca1528ce529b2f2dad000f196b

47018a81b2aaa9234cc8f07984e8efedc13d9cd5

fb42819175eb98844157520a9a287c2d3e380bf3

d6046ae79379be6b66cc108a48f3d17b825fe7ef

e593dbfd8fa22d71e30bff50f03ef05752a9db47

9fc3816a889b06295ddbc564fe2c76221a78c96a

文章标签：
检索分析服务 Elasticsearch版
分布式计算
Spark
搜索推荐
大数据
MaxCompute
关键词：
检索分析服务 Elasticsearch版构建
检索分析服务 Elasticsearch版搜索引擎
apache spark数据集
检索分析服务 Elasticsearch版spark
apache spark构建
相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群，使用DataWorks将MySQL数据同步至Elasticsearch，体验多条件检索效果，简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示，Elasticsearch是最受欢迎的企业搜索引擎，其次是Apache Solr（也是基于Lucene）。 ElasticSearch的实现原理主要分为以下几个步骤： 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词，将其权重和分词结果一并存入数据 当用户搜索数据时候，再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索，具有接近实时的搜索，并支持多租户。
小猫吃鱼569
目录
相关文章
java知路
|
6月前
|
机器学习/深度学习 搜索推荐 关系型数据库
号称Elasticsearch 10倍性能搜索引擎到底有多强悍
号称Elasticsearch 10倍性能搜索引擎到底有多强悍
java知路
214 0
兮叶william-38860
|
6月前
电子书阅读分享《Elasticsearch全观测技术解析与应用（构建日志、指标、APM统一观测平台）》
电子书阅读分享《Elasticsearch全观测技术解析与应用（构建日志、指标、APM统一观测平台）》
兮叶william-38860
297 1
郑小健
|
27天前
|
存储 运维 监控
超越传统模型：从零开始构建高效的日志分析平台——基于Elasticsearch的实战指南
【10月更文挑战第8天】随着互联网应用和微服务架构的普及，系统产生的日志数据量日益增长。有效地收集、存储、检索和分析这些日志对于监控系统健康状态、快速定位问题以及优化性能至关重要。Elasticsearch 作为一种分布式的搜索和分析引擎，以其强大的全文检索能力和实时数据分析能力成为日志处理的理想选择。
郑小健
96 6
开发者评测
|
24天前
|
人工智能
云端问道12期-构建基于Elasticsearch的企业级AI搜索应用陪跑班获奖名单公布啦！
云端问道12期-构建基于Elasticsearch的企业级AI搜索应用陪跑班获奖名单公布啦！
开发者评测
168 2
java冯坚持
|
28天前
|
自然语言处理 搜索推荐 关系型数据库
elasticsearch学习六：学习 全文搜索引擎 elasticsearch的语法，使用kibana进行模拟测试（持续更新学习）
这篇文章是关于Elasticsearch全文搜索引擎的学习指南，涵盖了基本概念、命令风格、索引操作、分词器使用，以及数据的增加、修改、删除和查询等操作。
java冯坚持
17 0
elasticsearch学习六：学习 全文搜索引擎 elasticsearch的语法，使用kibana进行模拟测试（持续更新学习）
小宋1021
|
2月前
|
自然语言处理 搜索推荐 数据库
高性能分布式搜索引擎Elasticsearch详解
高性能分布式搜索引擎Elasticsearch详解
小宋1021
81 4
高性能分布式搜索引擎Elasticsearch详解
GoFly开发者
|
28天前
|
开发框架 监控 搜索推荐
GoFly快速开发框架集成ZincSearch全文搜索引擎 - Elasticsearch轻量级替代为ZincSearch全文搜索引擎
本文介绍了在项目开发中使用ZincSearch作为全文搜索引擎的优势，包括其轻量级、易于安装和使用、资源占用低等特点，以及如何在GoFly快速开发框架中集成和使用ZincSearch，提供了详细的开发文档和实例代码，帮助开发者高效地实现搜索功能。
GoFly开发者
110 0
喜欢猪猪
|
2月前
|
存储 缓存 自然语言处理
深度解析ElasticSearch：构建高效搜索与分析的基石
【9月更文挑战第8天】在数据爆炸的时代，如何快速、准确地从海量数据中检索出有价值的信息成为了企业面临的重要挑战。ElasticSearch，作为一款基于Lucene的开源分布式搜索和分析引擎，凭借其强大的实时搜索、分析和扩展能力，成为了众多企业的首选。本文将深入解析ElasticSearch的核心原理、架构设计及优化实践，帮助读者全面理解这一强大的工具。
喜欢猪猪
165 7
武子康
|
1月前
|
自然语言处理 搜索推荐 Java
SpringBoot 搜索引擎 海量数据 Elasticsearch-7 es上手指南 毫秒级查询 包括 版本选型、操作内容、结果截图(一)
SpringBoot 搜索引擎 海量数据 Elasticsearch-7 es上手指南 毫秒级查询 包括 版本选型、操作内容、结果截图
武子康
47 0
武子康
|
1月前
|
存储 自然语言处理 搜索推荐
SpringBoot 搜索引擎 海量数据 Elasticsearch-7 es上手指南 毫秒级查询 包括 版本选型、操作内容、结果截图(二)
SpringBoot 搜索引擎 海量数据 Elasticsearch-7 es上手指南 毫秒级查询 包括 版本选型、操作内容、结果截图(二)
武子康
32 0

热门文章

最新文章

  • 1
    ElasticSearch容器化从0到1实践（一）
  • 2
    （ElasticsSearch学习）歌词检索Demo的实现：二. 搭建spring boot+spring data+jest+elasticsearch环境，实现歌词的全文检索
  • 3
    ElasticSearch的工作机制
  • 4
    Elasticsearch Java API(九)--删除文档的field以及field的属性
  • 5
    白日梦的Elasticsearch实战笔记，32个查询案例、15个聚合案例、7个查询优化技巧（一）
  • 6
    第 22 章 Elasticsearch API
  • 7
    elasticsearch 特殊字段
  • 8
    干货 | Elasticsearch 8.X 版本升级指南
  • 9
    elasticsearch6.8.2设置集群认证
  • 10
    实战 | Elasticsearch打造知识库检索系统
  • 1
    EMR Serverless Spark服务最佳实践测评
    134
  • 2
    E-MapReduce Serverless Spark体验评测
    297
  • 3
    EMR Serverless Spark服务和EMR Serverless StarRocks服务的比较
    103
  • 4
    Spark快速大数据分析PDF下载读书分享推荐
    165
  • 5
    全托管一站式大规模数据处理和分析Serverless平台 | EMR Serverless Spark 评测
    23709
  • 6
    Spark大数据处理：技术、应用与性能优化(全)PDF书籍推荐分享
    145
  • 7
    大数据平台之Spark
    109
  • 8
    数据处理的艺术：EMR Serverless Spark实践及应用体验
    14767
  • 9
    DataWorks产品使用合集之ODPS Spark找不到自己的stdout，该如何解决
    49
  • 10
    DataWorks产品使用合集之spark任务如何跨空间取表数据
    40

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • ElasticSearch 最新快速入门教程
  • ElasticSearch 入门精讲
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • 使用阿里云Elasticsearch体验信息检索加速
  • 使用阿里云Elasticsearch快速搭建可观测系统
  • 利用Elasticsearch实现地理位置查询
  • 基于Elasticsearch向量检索的以文搜图
    • 下一篇
    DataWorks售前咨询