【Spark Summit EU 2016】在Spark集群中内置Elasticsearch

简介: 本讲义出自Oscar Castaneda在Spark Summit EU上的演讲,在使用ES-Hadoop进行开发的过程中,使Elasticsearch运行在Spark集群外部是一件非常繁琐的事情,为了在开发过程中更好地Elasticsearch实例,并且尽可能地降低开发团队之间的依赖关系,使用ES快照作为团队合作的接口,并且提高QA的效率,所提提出了在Spark集群中内置Elasticsearch的方式。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps

本讲义出自Oscar Castaneda在Spark Summit EU上的演讲,在使用ES-Hadoop进行开发的过程中,使Elasticsearch运行在Spark集群外部是一件非常繁琐的事情,为了在开发过程中更好地Elasticsearch实例,并且尽可能地降低开发团队之间的依赖关系,使用ES快照作为团队合作的接口,并且提高QA的效率,所以提出了在Spark集群中内置Elasticsearch的方式。


df541f77f980ecf2d5582e22287d09ab80e26617

f016af61314474ea89885275caea27bec55429d2

28dee895eee9c5c7c3b4d29f2ee94d6137159258

d9a19d0a13aaf8131b681f0ba69e7b6054e7335d

f6c68de54afb79607d554db481e0f753b7c6e1be

3f2082197aec4de595d38cd18e5a4545997646b5

ecb281b2968065cfabde31e85cd5a37fc6b79b4f

6b1182568c8cc7fc2bf4894b5f639ea71038153f

f05245bb53a9a3f3f810f0f2eb44b9720628e81a

e580ea867d2bca50ee4f7613e8a18d2a8c4c7cb1

bec79c9db301a05ba36bf8027f66d8674a5550c7

f6e329ded2b252522b48ffa6b6e4921c2a3eece2

26ada11cfaf50b1331303f5aded43529c4fd0f81

90155d7bd3d37912ff015b7c3489aca45564334d

2c271215a5850ead320ba44b81ddb090d3818808

5ecb08a1d3b19a3bc82d134ce5e7fc9ea99bdfb8

22303e74da86786dc899de67b83a055b10355fc5

6b8ebf4d3a15eb368e981e1ed392a557fd327d6d

cfabeac37953f9b28fb1a6c6d04e20096ac318b0

a5c79f29cb4b4246ab506519bcfcb55136cca49a

e4db9f40218f5d33b32b5f8b9d244121a3400bfa

07c81d75eb212fc3c0dc3bd0ffcab1ae6fb58d3c

807a906884874c2c3b8ddffb9e97e3c6c0551452

60ab87f3a2c9371b073d6ef184634515ec316dbd

f78c3030ec9e8189187e3dacbc9183db0035610c

add1fe03f9a3c9d56c65501006a79e8360272121

153d8f30dc2a38ad5d33d2b715e8c2d00d0ae42f

2195db75acc63b2933c6824be68d850a9ddca463

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
缓存 Prometheus 监控
Elasticsearch集群JVM调优设置合适的堆内存大小
Elasticsearch集群JVM调优设置合适的堆内存大小
2372 1
|
10月前
|
Java Linux
CentOS环境搭建Elasticsearch集群
至此,您已成功在CentOS环境下搭建了Elasticsearch集群。通过以上介绍和步骤,相信您对部署Elasticsearch集群有了充分的了解。最后祝您在使用Elasticsearch集群的过程中顺利开展工作!
535 22
|
11月前
|
人工智能 分布式计算 调度
打破资源边界、告别资源浪费:ACK One 多集群Spark和AI作业调度
ACK One多集群Spark作业调度,可以帮助您在不影响集群中正在运行的在线业务的前提下,打破资源边界,根据各集群实际剩余资源来进行调度,最大化您多集群中闲置资源的利用率。
|
存储 分布式计算 调度
Spark Master HA 主从切换过程不会影响到集群已有作业的运行, 为什么?
Spark Master 的高可用性(HA)机制确保主节点故障时,备用主节点能无缝接管集群管理,保障稳定运行。关键在于: 1. **Driver 和 Executor 独立**:任务执行不依赖 Master。 2. **应用状态保持**:备用 Master 通过 ZooKeeper 恢复集群状态。 3. **ZooKeeper 协调**:快速选举新 Master 并同步状态。 4. **容错机制**:任务可在其他 Executor 上重新调度。 这些特性保证了集群在 Master 故障时仍能正常运行。
|
缓存 监控 Java
Elasticsearch集群JVM调优
Elasticsearch集群JVM调优
486 5
|
监控 安全 网络安全
Elasticsearch集群的网络设置
Elasticsearch集群的网络设置
447 3
|
存储 缓存 监控
Elasticsearch集群JVM调优堆外内存
Elasticsearch集群JVM调优堆外内存
297 1
|
监控 Java 测试技术
Elasticsearch集群JVM调优垃圾回收器的选择
Elasticsearch集群JVM调优垃圾回收器的选择
473 1
|
存储 负载均衡 监控
揭秘 Elasticsearch 集群架构,解锁大数据处理神器
Elasticsearch 是一个强大的分布式搜索和分析引擎,广泛应用于大数据处理、实时搜索和分析。本文深入探讨了 Elasticsearch 集群的架构和特性,包括高可用性和负载均衡,以及主节点、数据节点、协调节点和 Ingest 节点的角色和功能。
649 0
|
10月前
|
安全 Java Linux
Linux安装Elasticsearch详细教程
Linux安装Elasticsearch详细教程
1850 64