更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。
本讲义出自Jorg Schad在Spark Summit East 2017上的演讲，主要介绍了使用Spark, Kafka和Elastic Search的大规模预测的方法以及案例，并分享了分布式计算以及数据分析预测应用的架构设计思想。
【Spark Summit East 2017】使用Spark, Kafka和Elastic Search的大规模预测
2017-02-20
2510
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
本讲义出自Jorg Schad在Spark Summit East 2017上的演讲，主要介绍了使用Spark, Kafka和Elastic Search的大规模预测的方法以及案例，并分享了分布式计算以及数据分析预测应用的架构设计思想。
目录
相关文章
|
6月前
|
分布式计算
大数据
数据处理
Apache Spark：提升大规模数据处理效率的秘籍
【4月更文挑战第7天】本文介绍了Apache Spark的大数据处理优势和核心特性，包括内存计算、RDD、一站式解决方案。分享了Spark实战技巧，如选择部署模式、优化作业执行流程、管理内存与磁盘、Spark SQL优化及监控调优工具的使用。通过这些秘籍，可以提升大规模数据处理效率，发挥Spark在实际项目中的潜力。
414
0
0
|
22天前
|
消息中间件
分布式计算
NoSQL
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
31
0
0
|
22天前
|
消息中间件
存储
分布式计算
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
59
0
0
|
22天前
|
消息中间件
分布式计算
Kafka
大数据-102 Spark Streaming Kafka ReceiveApproach DirectApproach 附带Producer、DStream代码案例
大数据-102 Spark Streaming Kafka ReceiveApproach DirectApproach 附带Producer、DStream代码案例
46
0
0
|
4月前
|
弹性计算
分布式计算
Serverless
全托管一站式大规模数据处理和分析Serverless平台 | EMR Serverless Spark 评测
【7月更文挑战第6天】全托管一站式大规模数据处理和分析Serverless平台 | EMR Serverless Spark 评测
23703
42
43
|
3月前
|
机器学习/深度学习
存储
自然语言处理
利用Elasticsearch进行大规模文本分类与聚类
【8月更文第28天】文本数据在现代应用中占据着重要的位置，无论是社交媒体分析、客户反馈管理还是内容推荐系统。Elasticsearch 是一款强大的搜索引擎，非常适合用于处理大量的文本数据。本文将介绍如何利用 Elasticsearch 来实现大规模文本数据的分类与聚类分析，并提供一些具体的代码示例。
109
0
0
|
5月前
|
存储
监控
搜索推荐
|
4月前
|
存储
监控
搜索推荐
|
5月前
|
消息中间件
分布式计算
关系型数据库
|
5月前
|
消息中间件
分布式计算
Kafka
热门文章
最新文章
1
Spark-ML-01-小试spark分析离线商品信息
2
Spark做TPC-DS性能测试
3
[Spark][Python]Spark Python 索引页
4
Spark Job的提交与task本地化分析（源码阅读八）
5
spark 3.1.x支持（兼容）hive 1.2.x以及hadoop cdh版本的尝试
6
Spark-构建基于Spark的推荐引擎
7
Spark PruneDependency 依赖关系 RangePartitioner
8
Spark Master启动源码分析
9
十二、Spark的安装与部署详情（Local模式，Standalone模式，Spank on YARN模式）
10
spark1.4加载mysql数据 创建Dataframe及join操作连接方法问题
1
【分布式技术专题】「分布式技术架构」MySQL数据同步到Elasticsearch之N种方案解析，实现高效数据同步
262
2
ElasticSearch启动报错，bootstrapchecksfailed
76
3
elasticsearch对比mysql以及使用工具同步mysql数据全量增量
61
4
linux7安装elasticsearch-7.4.0集群配置
153
5
快速上手 Elasticsearch：Docker Compose 部署详解
780
6
KubeSphere 核心实战之三【在kubesphere平台上部署ElasticSearch、应用商店部署RabbitMQ和应用市场部署Zookeeper】（实操篇 3/4）
200
7
ElasticSearch架构介绍及原理解析
508
8
这个错误是因为Elasticsearch的Emitter没有实现Serializable接口
93
9
为什么Elasticsearch/Lucene检索可以比MySQL快?
124
10
【微服务】mysql + elasticsearch数据双写设计与实现
194