【Spark Summit East 2017】使用Spark, Kafka和Elastic Search的大规模预测

简介: 本讲义出自Jorg Schad在Spark Summit East 2017上的演讲,主要介绍了使用Spark, Kafka和Elastic Search的大规模预测的方法以及案例,并分享了分布式计算以及数据分析预测应用的架构设计思想。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps。


本讲义出自Jorg Schad在Spark Summit East 2017上的演讲,主要介绍了使用Spark, Kafka和Elastic Search的大规模预测的方法以及案例,并分享了分布式计算以及数据分析预测应用的架构设计思想。


dbaadf381c02d93d5c44b862eb78d38e13c68413

d6ce9e65351cd44c10a07f7bb20abb3b6e5907df

454c9475a54057c00f4bc3bc175fe524de308fcd

5ce5e3df7ae8e9022eae23d31a41f4a62ca89aa4

1fd9ddb20a6ad69765dd2450e4db964f766edd00

c2d2a0f4c37b5a5f50095173465330dd351c5cec

2313a26ddb761858627f50c7270803b9659c7f8e

d542b28cf9c2880fcd2456d8bbaaa5bf6b03554d

790ec1b10c26c61224540b508b23210cc433e358

2e2fb7848d07a7ac5bc3ac6719e06be35688b1e6

9db99ffe3993898acdb8cdb83ca3be1ed1e6ab74

8d147238eb736140eb258b6d2c6730af7473a207

ab76e76a7f9ea5b0e7d8f9d5c5a8344528cb8dda

相关文章
|
分布式计算 大数据 数据处理
Apache Spark:提升大规模数据处理效率的秘籍
【4月更文挑战第7天】本文介绍了Apache Spark的大数据处理优势和核心特性,包括内存计算、RDD、一站式解决方案。分享了Spark实战技巧,如选择部署模式、优化作业执行流程、管理内存与磁盘、Spark SQL优化及监控调优工具的使用。通过这些秘籍,可以提升大规模数据处理效率,发挥Spark在实际项目中的潜力。
1277 0
|
弹性计算 分布式计算 Serverless
全托管一站式大规模数据处理和分析Serverless平台 | EMR Serverless Spark 评测
【7月更文挑战第6天】全托管一站式大规模数据处理和分析Serverless平台 | EMR Serverless Spark 评测
24140 42
|
消息中间件 监控 Kafka
Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
【8月更文挑战第13天】Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
1749 3
|
机器学习/深度学习 分布式计算 数据处理
Spark是一个基于内存的通用数据处理引擎,可以进行大规模数据处理和分析
【5月更文挑战第2天】Spark是一个基于内存的通用数据处理引擎,可以进行大规模数据处理和分析
603 3
|
机器学习/深度学习 分布式计算 Apache
《基于Apache Spark 的大规模分布式机器学习实践》电子版地址
基于Apache* Spark* 的大规模分布式机器学习实践
252 0
《基于Apache Spark 的大规模分布式机器学习实践》电子版地址
|
机器学习/深度学习 分布式计算 Spark
|
消息中间件 Kubernetes Java
Kubnernetes 集群部署 Zipkin+Kafka+ElasticSearch 实现链路追踪
Kubnernetes 集群部署 Zipkin+Kafka+ElasticSearch 实现链路追踪
1186 1
Kubnernetes 集群部署 Zipkin+Kafka+ElasticSearch 实现链路追踪
|
消息中间件 分布式计算 Kafka
Rocketmq、Rabbitmq、Kafka、Mongo、Elasticsearch、Logstash、Kibana、Nacos、Skywalking、Seata、Spark、Zookeeper安装
Rocketmq、Rabbitmq、Kafka、Mongo、Elasticsearch、Logstash、Kibana、Nacos、Skywalking、Seata、Spark、Zookeeper安装
754 0
Rocketmq、Rabbitmq、Kafka、Mongo、Elasticsearch、Logstash、Kibana、Nacos、Skywalking、Seata、Spark、Zookeeper安装
|
消息中间件 Java Kafka
Elastic实战:logstash将kafka数据同步到es时,如何将字符串型时间字段转换为时间戳
今天群里有同学问如何将字符串型的时间字段转换为long类型的时间戳。特记录下供后续参考。 原问题: > 我接收数据方传过来的数据,其中有个时间类型是字符串类型,格式为:yyyy-MM-dd hh:mm:ss,我需要转成时间戳保存,我按照网上的方法试了好多种都无法成功转换。 > 数据方把数据发到kafka,我用logstash读kafka,经过处理存到es
572 0
Elastic实战:logstash将kafka数据同步到es时,如何将字符串型时间字段转换为时间戳
|
消息中间件 Java Kafka
filebeat+kafka+logstash+elasticsearch+kibana实现日志收集解决方案
filebeat+kafka+logstash+elasticsearch+kibana实现日志收集解决方案
653 0