【Spark Summit EU 2016】Bing规模下的Spark Streaming

简介: 本讲义出自Kaarthik Sivashanmugam在Spark Summit EU上的演讲,主要介绍了在微软公司的Bing搜索每月上百万次搜索请求、每小时数十TB数据量、成千上万台机器组成数据中心、以及多个数据处理框架这样的规模下的Spark Streaming的应用。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps

本讲义出自 Kaarthik Sivashanmugam在Spark Summit EU上的演讲,主要介绍了在微软公司的Bing搜索每月上百万次搜索请求、每小时数十TB数据量、成千上万台机器组成数据中心、以及多个数据处理框架这样的规模下的Spark Streaming的应用。


c1585a8ca68212e1d11556b869368a832adacf72

1b34496ce81cdb5b5c5499f008ff27988d06f8dd

1260515383c5cdf316103108403d0263a80bf11d

8254a3f233347df37ee8cf2441746849a562b3fc

aa37aa5cc3ad33e319305773b8ffaa29e4f5b39d

d16523ee6ef188951caac37597e7f856406c7f3b

ebff6f9f4d6d8364748321cd863ef35e20795711

61db15a79ff0784820417e30689b5b005314c9ae

87abfa502e6524f77bc153e45c7d735843d58a97

c87db53830d46b2eb025d8121b3ead9ba5825fc5

8a3d29d38be88cfeda43dc2116132585e7829112

51a186522c94ef20fc918e415773f65b81e057d8

c2d9633a0af7af76a7064f0348ba1d2f974e6c3e

55fbf1ad48595059e4bf067f37eec00955a17b7d

7aadc030770591dc20ff2ff9cae0fd3b2ea20d38

1b85d3fd1bc6640446aa3f27d5314fbb12231216



相关文章
|
消息中间件 分布式计算 NoSQL
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
369 0
|
消息中间件 存储 分布式计算
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
437 0
|
分布式计算 流计算 Spark
【赵渝强老师】Spark Streaming中的DStream
本文介绍了Spark Streaming的核心概念DStream,即离散流。DStream通过时间间隔将连续的数据流转换为一系列不连续的RDD,再通过Transformation进行转换,实现流式数据的处理。文中以MyNetworkWordCount程序为例,展示了DStream生成RDD的过程,并附有视频讲解。
385 0
|
消息中间件 分布式计算 Kafka
大数据-102 Spark Streaming Kafka ReceiveApproach DirectApproach 附带Producer、DStream代码案例
大数据-102 Spark Streaming Kafka ReceiveApproach DirectApproach 附带Producer、DStream代码案例
271 0
|
SQL 分布式计算 大数据
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例(一)
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例(一)
292 0
|
存储 分布式计算 大数据
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例(二)
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例(二)
266 0
|
SQL 分布式计算 大数据
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式(一)
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式(一)
207 0
|
SQL 分布式计算 大数据
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式(二)
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式(二)
196 0
|
消息中间件 分布式计算 Kafka
大数据-99 Spark 集群 Spark Streaming DStream 文件数据流、Socket、RDD队列流
大数据-99 Spark 集群 Spark Streaming DStream 文件数据流、Socket、RDD队列流
299 0
|
消息中间件 分布式计算 Kafka
大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
415 0