AI 助理
文档备案控制台
开发者社区 大数据 文章 正文

【Spark Summit EU 2016】Bing规模下的Spark Streaming

2017-02-12 3602
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Kaarthik Sivashanmugam在Spark Summit EU上的演讲，主要介绍了在微软公司的Bing搜索每月上百万次搜索请求、每小时数十TB数据量、成千上万台机器组成数据中心、以及多个数据处理框架这样的规模下的Spark Streaming的应用。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。

本讲义出自 Kaarthik Sivashanmugam在Spark Summit EU上的演讲，主要介绍了在微软公司的Bing搜索每月上百万次搜索请求、每小时数十TB数据量、成千上万台机器组成数据中心、以及多个数据处理框架这样的规模下的Spark Streaming的应用。


c1585a8ca68212e1d11556b869368a832adacf72

1b34496ce81cdb5b5c5499f008ff27988d06f8dd

1260515383c5cdf316103108403d0263a80bf11d

8254a3f233347df37ee8cf2441746849a562b3fc

aa37aa5cc3ad33e319305773b8ffaa29e4f5b39d

d16523ee6ef188951caac37597e7f856406c7f3b

ebff6f9f4d6d8364748321cd863ef35e20795711

61db15a79ff0784820417e30689b5b005314c9ae

87abfa502e6524f77bc153e45c7d735843d58a97

c87db53830d46b2eb025d8121b3ead9ba5825fc5

8a3d29d38be88cfeda43dc2116132585e7829112

51a186522c94ef20fc918e415773f65b81e057d8

c2d9633a0af7af76a7064f0348ba1d2f974e6c3e

55fbf1ad48595059e4bf067f37eec00955a17b7d

7aadc030770591dc20ff2ff9cae0fd3b2ea20d38

1b85d3fd1bc6640446aa3f27d5314fbb12231216



文章标签：
数据中心
分布式计算
Spark
流计算
数据处理
大数据
MaxCompute
关键词：
apache spark streaming
apache spark bing
apache spark summit
apache spark summit eu
apache spark规模
小猫吃鱼569
目录
相关文章
武子康
|
消息中间件 分布式计算 NoSQL
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
武子康
369 0
武子康
|
消息中间件 存储 分布式计算
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
武子康
437 0
赵渝强老师
|
分布式计算 流计算 Spark
【赵渝强老师】Spark Streaming中的DStream
本文介绍了Spark Streaming的核心概念DStream，即离散流。DStream通过时间间隔将连续的数据流转换为一系列不连续的RDD，再通过Transformation进行转换，实现流式数据的处理。文中以MyNetworkWordCount程序为例，展示了DStream生成RDD的过程，并附有视频讲解。
赵渝强老师
385 0
武子康
|
消息中间件 分布式计算 Kafka
大数据-102 Spark Streaming Kafka ReceiveApproach DirectApproach 附带Producer、DStream代码案例
大数据-102 Spark Streaming Kafka ReceiveApproach DirectApproach 附带Producer、DStream代码案例
武子康
271 0
武子康
|
SQL 分布式计算 大数据
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例（一）
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例（一）
武子康
292 0
武子康
|
存储 分布式计算 大数据
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例（二）
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例（二）
武子康
266 0
武子康
|
SQL 分布式计算 大数据
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式（一）
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式（一）
武子康
207 0
武子康
|
SQL 分布式计算 大数据
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式（二）
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式（二）
武子康
196 0
武子康
|
消息中间件 分布式计算 Kafka
大数据-99 Spark 集群 Spark Streaming DStream 文件数据流、Socket、RDD队列流
大数据-99 Spark 集群 Spark Streaming DStream 文件数据流、Socket、RDD队列流
武子康
299 0
武子康
|
消息中间件 分布式计算 Kafka
大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
武子康
415 0

热门文章

最新文章

  • 1
    Spark SQL性能优化
  • 2
    Spark SQL玩起来
  • 3
    阿里巴巴瑾谦/沐远：云HBaseSQL及分析——Phoenix&Spark
  • 4
    【译】使用Spark SQL 运行大规模基因组工作流
  • 5
    Spark编程实验一：Spark和Hadoop的安装使用
  • 6
    如何处理 Spark 中的倾斜数据？
  • 7
    【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战（附源码）
  • 8
    原创 | 以Spark性能调优为例，说说如何书写简历项目的技术难点
  • 9
    Spark Streaming中的操作函数分析
  • 10
    5月14日Apache Spark中国社区技术直播【Analytics Zoo上的分布式TensorFlow训练AI玩FIFA足球游戏】
  • 1
    Linux环境下 java程序提交spark任务到Yarn报错
    282
  • 2
    Kubeflow-Spark-Operator-架构学习指南
    457
  • 3
    阿里云 EMR Serverless Spark：面向 Data+AI 的高性能 Lakehouse 产品
    738
  • 4
    springboot项目集成dolphinscheduler调度器 可拖拽spark任务管理
    541
  • 5
    Spark SQL架构及高级用法
    742
  • 6
    大数据≠大样本：基于Spark的特征降维实战（提升10倍训练效率）
    630
  • 7
    一体系数据平台的进化：基于阿里云 EMR Serverless Spark 的持续演进
    412
  • 8
    Fusion 引擎赋能：流利说如何用阿里云 Serverless Spark 实现数仓计算加速
    856
  • 9
    3 秒音频也能克隆？拆解 Spark-TTS 架构的极致小样本学习
    919
  • 10
    从InfluxDB到StarRocks：Grab实现Spark监控平台10倍性能提升
    534

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    阿里云正式发布 Agentic 代码安全：AI驱动的双Agent协同引擎