AI 助理
备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】基于Elastic Spark Streaming的自动伸缩系统

2017-02-19 1722
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自PhuDuc Nguyen在Spark Summit East 2017上的演讲，主要介绍了不支持开箱即用的在不中断实时Spark Streaming任务的同时能够添加或删除节点的功能。并介绍了Elastic Spark Streaming任务能够自动调整对于数据流的体积和流量的需求。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自PhuDuc Nguyen在Spark Summit East 2017上的演讲，主要介绍了不支持开箱即用的在不中断实时Spark Streaming任务的同时能够添加或删除节点的功能。并介绍了Elastic Spark Streaming任务能够自动调整对于数据流的体积和流量的需求。


45fff46c0399f001cac9f2354430f339c9629e03

294c349ad56278f7d577e2043dfeaa190b82141e

6de9f96b6f9f373016f4372d5b4367bf0c21c034

f4fc3e0017c7088b852e685e06f4c276563eb4bf

7c3bc84df5f1680b7a736e01210edbfa3895b324

e0db973e5cc5e39be9169f91302bc11fc2a7d6f6

c7612d2ad0377a47a3e7b47de62fca0a02a67a06

8b54653f9cdd59ceb760efb6b66faf2b7be8c8ac

85ee7d5cfaed7c3b608506b267940c35d4c64373

246f3ab087699ae6d70f01a23dcad9cd4bf935bc

9bff919a1b869468b73bcd488e2a038cc97f1096

032820b734db3ab1d236a61154ac3cecfd9b1c98

ab0dfbac8445ef32e6b5cd6b3c1c612ac344c763

4db63ccb9314f2da6813e6af3fc5704efe7511dd

1e5986c8461dab0f2814b60a33b48ab9b5d34729

文章标签：
大数据
分布式计算
Spark
流计算
MaxCompute
关键词：
apache spark streaming
apache spark系统
apache spark summit east streaming
apache spark summit east系统
apache spark summit系统
小猫吃鱼569
目录
相关文章
武子康
|
2月前
|
消息中间件 分布式计算 NoSQL
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
武子康
48 0
武子康
|
2月前
|
消息中间件 存储 分布式计算
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
武子康
104 0
赵渝强老师
|
1月前
|
分布式计算 流计算 Spark
【赵渝强老师】Spark Streaming中的DStream
本文介绍了Spark Streaming的核心概念DStream，即离散流。DStream通过时间间隔将连续的数据流转换为一系列不连续的RDD，再通过Transformation进行转换，实现流式数据的处理。文中以MyNetworkWordCount程序为例，展示了DStream生成RDD的过程，并附有视频讲解。
赵渝强老师
49 0
武子康
|
2月前
|
消息中间件 分布式计算 Kafka
大数据-102 Spark Streaming Kafka ReceiveApproach DirectApproach 附带Producer、DStream代码案例
大数据-102 Spark Streaming Kafka ReceiveApproach DirectApproach 附带Producer、DStream代码案例
武子康
61 0
武子康
|
2月前
|
SQL 分布式计算 大数据
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例（一）
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例（一）
武子康
58 0
武子康
|
2月前
|
存储 分布式计算 大数据
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例（二）
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例（二）
武子康
58 0
武子康
|
2月前
|
SQL 分布式计算 大数据
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式（一）
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式（一）
武子康
41 0
武子康
|
2月前
|
SQL 分布式计算 大数据
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式（二）
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式（二）
武子康
35 0
武子康
|
2月前
|
消息中间件 分布式计算 Kafka
大数据-99 Spark 集群 Spark Streaming DStream 文件数据流、Socket、RDD队列流
大数据-99 Spark 集群 Spark Streaming DStream 文件数据流、Socket、RDD队列流
武子康
38 0
武子康
|
2月前
|
消息中间件 分布式计算 Kafka
大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
武子康
50 0

热门文章

最新文章

  • 1
    Spark-spark streaming
  • 2
    Spark PruneDependency 依赖关系 RangePartitioner
  • 3
    spark1.4加载mysql数据 创建Dataframe及join操作连接方法问题
  • 4
    利用闪存优化在Cosco基础上的Spark Shuffle
  • 5
    Spark为什么只有在调用action时才会触发任务执行呢（附算子优化和使用示例）？
  • 6
    10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
  • 7
    Spark Shell入门教程（上）
  • 8
    【大数据架构】Apache Flink和Apache Spark—比较指南
  • 9
    Spark Stage切分 源码剖析——DAGScheduler
  • 10
    领英如何应对Apache Spark的Scalability挑战
  • 1
    spark用于分析数据并将数据保存到数据库中是
    78
  • 2
    数据分享|Python、Spark SQL、MapReduce决策树、回归对车祸发生率影响因素可视化分析
    100
  • 3
    如何解决Spark在深度学习中的资源消耗问题？
    96
  • 4
    Spark在深度学习中的优缺点是什么？
    271
  • 5
    使用Spark进行机器学习
    92
  • 6
    Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
    155
  • 7
    【Spark】Spark基础教程知识点
    96
  • 8
    DataWorks产品使用合集之在DataWorks中，通过spark访问外网的步骤如何解决
    191
  • 9
    MaxCompute操作报错合集之大数据计算的MaxCompute Spark引擎无法读取到表，是什么原因
    156
  • 10
    MaxCompute操作报错合集之spark3.1.1通过resource目录下的conf文件配置，报错如何解决
    89

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    手把手教你白嫖阿里云服务器(免费领服务器)