AI 助理
备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】基于Elastic Spark Streaming的自动伸缩系统

2017-02-19 1716
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自PhuDuc Nguyen在Spark Summit East 2017上的演讲，主要介绍了不支持开箱即用的在不中断实时Spark Streaming任务的同时能够添加或删除节点的功能。并介绍了Elastic Spark Streaming任务能够自动调整对于数据流的体积和流量的需求。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自PhuDuc Nguyen在Spark Summit East 2017上的演讲，主要介绍了不支持开箱即用的在不中断实时Spark Streaming任务的同时能够添加或删除节点的功能。并介绍了Elastic Spark Streaming任务能够自动调整对于数据流的体积和流量的需求。


45fff46c0399f001cac9f2354430f339c9629e03

294c349ad56278f7d577e2043dfeaa190b82141e

6de9f96b6f9f373016f4372d5b4367bf0c21c034

f4fc3e0017c7088b852e685e06f4c276563eb4bf

7c3bc84df5f1680b7a736e01210edbfa3895b324

e0db973e5cc5e39be9169f91302bc11fc2a7d6f6

c7612d2ad0377a47a3e7b47de62fca0a02a67a06

8b54653f9cdd59ceb760efb6b66faf2b7be8c8ac

85ee7d5cfaed7c3b608506b267940c35d4c64373

246f3ab087699ae6d70f01a23dcad9cd4bf935bc

9bff919a1b869468b73bcd488e2a038cc97f1096

032820b734db3ab1d236a61154ac3cecfd9b1c98

ab0dfbac8445ef32e6b5cd6b3c1c612ac344c763

4db63ccb9314f2da6813e6af3fc5704efe7511dd

1e5986c8461dab0f2814b60a33b48ab9b5d34729

文章标签：
大数据
分布式计算
Spark
流计算
MaxCompute
关键词：
apache spark streaming
apache spark系统
apache spark summit east streaming
apache spark summit east系统
apache spark summit系统
小猫吃鱼569
目录
相关文章
喜欢猪猪
|
1月前
|
分布式计算 Java Apache
Apache Spark Streaming技术深度解析
【9月更文挑战第4天】Apache Spark Streaming是Apache Spark生态系统中用于处理实时数据流的一个重要组件。它将输入数据分成小批次（micro-batch），然后利用Spark的批处理引擎进行处理，从而结合了批处理和流处理的优点。这种处理方式使得Spark Streaming既能够保持高吞吐量，又能够处理实时数据流。
喜欢猪猪
60 0
呆呆宝
|
2月前
|
分布式计算 Apache 数据安全/隐私保护
流计算引擎数据问题之在 Spark Structured Streaming 中水印计算和使用如何解决
流计算引擎数据问题之在 Spark Structured Streaming 中水印计算和使用如何解决
呆呆宝
41 1
土木林森
|
2月前
|
分布式计算 资源调度 测试技术
“Spark Streaming异常处理秘籍：揭秘如何驯服实时数据流的猛兽，守护你的应用稳如泰山，不容错过！”
【8月更文挑战第7天】Spark Streaming 是 Apache Spark 中的关键组件，用于实时数据流处理。部署时可能遭遇数据问题、资源限制或逻辑错误等异常。合理处理这些异常对于保持应用稳定性至关重要。基础在于理解其异常处理机制，通过 DSC 将数据流切分为 RDD。对于数据异常，可采用 try-catch 结构捕获并处理；资源层面异常需优化 Spark 配置，如调整内存分配；逻辑异常则需加强单元测试及集成测试。结合监控工具，可全面提升应用的健壮性和可靠性。
土木林森
70 3
vohelon
|
4月前
|
分布式计算 Java Scala
如何处理 Spark Streaming 的异常情况？
【6月更文挑战第16天】如何处理 Spark Streaming 的异常情况？
vohelon
182 56
郑小健
|
2月前
|
存储 分布式计算 资源调度
Hadoop生态系统概览：从HDFS到Spark
【8月更文第28天】Hadoop是一个开源软件框架，用于分布式存储和处理大规模数据集。它由多个组件构成，旨在提供高可靠性、高可扩展性和成本效益的数据处理解决方案。本文将介绍Hadoop的核心组件，包括HDFS、MapReduce、YARN，并探讨它们如何与现代大数据处理工具如Spark集成。
郑小健
76 0
1941623231718325
|
3月前
|
分布式计算 监控 数据处理
Spark Streaming：解锁实时数据处理的力量
【7月更文挑战第15天】Spark Streaming作为Spark框架的一个重要组成部分，为实时数据处理提供了高效、可扩展的解决方案。通过其微批处理的工作模式和强大的集成性、容错性特性，Spark Streaming能够轻松应对各种复杂的实时数据处理场景。然而，在实际应用中，我们还需要根据具体需求和资源情况进行合理的部署和优化，以确保系统的稳定性和高效性。
1941623231718325
88 6
BetterBench
|
2月前
|
分布式计算 Java Linux
【Deepin 20系统】Linux 系统安装Spark教程及使用
在Deepin 20系统上安装和使用Apache Spark的详细教程，包括安装Java JDK、下载和解压Spark安装包、配置环境变量和Spark配置文件、启动和关闭Spark集群的步骤，以及使用Spark Shell和PySpark进行简单操作的示例。
BetterBench
43 0
叫做饺子
|
3月前
|
分布式计算 Apache Spark
Python与Apache Spark：实时AI的大数据引擎——Spark Streaming实战
7月更文挑战第9天
叫做饺子
111 0
阿里云E-MapReduce团队
|
人工智能 分布式计算 Spark
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
阿里云E-MapReduce团队
913 0
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
阿里云E-MapReduce团队
|
机器学习/深度学习 人工智能 分布式计算
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题介绍
阿里云E-MapReduce团队
1610 0
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题

热门文章

最新文章

  • 1
    Spark shuffle详细过程
  • 2
    Spark-ML-01-小试spark分析离线商品信息
  • 3
    Spark-神奇的共享变量
  • 4
    跟我一起数据挖掘（22）——spark入门
  • 5
    大数据编程实验一：HDFS常用操作和Spark读取文件系统数据
  • 6
    [Spark][Python]Spark Python 索引页
  • 7
    Spark RDD 机制理解吗？RDD 的五大属性，RDD、DataFrame、DataSet 三者的关系，RDD 和 DataFrame 的区别，Spark 有哪些分区器【重要】
  • 8
    Spark Job的提交与task本地化分析（源码阅读八）
  • 9
    Apache Celeborn 让 Spark 和 Flink 更快更稳更弹性
  • 10
    Spark-构建基于Spark的推荐引擎
  • 1
    bigdata-36-Spark转换算子与动作算子
    42
  • 2
    Paimon 与 Spark 的集成（二）：查询优化
    118141
  • 3
    阿里云 EMR Serverless Spark 版免费邀测中
    942
  • 4
    Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
    311
  • 5
    安装Spark
    85
  • 6
    Spark学习---day07、Spark内核（Shuffle、任务执行）
    98
  • 7
    Spark读取变更Hudi数据集Schema实现分析
    121
  • 8
    实战|使用Spark Streaming写入Hudi
    262
  • 9
    adb spark的lakehouse api访问内表数据，还支持算子下推吗
    137
  • 10
    Spark学习---day06、Spark内核（源码提交流程、任务执行）
    90

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    阿里云对象存储OSS怎么收费？包年包月和按量付费价格表