AI 助理
备案控制台
开发者社区 大数据 文章 正文

【Spark Summit EU 2016】Spark应用的动态实时修改

2017-02-14 1704
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Elena Lazovik在Spark Summit EU 2016上的演讲，主要介绍了对于对于Spark驱动的应用而言，需要能够在某些情景下修改某些功能或者参数以及改变数据来源，而这些操作不能让整个应用停止运行，这就需要对于Spark应用的动态实时修改来完成。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。

本讲义出自Elena Lazovik在Spark Summit EU 2016上的演讲，主要介绍了对于对于Spark驱动的应用而言，需要能够在某些情景下修改某些功能或者参数以及改变数据来源，而这些操作不能让整个应用停止运行，这就需要对于Spark应用的动态实时修改来完成。


78bc6bfd797c0aa5b289fe26aabe3f3212da568b

a5f661bcdb945aee871d8a7659282f3e92229c61

2303e538ab8add9f86847b623c92c717b5013f83

6a224b7cf704364cb579d694ba7aa16048b243fc

3995e5cf18683a0e9f2c9c7dccdddf3532e6d698

3e7cf87963c364960b58b65d0ed2470dc2bee22f

34a278020620b9640520c5adea298b7c1528051d

6edf1914623fedf3df4ea7131af8460ba890325d

fa3cf23dcce66ece4bd5637db1b9a2d0071dc473

7a30ecc26ef86d84ae097a3a676adc0890613e77

221f451dda2c7f1afe1caca40415c043e66bcdb2

394f5320e1fb2edddc97cfb226b290a97a7b3372

dc651962578d4a4e66f238567c1c644342c9ab61

9eda69a315c73e03f7e26fa33ad529db7d174cb9

425894db52e17776ef304bc3ff79a6ff50ea037e

0fb5b08777412bb098158e5f955bae6ab547046f

63743e6e3d698eda52dc17cfe71a80a4d09a7fd4

4918954227f49e503d4ca22a936e1b697c2b9326

bd6e30c897e1634fdc26fb6c4cfa925da3d3adfb

f238ee7a9cb1b5acc40ff4c5a0519bfa0e41ef9a

1e2552b0745c815f68388b7a208f48a38677aa39

7d6df7368d7a71a8802ce7a7ce9b239478d27e8e

a82349e64874b83c5ae9c295f0be4a6721d6c936

af67e82e202f7f5544ce7d79645465b56a891785

937d9a8b0c7947e8d8dc235243ce8630afe42e06

5878f3553101c0e7134425fd981742571097706c

33706cc1d4f288e53a4aed07e7951c0a2fb0ff06

872e3dfbd1f44381b253644b2d083ff36a87bf81

28a6c7edbd10dc881bdae5f5ef6199a304ad9e64

186b9566578f82b6110c583cd4973bb3075e0389

55b629536b0c02e6d353a5a3a848d4ee48abcb92

文章标签：
分布式计算
Spark
大数据
MaxCompute
关键词：
apache spark应用
apache spark动态
apache spark修改
apache spark summit
apache spark summit eu
小猫吃鱼569
目录
相关文章
yuanzhengme
|
2月前
|
分布式计算 数据处理 Apache
Spark和Flink的区别是什么？如何选择？都应用在哪些行业？
【10月更文挑战第10天】Spark和Flink的区别是什么？如何选择？都应用在哪些行业？
yuanzhengme
293 1
夏天49597
|
7月前
|
机器学习/深度学习 SQL 分布式计算
Spark核心原理与应用场景解析：面试经验与必备知识点解析
本文深入探讨Spark核心原理（RDD、DAG、内存计算、容错机制）和生态系统（Spark SQL、MLlib、Streaming），并分析其在大规模数据处理、机器学习及实时流处理中的应用。通过代码示例展示DataFrame操作，帮助读者准备面试，同时强调结合个人经验、行业趋势和技术发展以展现全面的技术实力。
夏天49597
667 0
疯狂的猿
|
7月前
|
机器学习/深度学习 SQL 分布式计算
Apache Spark 的基本概念和在大数据分析中的应用
介绍 Apache Spark 的基本概念和在大数据分析中的应用
疯狂的猿
268 0
BookSea
|
SQL 分布式计算 Java
Spark入门指南：从基础概念到实践应用全解析
在这个数据驱动的时代，信息的处理和分析变得越来越重要。而在众多的大数据处理框架中， Apache Spark 以其独特的优势脱颖而出。
BookSea
165 0
明哥的IT随笔
|
分布式计算 安全 Java
SPARK 应用如何快速应对 LOG4J 的系列安全漏洞
SPARK 应用如何快速应对 LOG4J 的系列安全漏洞
明哥的IT随笔
131 0
程序猿～厾罗
|
7月前
|
机器学习/深度学习 SQL 分布式计算
介绍 Apache Spark 的基本概念和在大数据分析中的应用。
介绍 Apache Spark 的基本概念和在大数据分析中的应用。
程序猿～厾罗
163 0
1941623231718325
|
4月前
|
分布式计算 大数据 数据处理
Apache Spark的应用与优势：解锁大数据处理的无限潜能
【8月更文挑战第23天】Apache Spark以其卓越的性能、易用性、通用性、弹性与可扩展性以及丰富的生态系统，在大数据处理领域展现出了强大的竞争力和广泛的应用前景。随着大数据技术的不断发展和普及，Spark必将成为企业实现数字化转型和业务创新的重要工具。未来，我们有理由相信，Spark将继续引领大数据处理技术的发展潮流，为企业创造更大的价值。
1941623231718325
165 3
土木林森
|
4月前
|
分布式计算 资源调度 测试技术
“Spark Streaming异常处理秘籍：揭秘如何驯服实时数据流的猛兽，守护你的应用稳如泰山，不容错过！”
【8月更文挑战第7天】Spark Streaming 是 Apache Spark 中的关键组件，用于实时数据流处理。部署时可能遭遇数据问题、资源限制或逻辑错误等异常。合理处理这些异常对于保持应用稳定性至关重要。基础在于理解其异常处理机制，通过 DSC 将数据流切分为 RDD。对于数据异常，可采用 try-catch 结构捕获并处理；资源层面异常需优化 Spark 配置，如调整内存分配；逻辑异常则需加强单元测试及集成测试。结合监控工具，可全面提升应用的健壮性和可靠性。
土木林森
86 3
张飞的猪
|
5月前
|
分布式计算 大数据 Spark
Spark大数据处理：技术、应用与性能优化(全)PDF书籍推荐分享
《Spark大数据处理：技术、应用与性能优化》深入浅出介绍Spark核心，涵盖部署、实战与性能调优，适合初学者。作者基于微软和IBM经验，解析Spark工作机制，探讨BDAS生态，提供实践案例，助力快速掌握。书中亦讨论性能优化策略。[PDF下载链接](https://zhangfeidezhu.com/?p=347)。![Spark Web UI](https://img-blog.csdnimg.cn/direct/16aaadbb4e13410f8cb2727c3786cc9e.png#pic_center)
张飞的猪
164 1
Spark大数据处理：技术、应用与性能优化(全)PDF书籍推荐分享
jianz123
|
4月前
|
分布式计算 Hadoop 大数据
大数据处理框架在零售业的应用：Apache Hadoop与Apache Spark
【8月更文挑战第20天】Apache Hadoop和Apache Spark为处理海量零售户数据提供了强大的支持
jianz123
74 0

热门文章

最新文章

  • 1
    Spark Master启动源码分析
  • 2
    Spark-spark streaming
  • 3
    Spark本地环境搭建（local模式）
  • 4
    Spark PruneDependency 依赖关系 RangePartitioner
  • 5
    spark1.4加载mysql数据 创建Dataframe及join操作连接方法问题
  • 6
    Spark为什么只有在调用action时才会触发任务执行呢（附算子优化和使用示例）？
  • 7
    10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
  • 8
    利用闪存优化在Cosco基础上的Spark Shuffle
  • 9
    Spark Shell入门教程（上）
  • 10
    领英如何应对Apache Spark的Scalability挑战
  • 1
    spark用于分析数据并将数据保存到数据库中是
    77
  • 2
    数据分享|Python、Spark SQL、MapReduce决策树、回归对车祸发生率影响因素可视化分析
    99
  • 3
    如何解决Spark在深度学习中的资源消耗问题？
    95
  • 4
    Spark在深度学习中的优缺点是什么？
    270
  • 5
    使用Spark进行机器学习
    89
  • 6
    Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
    146
  • 7
    【Spark】Spark基础教程知识点
    94
  • 8
    DataWorks产品使用合集之在DataWorks中，通过spark访问外网的步骤如何解决
    180
  • 9
    MaxCompute操作报错合集之大数据计算的MaxCompute Spark引擎无法读取到表，是什么原因
    154
  • 10
    MaxCompute操作报错合集之spark3.1.1通过resource目录下的conf文件配置，报错如何解决
    85

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    DataWorks售前咨询