AI 助理
文档备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】Kafka、YARN与Spark Streaming作为一个服务

2017-02-20 3735
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Jim Dowling在Spark Summit East 2017上的演讲，主要介绍了在容易进行调试的YARN上构建多租户Spark streaming应用程序的过程中遇到的挑战，并展示了如何使用ELK技术栈对Spark streaming应用程序进行日志记录和调试，以及如何使用Graphana和Graphite对应用进行监控以及优化以及使用Dr Elephant终止Spark streaming任务。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Jim Dowling在Spark Summit East 2017上的演讲，主要介绍了在容易进行调试的YARN上构建多租户Spark streaming应用程序的过程中遇到的挑战，并展示了如何使用ELK技术栈对Spark streaming应用程序进行日志记录和调试，以及如何使用Graphana和Graphite对应用进行监控以及优化以及使用Dr Elephant终止Spark streaming任务。


492b1ca960022958ad63a93f1998dea1ac034d7d

7b66b3701a1091c381306813faed697c15e24b39

02871e535180064c299d98d52163f67aa1a7ae70

13706f08e976f171c55e70b5b4d754997fdf34bb

293a94a22a18a869d71e6de0aa47d16c2476713c

e02c364b450414cd0baec8fe62126db64ac49448

c7932676561028e07ac5176a832b7947588a39db

5039b973479339465e8bb29162173a08d9ba1ee1

13ef0c332b9357de845b7e46825d16a8781c4fce

f6b2e978164d9177e21f20fb00626688450a653a

f5bfa0b68262925a3737022d0067d90b5a8c7c81

9ebca785fcf9156e1cd2889decd81a1d31eeae07

f6dd6d30c256d9a5153bebe39f9b20bc052912a2

03349a99901633e32e769e38add8e175de63639a

d80238814c61daf82fc9d5cae4534f25cb679cf5

873a5470ca02cbb9c51d9ec2db0dec4d271c408d

39fc8943328997e335522a893537728c00a7b0c6

0e7414c1c345625e35c27ce4c9fc8ce06e69a175

979aa165d6875735b22bd9b52c160b51fc958a6e

39f78ec224143b13b97e98bf2c308b9638d5486a

80e44c967c73022e15ba0f7fd8e965e5d0c3ff32

a5734d1c5a5602f94092b2d257a0aea74d77a026

69a306ab2505b9641d223cee47c0864be85f94b4

302924497d2a15f81b4a9841f3ea761254ad7ef4

3baf35608840b9757bc505384fa55b478d625251

6d4eea35e72a3286e314a7c679e8456119068518

f5bb21edb933e9702c46c7cbe85e624e390a50cb

0756d53824c764ef6015fa7be0ce715c4cc07e87

c52c569790c1a82f75d2f85b61f8d0234bb75b4e

18095263c9b36295b440c441135e4757ee47e1b7

b7aaf2b91ddaeae706989010550656fb759348ab

c0fc7314d602ed3670b3de1c7d448454e1c4769d

acdf80e3d585f20c3f974feca847202228b7fcc4

65b87a5b6d4be2df40d28c958fb7e95e902adba0

8a1ad3795ece0f2b720c4f9fb9e38f1db6abec68

db03753a43d419aa6d21a80dea6340160312ecc5

589951dd57a433e8c424e2d78f695b87d2a5a0b2

文章标签：
云消息队列 Kafka 版
分布式计算
监控
大数据
Spark
流计算
关键词：
apache spark yarn
apache spark streaming
apache spark kafka
spark云消息队列 Kafka 版
云消息队列 Kafka 版服务
小猫吃鱼569
目录
相关文章
武子康
|
消息中间件 分布式计算 NoSQL
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
武子康
319 0
武子康
|
消息中间件 存储 分布式计算
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
武子康
382 0
瓴羊Dataphin
|
SQL 分布式计算 资源调度
Dataphin功能Tips系列（48)-如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
瓴羊Dataphin
463 4
众所周知
|
分布式计算 资源调度 Hadoop
Spark Standalone与YARN的区别？
本文详细解析了 Apache Spark 的两种常见部署模式：Standalone 和 YARN。Standalone 模式自带轻量级集群管理服务，适合小规模集群；YARN 模式与 Hadoop 生态系统集成，适合大规模生产环境。文章通过示例代码展示了如何在两种模式下运行 Spark 应用程序，并总结了两者的优缺点，帮助读者根据需求选择合适的部署模式。
众所周知
722 3
众所周知
|
分布式计算 资源调度 Hadoop
Spark Standalone与YARN的区别？
【10月更文挑战第5天】随着大数据处理需求的增长，Apache Spark 成为了广泛采用的大数据处理框架。本文详细解析了 Spark Standalone 与 YARN 两种常见部署模式的区别，并通过示例代码展示了如何在不同模式下运行 Spark 应用程序。Standalone 模式自带轻量级集群管理，适合小规模集群或独立部署；YARN 则作为外部资源管理器，能够与 Hadoop 生态系统中的其他应用共享资源，更适合大规模生产环境。文章对比了两者的资源管理、部署灵活性、扩展性和集成能力，帮助读者根据需求选择合适的部署模式。
众所周知
369 1
武子康
|
消息中间件 分布式计算 Kafka
大数据-102 Spark Streaming Kafka ReceiveApproach DirectApproach 附带Producer、DStream代码案例
大数据-102 Spark Streaming Kafka ReceiveApproach DirectApproach 附带Producer、DStream代码案例
武子康
240 0
大熊计算机
|
10月前
|
人工智能 分布式计算 大数据
大数据≠大样本：基于Spark的特征降维实战（提升10倍训练效率）
本文探讨了大数据场景下降维的核心问题与解决方案，重点分析了“维度灾难”对模型性能的影响及特征冗余的陷阱。通过数学证明与实际案例，揭示高维空间中样本稀疏性问题，并提出基于Spark的分布式降维技术选型与优化策略。文章详细展示了PCA在亿级用户画像中的应用，包括数据准备、核心实现与效果评估，同时深入探讨了协方差矩阵计算与特征值分解的并行优化方法。此外，还介绍了动态维度调整、非线性特征处理及降维与其他AI技术的协同效应，为生产环境提供了最佳实践指南。最终总结出降维的本质与工程实践原则，展望未来发展方向。
大熊计算机
512 0
郑小健
|
分布式计算 大数据 Apache
ClickHouse与大数据生态集成：Spark & Flink 实战
【10月更文挑战第26天】在当今这个数据爆炸的时代，能够高效地处理和分析海量数据成为了企业和组织提升竞争力的关键。作为一款高性能的列式数据库系统，ClickHouse 在大数据分析领域展现出了卓越的能力。然而，为了充分利用ClickHouse的优势，将其与现有的大数据处理框架（如Apache Spark和Apache Flink）进行集成变得尤为重要。本文将从我个人的角度出发，探讨如何通过这些技术的结合，实现对大规模数据的实时处理和分析。
郑小健
1146 2
ClickHouse与大数据生态集成：Spark & Flink 实战
Echo_Wish
|
存储 分布式计算 Hadoop
从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
Echo_Wish
633 79

热门文章

最新文章

  • 1
    Apache Flink 漫谈系列(15) - DataStream Connectors之Kafka
  • 2
    docker arm架构部署kafka要点
  • 3
    MQ - 闲聊MQ一二事儿 （Kafka、RocketMQ 、Pulsar ）
  • 4
    kafka vs rocketmq: 不要只顾着吞吐量而忘了延迟这个指标
  • 5
    【kafka运维】Kafka全网最全最详细运维命令合集(精品强烈建议保存)
  • 6
    Python 使用python-kafka类库开发kafka生产者&消费者&客户端
  • 7
    搭建Zookeeper、Kafka集群
  • 8
    原理剖析| 一文搞懂 Kafka Producer（上）
  • 9
    flink kafka connector源码解读（超详细）
  • 10
    Kafka部署
  • 1
    Linux环境下 java程序提交spark任务到Yarn报错
    243
  • 2
    Dataphin功能Tips系列（48)-如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
    463
  • 3
    yarn如何用node替换
    306
  • 4
    一文带你了解PNPM以及 npm,yarn,pnpm区别
    1151
  • 5
    【赵渝强老师】Yarn的资源调度策略
    1005
  • 6
    如何在Flink on YARN环境中配置Debezium CDC 3.0，以实现实时捕获数据库变更事件并将其传输到Flink进行处理
    802
  • 7
    Spark Standalone与YARN的区别？
    722
  • 8
    npx与npm的差异解析，以及包管理器yarn与Node版本管理工具nvm的使用方法详解
    2062
  • 9
    Yarn学习，Yarn安装，Yarn常用命令。这一篇即可（有需要再补充）
    2613
  • 10
    Spark Standalone与YARN的区别？
    369

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • Hadoop 分布式资源管理框架 YARN
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • 深度学习+大数据 TensorFlow on Yarn
  • Docker on Yarn 微服务实践
  • 深度学习+大数据-TensorFlow on Yarn

    • 相关实验场景

    更多
  • 基于Flink+Kafka实现订单评论实时分析
    • 下一篇
    开通oss服务