AI 助理
文档备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

11月14日Spark社区直播【 Spark on Kubernetes & YARN】

2019-11-12 7008
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本次直播将讨论：以Kubernetes为代表的云原生技术越来越流行起来，spark是如何跑在Kubernetes之上来享受云原生技术的红利？Spark跑在Kubernetes之上和跑在Hadoop YARN上又有什么区别？以及Kubernetes 和YARN的差异点是什么。

主题：
Spark on Kubernetes & YARN

点击这里是直播间直达链接（回看链接）

时间
11月14日：19：00-20：00

直播介绍：
以Kubernetes为代表的云原生技术越来越流行起来，spark是如何跑在Kubernetes之上来享受云原生技术的红利？
Spark跑在Kubernetes之上和跑在Hadoop YARN上又有什么区别？以及Kubernetes 和YARN的差异点是什么。

主讲人：
何剑
阿里巴巴高级技术专家，专注于Kubernetes容器云和大数据底层调度以及基础架构，负责阿里巴巴容器平台在线服务和离线计算任务混部。此前就职于Hortonworks, 是Hadoop 社区Committer和PMC成员

请钉钉扫码至群内观看直播，与嘉宾互动有机会获得社区礼物一份。

11月14 直播.png

文章标签：
容器服务Kubernetes版
容器
Kubernetes
分布式计算
资源调度
Spark
关键词：
apache spark yarn
容器服务Kubernetes版spark
apache spark社区
Yarn spark
容器服务Kubernetes版 Spark
相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用，获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道，以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中，我们将全面的讲解Docker技术栈，从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。     相关的阿里云产品：容器服务 ACK 容器服务 Kubernetes 版（简称 ACK）提供高性能可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力，打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
开源大数据EMR
目录
相关文章
土木林森
|
分布式计算 资源调度 大数据
【决战大数据之巅】：Spark Standalone VS YARN —— 揭秘两大部署模式的恩怨情仇与终极对决！
【8月更文挑战第7天】随着大数据需求的增长，Apache Spark 成为关键框架。本文对比了常见的 Spark Standalone 与 YARN 部署模式。Standalone 作为自带的轻量级集群管理服务，易于设置，适用于小规模或独立部署；而 YARN 作为 Hadoop 的资源管理系统，支持资源的统一管理和调度，更适合大规模生产环境及多框架集成。我们将通过示例代码展示如何在这两种模式下运行 Spark 应用程序。
土木林森
826 3
阿里云基础设施.
|
12月前
|
人工智能 分布式计算 调度
打破资源边界、告别资源浪费：ACK One 多集群Spark和AI作业调度
ACK One多集群Spark作业调度，可以帮助您在不影响集群中正在运行的在线业务的前提下，打破资源边界，根据各集群实际剩余资源来进行调度，最大化您多集群中闲置资源的利用率。
阿里云基础设施.
515 26
瓴羊Dataphin
|
12月前
|
SQL 分布式计算 资源调度
Dataphin功能Tips系列（48)-如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
瓴羊Dataphin
447 4
众所周知
|
分布式计算 资源调度 Hadoop
Spark Standalone与YARN的区别？
本文详细解析了 Apache Spark 的两种常见部署模式：Standalone 和 YARN。Standalone 模式自带轻量级集群管理服务，适合小规模集群；YARN 模式与 Hadoop 生态系统集成，适合大规模生产环境。文章通过示例代码展示了如何在两种模式下运行 Spark 应用程序，并总结了两者的优缺点，帮助读者根据需求选择合适的部署模式。
众所周知
691 3
众所周知
|
分布式计算 资源调度 Hadoop
Spark Standalone与YARN的区别？
【10月更文挑战第5天】随着大数据处理需求的增长，Apache Spark 成为了广泛采用的大数据处理框架。本文详细解析了 Spark Standalone 与 YARN 两种常见部署模式的区别，并通过示例代码展示了如何在不同模式下运行 Spark 应用程序。Standalone 模式自带轻量级集群管理，适合小规模集群或独立部署；YARN 则作为外部资源管理器，能够与 Hadoop 生态系统中的其他应用共享资源，更适合大规模生产环境。文章对比了两者的资源管理、部署灵活性、扩展性和集成能力，帮助读者根据需求选择合适的部署模式。
众所周知
331 1
刘大猫.
|
消息中间件 分布式计算 Java
Linux环境下 java程序提交spark任务到Yarn报错
Linux环境下 java程序提交spark任务到Yarn报错
刘大猫.
344 5
尹正杰
|
资源调度 分布式计算 Hadoop
YARN(Hadoop操作系统)的架构
本文详细解释了YARN（Hadoop操作系统）的架构，包括其主要组件如ResourceManager、NodeManager和ApplicationMaster的作用以及它们如何协同工作来管理Hadoop集群中的资源和调度作业。
尹正杰
829 3
YARN(Hadoop操作系统)的架构
尹正杰
|
资源调度 分布式计算 Hadoop
使用YARN命令管理Hadoop作业
本文介绍了如何使用YARN命令来管理Hadoop作业，包括查看作业列表、检查作业状态、杀死作业、获取作业日志以及检查节点和队列状态等操作。
尹正杰
616 1
使用YARN命令管理Hadoop作业
土木林森
|
资源调度 分布式计算 算法
【揭秘Yarn调度秘籍】打破资源分配的枷锁，Hadoop Yarn权重调度全攻略！
【8月更文挑战第24天】在大数据处理领域，Hadoop Yarn 是一种关键的作业调度与集群资源管理工具。它支持多种调度器以适应不同需求，默认采用FIFO调度器，但可通过引入基于权重的调度算法来提高资源利用率。该算法根据作业或用户的权重值决定资源分配比例，权重高的可获得更多计算资源，特别适合多用户共享环境。管理员需在Yarn配置文件中启用特定调度器（如CapacityScheduler），并通过设置队列权重来实现资源的动态调整。合理配置权重有助于避免资源浪费，确保集群高效运行，满足不同用户需求。
土木林森
318 3
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    阿里封神谈hadoop生态学习之路
  • 2
    分布式快照算法: Chandy-Lamport
  • 3
    如何使用Kafka Connect实现同步RDS binlog数据
  • 4
    梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践
  • 5
    JindoFS解析 - 云上大数据高性能数据湖存储方案
  • 6
    如何在Aliyun E-MapReduce集群上使用Zeppelin和Hue
  • 7
    首次揭秘|为6.4亿人次出行提供无线网络的技术架构
  • 8
    助力云上开源生态 - 阿里云开源大数据平台的发展
  • 9
    玩转阿里云EMR三部曲-中级篇 集成自有服务
  • 10
    基于Spark Streaming 进行 MySQL Binlog 日志准实时传输
  • 1
    诗悦游戏基于DLF与EMR StarRocks降本38%
    131
  • 2
    基于DLF构建实时数据湖
    126
  • 3
    数仓-湖仓-湖流，人力家基于阿里云OpenLake架构演进与思考
    136
  • 4
    淘宝闪购基于阿里云 EMR Serverless Spark&Paimon的湖仓实践：超大规模下的特征生产&多维分析双提效
    227
  • 5
    有奖实践：EMR Serverless StarRocks × Serverless Spark x DLF 共探 TPC 极致性能
    440
  • 6
    大模型RAG实战：从零搭建专属知识库问答助手
    640
  • 7
    大模型微调技术入门：从核心概念到实战落地全攻略
    466
  • 8
    活动报名 | Apache Spark Meetup · 上海站，助力企业构建高效数据平台
    262
  • 9
    0 基础建站？PageAdmin CMS 10 分钟搞定，源码免费拿！
    491
  • 10
    EMR AI助手开启公测：用AI重塑大数据运维，更简单、更智能
    326

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • Hadoop 分布式资源管理框架 YARN
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 推荐镜像

    更多
  • kubernetes
    • 下一篇
    云安全中心：病毒查杀