AI 助理
文档备案控制台
开发者社区 大数据 文章 正文

HADOOP org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService

2022-10-19 324
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： HADOOP org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService

1b7b00a8ec54ccc5bf43eb10e22b31f.png

添加以下文件：

yarn.nodemanager.aux-services
       mapreduce_shuffle
       yarn.nodemanager.aux-services.mapreduce.shuffle.class
       org.apache.hadoop.mapred.ShuffleHandler

 

9eb0b2fdfa38f5c135eafa3e2493e42.png

记得分发其它节点和重启yarn进程，成功了

a5f99f63a10a3d8cd5c4e2275c8a976.png

文章标签：
分布式计算
资源调度
Hadoop
关键词：
hadoop yarn
hadoop apache
与自己作战
目录
相关文章
武子康
|
存储 分布式计算 资源调度
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI（一）
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI（一）
武子康
319 5
武子康
|
资源调度 数据可视化 大数据
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI（二）
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI（二）
武子康
204 4
武子康
|
XML 分布式计算 资源调度
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece（一）
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece（一）
武子康
562 5
武子康
|
XML 资源调度 网络协议
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece（二）
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece（二）
武子康
640 4
武子康
|
分布式计算 资源调度 Hadoop
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
武子康
401 4
尹正杰
|
分布式计算 资源调度 Hadoop
Hadoop YARN资源管理-容量调度器(Yahoo!的Capacity Scheduler)
详细讲解了Hadoop YARN资源管理中的容量调度器（Yahoo!的Capacity Scheduler），包括队列和子队列的概念、Apache Hadoop的容量调度器默认队列、队列的命名规则、分层队列、容量保证、队列弹性、容量调度器的元素、集群如何分配资源、限制用户容量、限制应用程序数量、抢占申请、启用容量调度器以及队列状态管理等方面的内容。
尹正杰
574 3
土木林森
|
图形学 数据可视化 开发者
超实用Unity Shader Graph教程：从零开始打造令人惊叹的游戏视觉特效，让你的作品瞬间高大上，附带示例代码与详细步骤解析！
【8月更文挑战第31天】Unity Shader Graph 是 Unity 引擎中的强大工具，通过可视化编程帮助开发者轻松创建复杂且炫酷的视觉效果。本文将指导你使用 Shader Graph 实现三种效果：彩虹色渐变着色器、动态光效和水波纹效果。首先确保安装最新版 Unity 并启用 Shader Graph。创建新材质和着色器图谱后，利用节点库中的预定义节点，在编辑区连接节点定义着色器行为。
土木林森
1734 1
尹正杰
|
分布式计算 资源调度 Hadoop
Hadoop YARN资源管理-公平调度器(Fackbook的Fair Scheduler)
详细介绍了Hadoop YARN资源管理中的公平调度器（Fair Scheduler），包括其概述、配置、队列结构、以及如何将作业提交到指定队列，展示了公平调度器如何通过分配文件（fair-scheduler.xml）来控制资源分配，并提供了配置示例和如何通过命令行提交作业到特定队列的方法。
尹正杰
1025 0
Hadoop YARN资源管理-公平调度器(Fackbook的Fair Scheduler)
土木林森
|
图形学 C# 开发者
Unity粒子系统全解析：从基础设置到高级编程技巧，教你轻松玩转绚丽多彩的视觉特效，打造震撼游戏画面的终极指南
【8月更文挑战第31天】粒子系统是Unity引擎的强大功能，可创建动态视觉效果，如火焰、爆炸等。本文介绍如何在Unity中使用粒子系统，并提供示例代码。首先创建粒子系统，然后调整Emission、Shape、Color over Lifetime等模块参数，实现所需效果。此外，还可通过C#脚本实现更复杂的粒子效果，增强游戏视觉冲击力和沉浸感。
土木林森
1428 1
土木林森
|
资源调度 分布式计算 Hadoop
揭秘Hadoop Yarn背后的秘密！它是如何化身‘资源大师’，让大数据处理秒变高效大戏的？
【8月更文挑战第24天】在大数据领域，Hadoop Yarn（另一种资源协调者）作为Hadoop生态的核心组件，扮演着关键角色。Yarn通过其ResourceManager、NodeManager、ApplicationMaster及Container等组件，实现了集群资源的有效管理和作业调度。当MapReduce任务提交时，Yarn不仅高效分配所需资源，还能确保任务按序执行。无论是处理Map阶段还是Reduce阶段的数据，Yarn都能优化资源配置，保障任务流畅运行。此外，Yarn还在Spark等框架中展现出灵活性，支持不同模式下的作业执行。未来，Yarn将持续助力大数据技术的发展与创新。
土木林森
301 2

热门文章

最新文章

  • 1
    Hadoop配置LDAP集成Kerberos
  • 2
    Hadoop生态圈组件及其作用
  • 3
    【Hadoop】Hadoop HDFS与NAS有何不同？
  • 4
    Hadoop2源码分析－序列化篇
  • 5
    Hadoop集群（第7期）_Eclipse开发环境设置
  • 6
    【大数据开发运维解决方案】Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.2单机伪分布式安装
  • 7
    hadoop伪分布式2.4.1安装
  • 8
    hadoop安装
  • 9
    hadoop 原生MapReduce 实现数据连接
  • 10
    hadoop学习笔记--集群搭建
  • 1
    Ubuntu22.04下搭建Hadoop3.3.6+Hbase2.5.6+Phoenix5.1.3开发环境的指南
    661
  • 2
    CentOS中构建高可用Hadoop 3集群
    354
  • 3
    “Hadoop整不明白，数据分析就白搭？”——教你用Hadoop撸清大数据处理那点事
    495
  • 4
    Hadoop生态系统：从小白到老司机的入门指南
    501
  • 5
    从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
    580
  • 6
    Dataphin功能Tips系列（41）-Hadoop集群管理
    303
  • 7
    【赵渝强老师】史上最详细：Hadoop HDFS的体系架构
    1335
  • 8
    从Excel到Hadoop：数据规模的进化之路
    287
  • 9
    MPP 架构与 Hadoop 架构技术选型指南
    1452
  • 10
    基于Java的Hadoop文件处理系统：高效分布式数据解析与存储
    453

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据Hadoop快速入门
  • Hadoop快速入门
  • Hadoop企业优化及扩展案例

    • 相关电子书

    更多
  • 《构建Hadoop生态批流一体的实时数仓》
  • 零基础实现hadoop 迁移 MaxCompute 之 数据
  • CIO 指南:如何在SAP软件架构中使用Hadoop

    • 相关实验场景

    更多
  • 搭建Hadoop环境
    • 下一篇
    第五届伏魔挑战赛如约来袭，诚邀各路高手来战！