Hadoop集群下运行Wordcount程序中途卡顿运行时间过长的解决方案

简介: 笔记

一、抛出问题


在运行jar包时,或者是测试Hadoop的wordcount程序时,不知道你是否会遇到,运行卡顿,总是出不来结果的问题,就是运行出来了,也是等了大半天,这样等下去会不会有点浪费钱,浪费时间的感觉。。。

我曾经也遇到这样的问题,卡了我三天的进程,翻过无数大佬们的博客,最终找出了问题的原因:在每个虚拟机分配的内存和CPU资源太少,不能满足Hadoop运行所需的默认资源需求。


二、我的问题


1.png

卡在这里很长时间,我也去查看了他的日志文件,发现也没有报错。


三、查找问题


Hadoop集群运行jar包时一直卡在INFO mapreduce.Job: Running job这个位置,我上网查了一下,找到了一些解决方案:

首先是在我在yarn-site.xml中加

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>20480</value>
</property>
<property>
   <name>yarn.scheduler.minimum-allocation-mb</name>
   <value>2048</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>2.1</value>
</property>

发现并没有什么卵用,还是卡在相同的位置

我只能继续寻找解决问题的方案,就在我寻找方案的第三天的时候,无意间进入了别人的博客,最终找到了适合的方法。


四、解决问题


我开始修改更改mapred-site.xml文件将:

<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

换成了:

<property>
      <name>mapreduce.job.tracker</name>
      <value>hdfs://此处为自己的电脑IP:8001</value>
      <final>true</final>
 </property>

重新启动一下自己的Hadoop,重新运行一下jar包,发现成功了,自己三天的努力没有白费!


五、测试结果


2.png

运行正常,可以得出结果,运行速度快到飞起。



相关文章
|
10天前
|
存储 分布式计算 资源调度
Hadoop小文件解决方案
Hadoop小文件解决方案
|
4天前
|
分布式计算 Hadoop Devops
Hadoop集群配置https实战案例
本文提供了一个实战案例,详细介绍了如何在Hadoop集群中配置HTTPS,包括生成私钥和证书文件、配置keystore和truststore、修改hdfs-site.xml和ssl-client.xml文件,以及重启Hadoop集群的步骤,并提供了一些常见问题的故障排除方法。
10 3
Hadoop集群配置https实战案例
|
5天前
|
机器学习/深度学习 分布式计算 安全
Hadoop集群常见报错汇总
这篇博客总结了Hadoop集群中可能遇到的各种常见错误,包括Kerberos认证问题、配置错误、权限问题等,并为每个问题提供了详细的错误复现、原因分析以及相应的解决方案。
20 1
Hadoop集群常见报错汇总
|
5天前
|
资源调度 分布式计算 运维
Hadoop集群资源管理篇-资源调度器
详细介绍了Hadoop集群资源管理中的资源调度器,包括资源分配的概念、大数据运维工程师如何管理集群工作负载、资源调度器的背景、Hadoop提供的FIFO、容量调度器和公平调度器三种资源调度器的概述以及它们之间的对比。
22 4
|
5天前
|
分布式计算 监控 Hadoop
监控Hadoop集群实战篇
介绍了监控Hadoop集群的方法,包括监控Linux服务器、Hadoop指标、使用Ganglia监控Hadoop集群、Hadoop日志记录、通过Hadoop的Web UI进行监控以及其他Hadoop组件的监控,并提供了相关监控工具和资源的推荐阅读链接。
16 2
|
7天前
|
存储 分布式计算 Hadoop
Hadoop 运行的三种模式
【8月更文挑战第31天】
42 0
|
7天前
|
存储 分布式计算 负载均衡
|
26天前
|
存储 分布式计算 Hadoop
|
7天前
|
图形学 数据可视化 开发者
超实用Unity Shader Graph教程:从零开始打造令人惊叹的游戏视觉特效,让你的作品瞬间高大上,附带示例代码与详细步骤解析!
【8月更文挑战第31天】Unity Shader Graph 是 Unity 引擎中的强大工具,通过可视化编程帮助开发者轻松创建复杂且炫酷的视觉效果。本文将指导你使用 Shader Graph 实现三种效果:彩虹色渐变着色器、动态光效和水波纹效果。首先确保安装最新版 Unity 并启用 Shader Graph。创建新材质和着色器图谱后,利用节点库中的预定义节点,在编辑区连接节点定义着色器行为。
36 0
|
13天前
|
分布式计算 资源调度 Hadoop
Hadoop入门基础(五):Hadoop 常用 Shell 命令一网打尽,提升你的大数据技能!
Hadoop入门基础(五):Hadoop 常用 Shell 命令一网打尽,提升你的大数据技能!
下一篇
DDNS