hadoop常见问题总结1

简介:

问题1:http://localhost:50030

HTTP ERROR: 404

/jobtracker.jsp
RequestURI=/jobtracker.jsp

Powered by Jetty://

解决办法:

buid本地库存后,应该把build目录删除,否则启动脚本会把目录重定向到build目录中,导致web管理页面打不开,启动脚本中,如果有build目录,就将路径转到build下.

问题2、http://localhost:50070

Unable to connect

如下图所示:

解决办法:首次运行,需要对namenode进行格式化:bin/hadoop namenode -format  

注意:上面的命令应该是cd 到hadoop文件夹下

解决问题以后出现如下页面:

问题3:hadoop在子节点上没有datanode进程 

解决办法:

1.先停止Hadoop,bin/stop-all.sh

2.把hadoop/tmp下所有文件删除

3.重新格式化DFS  bin/hadoop namenode -format

4.再重启bin/start-all.sh

5.查看各节点jps,就有DataNode和TaskTracker了

问题4:

Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost:9000/user/wu/in

解决方法:

hadoop处理的文件都是在hdfs中,所以必须把要处理的文件复制到hadoop 某个文件夹中。

下面举例,在in中新建文件夹,把提前做好的wordcount文件复制到hdfs中,最后运行程序

$mkdir input
$cd input
$echo "hello world">test1.txt
$echo "hello hadoop">test2.txt
$cd ..
$bin/hadoop dfs -put input in
$bin/hadoop jar build/hadoop-0.20.2-examples.jar wordcount in out
$bin/hadoop dfs -cat out/*

问题5:

Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory out already exists

删除Output文件夹即可解决

目录
相关文章
|
7月前
|
存储 分布式计算 安全
Hadoop常见问题
【6月更文挑战第2天】
96 5
|
4月前
|
分布式计算 Hadoop Java
Hadoop集群搭建,基于3.3.4hadoop和centos8【图文教程-从零开始搭建Hadoop集群】,常见问题解决
本文是一份详细的Hadoop集群搭建指南,基于Hadoop 3.3.4版本和CentOS 8操作系统。文章内容包括虚拟机创建、网络配置、Java与Hadoop环境搭建、克隆虚拟机、SSH免密登录设置、格式化NameNode、启动Hadoop集群以及通过UI界面查看Hadoop运行状态。同时,还提供了常见问题的解决方案。
Hadoop集群搭建,基于3.3.4hadoop和centos8【图文教程-从零开始搭建Hadoop集群】,常见问题解决
|
6月前
|
存储 分布式计算 安全
hadoop常见问题
【7月更文挑战第11天】
72 1
hadoop常见问题
|
8月前
|
分布式计算 网络协议 Hadoop
Hadoop常见问题
【5月更文挑战第4天】Hadoop常见问题
82 3
|
资源调度 分布式计算 Ubuntu
hadoop安装常见问题
hadoop安装常见问题
141 0
hadoop安装常见问题
|
存储 分布式计算 资源调度
|
分布式计算 Hadoop
hadoop集群常见问题解决
1:namenode启动 datanode未启动 解决: /hadoop/tmp/dfs/name/current VERSION 查看截取id 与 data/current VERSION集群ID 保持一致  如果一致还不可以 删除所有主从节点的 current 目录 重新 format 生成
861 0
|
3月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
207 6
|
3月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
96 2
|
24天前
|
存储 分布式计算 大数据
Flume+Hadoop:打造你的大数据处理流水线
本文介绍了如何使用Apache Flume采集日志数据并上传至Hadoop分布式文件系统(HDFS)。Flume是一个高可用、可靠的分布式系统,适用于大规模日志数据的采集和传输。文章详细描述了Flume的安装、配置及启动过程,并通过具体示例展示了如何将本地日志数据实时传输到HDFS中。同时,还提供了验证步骤,确保数据成功上传。最后,补充说明了使用文件模式作为channel以避免数据丢失的方法。
60 4

相关实验场景

更多