关于尚硅谷Hadoop-报错解决方案日志

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 以后都会将学习Hadoop中遇到的问题写到这里,供自己参考,能帮到大家更好

以后都会将学习Hadoop中遇到的问题写到这里,供自己参考,能帮到大家更好

SecondaryNameNode未启动

解决办法:


可能是端口被占用(我没遇到)


hadoop104未在/etc/hosts配置映射路径


我在hadoop104的/etc/hosts 添加了所有hadoop服务器的地址(以防万一)


192.168.xx.xxx hadoop102 hadoop102

192.168.xx.xxx hadoop103 hadoop103

192.168.xx.xxx hadoop104 hadoop104

重启hdfs


sbin/stop-dfs.sh     #关闭hdfs

sbin/start-dfs.sh    #开启hdfs

运行成功,SecondaryNameNode恢复


以后遇到启动异常的情况,可以查看hadoop3.3.0/logs这个文件夹,具体大家各自是什么版本自己看


浏览器打不开hadoop102:9870

原因:需要windows下的hosts文件为设置hadoop服务器ip


解决:在windows找到hosts(C:\Windows\System32\drivers\etc),拖到桌面打开,添加语句


ip地址 服务器名称

image.png

放回原路径


错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

原因:yarn-site.xml内未配置hadoop的类路径(classpath)


解决办法:打开/hadoop3.3.0/etc/hadoop目录


vim ./yarn-site.xml

linux输入以下内容查看hadoop类路径


hadoop classpath

将获取的路径写到yarn-site.xml内


<property>
    <name>yarn.application.classpath</name>
    <value>/opt/module/hadoop-3.3.0/etc/hadoop:/opt/module/hadoop-3.3.0/share/hadoop/common/lib/*:/opt/module/hadoop-3.3.0/share/hadoop/common/*:/opt/module/hadoop-3.3.0/share/hadoop/hdfs:/opt/module/hadoop-3.3.0/share/hadoop/hdfs/lib/*:/opt/module/hadoop-3.3.0/share/hadoop/hdfs/*:/opt/module/hadoop-3.3.0/share/hadoop/mapreduce/*:/opt/module/hadoop-3.3.0/share/hadoop/yarn/lib/*:/opt/module/hadoop-3.3.0/share/hadoop/yarn/*</value>
</property>

保存内容


重启集群


#先切换到hadoop3.3.0/sbin目录
#1.先关闭集群
stop-yarn.sh
stop-dfs.sh
#2.再启动集群
start-dfs.sh
start-dfs.sh


单节点启动

比如启动单节点的datanode,需要切换到该节点,然后执行语法:


hdfs  --daemon start datanode

hadoop执行jar包命令报错

Hadoop的wordcount案例需要传递的参数是HDFS的文件目录地址。在执行wordcount程序之前,需要先将要处理的文本数据上传到HDFS文件系统中,然后将HDFS文件系统中的文件目录地址作为程序的输入参数传递给MapReduce作业。

image.png


修改路径为HDFS的路径:运行成功

image.png


hdfs-default.xml问题

hadoop对HDFS有默认的配置,但并没有所谓的hdfs-default.xml文件,如果需要修改可以直接修改 hdfs-site.xml 。


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
3月前
|
分布式计算 Java Hadoop
java使用hbase、hadoop报错举例
java使用hbase、hadoop报错举例
121 4
|
4月前
|
存储 分布式计算 资源调度
Hadoop小文件解决方案
Hadoop小文件解决方案
|
1月前
|
消息中间件 存储 监控
微服务日志监控的挑战及应对方案
【10月更文挑战第23天】微服务化带来模块独立与快速扩展,但也使得日志监控复杂。日志作用包括业务记录、异常追踪和性能定位。
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
53 2
|
2月前
|
存储 数据采集 分布式计算
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
56 1
|
2月前
|
分布式计算 资源调度 数据可视化
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
51 1
|
3月前
|
Kubernetes API Docker
跟着iLogtail学习容器运行时与K8s下日志采集方案
iLogtail 作为开源可观测数据采集器,对 Kubernetes 环境下日志采集有着非常好的支持,本文跟随 iLogtail 的脚步,了解容器运行时与 K8s 下日志数据采集原理。
|
3月前
|
Docker Python 容器
1. 日志输出报错
1. 日志输出报错
|
3月前
|
机器学习/深度学习 分布式计算 安全
Hadoop集群常见报错汇总
这篇博客总结了Hadoop集群中可能遇到的各种常见错误,包括Kerberos认证问题、配置错误、权限问题等,并为每个问题提供了详细的错误复现、原因分析以及相应的解决方案。
353 1
Hadoop集群常见报错汇总
|
2月前
|
缓存 Linux 编译器
【C++】CentOS环境搭建-安装log4cplus日志组件包及报错解决方案
通过上述步骤,您应该能够在CentOS环境中成功安装并使用log4cplus日志组件。面对任何安装或使用过程中出现的问题,仔细检查错误信息,对照提供的解决方案进行调整,通常都能找到合适的解决之道。log4cplus的强大功能将为您的项目提供灵活、高效的日志管理方案,助力软件开发与维护。
72 0