一个痛苦的问题的解决,windows上eclipse提交yarn集群的错误

简介:
--------一个痛苦的解决问题的过程--------------------------------------
 
 首先确保linux服务器上面的集群环境启动
 
 集群启动
    start-dfs.sh
    stop-dfs.sh 
    start-yarn.sh 
    stop-yarn.sh
    
    
    [hadoop@mini130 sbin]$ jps
        3522 NameNode
        4823 Jps
        3672 DataNode
        3948 ResourceManager
        3852 SecondaryNameNode
        4253 NodeManager
    
    [hadoop@mini131 ~]$ jps
        2219 DataNode
        2365 NodeManager
        2927 Jps
    
 
 
windows里面的eclipse访问linux的yarn集群会出现的错误
1、权限问题
   没有linux的权限,需要在启动的配置参数中加上指定的用户,如在debug的配置中:HADOOP_USER_NAME=hadoop
 
 
 
2、/bin/bash: line 0: fg: no job control一般解决方法
   这个问题是hadoop的bug
   具体可参考http://blog.csdn.net/fansy1990/article/details/27526167
   需要重新写YARNRunner.java,具体的本项目中已有

   
   
3、出现Stack trace: ExitCodeException exitCode=1:
   参考:http://www.cnblogs.com/gaoxing/p/4466924.html
   要把配置的四个文件放到src目录下面
   core-site.xml
   hdfs-site.xml
   mapred-site.xml
   yarn-site.xml
   注意如果要使用如 mini130 这样的,需要在hosts中进行配置
   yarn.application.classpath
   mapreduce.application.classpath都需要编写绝对地址

4、出现时间不一致

    同步时间,用root账号:

    ntpdate time.nist.gov




      本文转自yushiwh 51CTO博客,原文链接:http://blog.51cto.com/yushiwh/1919132 ,如需转载请自行联系原作者



相关文章
|
6月前
|
资源调度
YARN集群启停命令
YARN集群启停命令
91 0
|
1月前
|
Kubernetes Linux Windows
kubectl 本地远程链接k8s多个集群,远程管控多集群,查看日志 部署服务(windows版)
kubectl 本地远程链接k8s多个集群,远程管控多集群,查看日志 部署服务(windows版)
242 0
|
5月前
|
弹性计算 资源调度 Kubernetes
Flink三种集群模式,Standalone模式,Flink On YARN,Flink On K8S,这三种模式有啥优缺点,生产环境如何选择呢?
Flink三种集群模式,Standalone模式,Flink On YARN,Flink On K8S,这三种模式有啥优缺点,生产环境如何选择呢?
262 3
|
28天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】(图片来源于网络)(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
【4月更文挑战第5天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
54 9
|
29天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)
【4月更文挑战第4天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)
35 4
|
3月前
|
资源调度 Kubernetes Java
Flink--day02、Flink部署(Yarn集群搭建下的会话模式部署、单作业模式部署、应用模式部署)
Flink--day022、Flink部署(Yarn集群搭建下的会话模式部署、单作业模式部署、应用模式部署)
148 5
|
7月前
|
资源调度 Kubernetes Java
Flink--2、Flink部署(Yarn集群搭建下的会话模式部署、单作业模式部署、应用模式部署)
Flink--2、Flink部署(Yarn集群搭建下的会话模式部署、单作业模式部署、应用模式部署)
|
5月前
|
分布式计算 Hadoop Windows
解决Windows环境下hadoop集群的运行
解决Windows环境下hadoop集群的运行
38 0
|
5月前
|
资源调度 大数据 调度
【云计算与大数据技术】集群资源统一管理系统YARN、Mesos、Omega讲解(图文解释 超详细)
【云计算与大数据技术】集群资源统一管理系统YARN、Mesos、Omega讲解(图文解释 超详细)
90 2
|
5月前
|
算法 程序员 Apache
Windows下搭建SVN服务器并配置eclipse和idea
Windows下搭建SVN服务器并配置eclipse和idea
70 1

推荐镜像

更多