一个痛苦的问题的解决,windows上eclipse提交yarn集群的错误

简介:
--------一个痛苦的解决问题的过程--------------------------------------
 
 首先确保linux服务器上面的集群环境启动
 
 集群启动
    start-dfs.sh
    stop-dfs.sh 
    start-yarn.sh 
    stop-yarn.sh
    
    
    [hadoop@mini130 sbin]$ jps
        3522 NameNode
        4823 Jps
        3672 DataNode
        3948 ResourceManager
        3852 SecondaryNameNode
        4253 NodeManager
    
    [hadoop@mini131 ~]$ jps
        2219 DataNode
        2365 NodeManager
        2927 Jps
    
 
 
windows里面的eclipse访问linux的yarn集群会出现的错误
1、权限问题
   没有linux的权限,需要在启动的配置参数中加上指定的用户,如在debug的配置中:HADOOP_USER_NAME=hadoop
 
 
 
2、/bin/bash: line 0: fg: no job control一般解决方法
   这个问题是hadoop的bug
   具体可参考http://blog.csdn.net/fansy1990/article/details/27526167
   需要重新写YARNRunner.java,具体的本项目中已有

   
   
3、出现Stack trace: ExitCodeException exitCode=1:
   参考:http://www.cnblogs.com/gaoxing/p/4466924.html
   要把配置的四个文件放到src目录下面
   core-site.xml
   hdfs-site.xml
   mapred-site.xml
   yarn-site.xml
   注意如果要使用如 mini130 这样的,需要在hosts中进行配置
   yarn.application.classpath
   mapreduce.application.classpath都需要编写绝对地址

4、出现时间不一致

    同步时间,用root账号:

    ntpdate time.nist.gov




      本文转自yushiwh 51CTO博客,原文链接:http://blog.51cto.com/yushiwh/1919132 ,如需转载请自行联系原作者



相关文章
|
11月前
|
资源调度
YARN集群启停命令
YARN集群启停命令
171 0
|
5月前
|
Kubernetes Linux Windows
kubectl 本地远程链接k8s多个集群,远程管控多集群,查看日志 部署服务(windows版)
kubectl 本地远程链接k8s多个集群,远程管控多集群,查看日志 部署服务(windows版)
434 0
|
10月前
|
弹性计算 资源调度 Kubernetes
Flink三种集群模式,Standalone模式,Flink On YARN,Flink On K8S,这三种模式有啥优缺点,生产环境如何选择呢?
Flink三种集群模式,Standalone模式,Flink On YARN,Flink On K8S,这三种模式有啥优缺点,生产环境如何选择呢?
746 3
|
1月前
|
资源调度 分布式计算 Hadoop
搭建YARN集群
文章介绍了如何搭建YARN集群,包括启动HDFS集群、修改YARN配置文件、启动ResourceManager和NodeManager节点,并提供了用于管理Hadoop集群的自定义脚本。
29 2
|
1月前
|
分布式计算 资源调度 Hadoop
在YARN集群上运行部署MapReduce分布式计算框架
主要介绍了如何在YARN集群上配置和运行MapReduce分布式计算框架,包括准备数据、运行MapReduce任务、查看任务日志,并启动HistoryServer服务以便于日志查看。
37 0
|
3月前
|
SQL 弹性计算 资源调度
云服务器 ECS产品使用问题之bin/spark-sql --master yarn如何进行集群模式运行
云服务器ECS(Elastic Compute Service)是各大云服务商阿里云提供的一种基础云计算服务,它允许用户租用云端计算资源来部署和运行各种应用程序。以下是一个关于如何使用ECS产品的综合指南。
|
2月前
|
资源调度 Oracle Java
实时计算 Flink版产品使用问题之在YARN集群上运行时,如何查看每个并行度的详细处理数据情况
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
4月前
|
资源调度 Windows
Windows系统yarn : 无法加载文件
Windows系统yarn : 无法加载文件
|
5月前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】(图片来源于网络)(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
【4月更文挑战第5天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
124 9
|
5月前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)
【4月更文挑战第4天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)
73 4

推荐镜像

更多
下一篇
无影云桌面