E-MapReduce集群-JAVA客户端远程连接HDFS

简介: 阿里云E-MapReduce集群-JAVA客户端远程连接HDFS

部署在阿里云的EMR集群,通过公网进行连接,使用HDFS的JAVA-SDK,进行目录树的维护以及文件存储、下载。

1. 集群环境

a. EMR集群版本

阿里云EMR on ECS集群

集群版本 EMR-5.9.0

集群类型 DataLake

HadoopCommon 3.2.1

HDFS 3.2.1

2. 本地环境

a. Java环境

本地环境配置java==1.8.0

~/.bash_profile配置环境变量如下

配置好环境变量后查看java的版本

java -version

b. hadoop客户端

hadoop客户端下载地址:https://archive.apache.org/dist/hadoop/common/

解压后配置环境变量:

配置完成之后查看相关的版本信息:

c. Maven配置

java项目的maven依赖配置,需要注意hadoop相关的需要保持版本和emr集群版本的一致。另外还有junit负责测试和log4j的日志管理。

<dependencies><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>3.2.1</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>3.2.1</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId><version>3.2.1</version></dependency><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>4.12</version><scope>compile</scope></dependency></dependencies>

d. 公网安全组入端口放行

在EMR集群的安全组设置中,开放本地ip地址到8020端口的权限

e. 样例代码

packagecom.aliyun;
importorg.apache.hadoop.conf.Configuration;
importorg.apache.hadoop.fs.FileSystem;
importorg.apache.hadoop.fs.Path;
importorg.junit.After;
importorg.junit.Before;
importorg.junit.Test;
importjava.io.IOException;
importjava.net.URI;
importjava.net.URISyntaxException;
publicclassHDFSClientTest00 {
privateFileSystemfileSystem;
@Beforepublicvoidinit() throwsURISyntaxException, IOException {
URIuri=newURI("hdfs://${master_node_ip}:${hdfs_port}");
Configurationconfiguration=newConfiguration();
fileSystem=FileSystem.get(uri, configuration);
    }
// 创建一个根目录下的文件夹@TestpublicvoidtestMkdir() throwsIOException {
fileSystem.mkdirs(newPath("/paper2"));
    }
@Afterpublicvoidend() throwsIOException {
fileSystem.close();
    }
}

3. 常见问题

a. Standby NameNode无法对外提供服务

【问题】

EMR高可用集群,默认3个master节点,1个Active NameNode和2个Standby NameNode,通过URI指定master集群如果指定到Standby NameNode所在的节点则会报如下错误,Standby NameNode默认不对外客户端提供交互。

org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category WRITE is not supported in state standby. Visit https://s.apache.org/sbnn-error

【解决】

可以登录到集群任意一个master节点上执行如下命令确认当前的ANN是哪个节点,并更改FileSystem类中指定的URI。

b. NameNode无法ping通

【问题】

在通过java的sdk进行文件的上传和下载的时候,会报错ConnectTimeoutException,根据日志来看,本地java在尝试与某个DataNode的内网IP进行通讯,获取blockreader进行数据的读取,详细报错如下:

2022-10-3117:09:09,233 WARN [org.apache.hadoop.hdfs.client.impl.BlockReaderFactory] - I/O error constructing remote block reader.
org.apache.hadoop.net.ConnectTimeoutException: 60000 millis timeout while waiting for channel to be ready for connect. ch : java.nio.channels.SocketChannel[connection-pending remote=/${DataNode的内网ip地址}:9866]

文件下载到本地笔记本所用到的方法如下:

@TestpublicvoidtestGetFile() throwsIOException {
fileSystem.copyToLocalFile(newPath("/peixun/peixun.txt"), newPath("/Users/adamsun/output"));
}


【原因】

与HDFS的文件交互默认使用内网的IP地址,当本地JAVA客户端与NameNode进行交互鉴权并获得某个文件的所有Block块存储在DataNode的位置后,需要自定与DataNode进行交互并获取、上传数据,在此期间根据NameNode的返回的内网IP地址和端口肯定本地是ping不通的

【解决】

  1. 在FileSystem类默认的配置对象中指定,节点之间的交互使用域名的方式进行。
Configurationconfiguration=newConfiguration();
configuration.set("dfs.client.use.datanode.hostname", "true");
  1. 配置安全组,开放本地ip地址到9866端口的入权限
  2. 配置本地的 /etc/hosts ,加入所有的DataNode节点并路由到公网IP地址

相关文章
|
22天前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
103 6
|
22天前
|
消息中间件 分布式计算 关系型数据库
大数据-140 - ClickHouse 集群 表引擎详解5 - MergeTree CollapsingMergeTree 与其他数据源 HDFS MySQL
大数据-140 - ClickHouse 集群 表引擎详解5 - MergeTree CollapsingMergeTree 与其他数据源 HDFS MySQL
35 0
|
23天前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
61 0
|
23天前
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
29 0
|
23天前
|
SQL 分布式计算 关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
39 0
|
4天前
|
监控 安全 Java
在 Java 中使用线程池监控以及动态调整线程池时需要注意什么?
【10月更文挑战第22天】在进行线程池的监控和动态调整时,要综合考虑多方面的因素,谨慎操作,以确保线程池能够高效、稳定地运行,满足业务的需求。
71 38
|
1天前
|
安全 Java
java 中 i++ 到底是否线程安全?
本文通过实例探讨了 `i++` 在多线程环境下的线程安全性问题。首先,使用 100 个线程分别执行 10000 次 `i++` 操作,发现最终结果小于预期的 1000000,证明 `i++` 是线程不安全的。接着,介绍了两种解决方法:使用 `synchronized` 关键字加锁和使用 `AtomicInteger` 类。其中,`AtomicInteger` 通过 `CAS` 操作实现了高效的线程安全。最后,通过分析字节码和源码,解释了 `i++` 为何线程不安全以及 `AtomicInteger` 如何保证线程安全。
java 中 i++ 到底是否线程安全?
|
5天前
|
Java 调度
[Java]线程生命周期与线程通信
本文详细探讨了线程生命周期与线程通信。文章首先分析了线程的五个基本状态及其转换过程,结合JDK1.8版本的特点进行了深入讲解。接着,通过多个实例介绍了线程通信的几种实现方式,包括使用`volatile`关键字、`Object`类的`wait()`和`notify()`方法、`CountDownLatch`、`ReentrantLock`结合`Condition`以及`LockSupport`等工具。全文旨在帮助读者理解线程管理的核心概念和技术细节。
20 1
[Java]线程生命周期与线程通信
|
2天前
|
安全 Java
在 Java 中使用实现 Runnable 接口的方式创建线程
【10月更文挑战第22天】通过以上内容的介绍,相信你已经对在 Java 中如何使用实现 Runnable 接口的方式创建线程有了更深入的了解。在实际应用中,需要根据具体的需求和场景,合理选择线程创建方式,并注意线程安全、同步、通信等相关问题,以确保程序的正确性和稳定性。
|
1天前
|
缓存 Java 调度
Java中的多线程编程:从基础到实践
【10月更文挑战第24天】 本文旨在为读者提供一个关于Java多线程编程的全面指南。我们将从多线程的基本概念开始,逐步深入到Java中实现多线程的方法,包括继承Thread类、实现Runnable接口以及使用Executor框架。此外,我们还将探讨多线程编程中的常见问题和最佳实践,帮助读者在实际项目中更好地应用多线程技术。
8 3