E-MapReduce集群-JAVA客户端远程连接HDFS

简介: 阿里云E-MapReduce集群-JAVA客户端远程连接HDFS

部署在阿里云的EMR集群,通过公网进行连接,使用HDFS的JAVA-SDK,进行目录树的维护以及文件存储、下载。

1. 集群环境

a. EMR集群版本

阿里云EMR on ECS集群

集群版本 EMR-5.9.0

集群类型 DataLake

HadoopCommon 3.2.1

HDFS 3.2.1

2. 本地环境

a. Java环境

本地环境配置java==1.8.0

~/.bash_profile配置环境变量如下

配置好环境变量后查看java的版本

java -version

b. hadoop客户端

hadoop客户端下载地址:https://archive.apache.org/dist/hadoop/common/

解压后配置环境变量:

配置完成之后查看相关的版本信息:

c. Maven配置

java项目的maven依赖配置,需要注意hadoop相关的需要保持版本和emr集群版本的一致。另外还有junit负责测试和log4j的日志管理。

<dependencies><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>3.2.1</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>3.2.1</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId><version>3.2.1</version></dependency><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>4.12</version><scope>compile</scope></dependency></dependencies>

d. 公网安全组入端口放行

在EMR集群的安全组设置中,开放本地ip地址到8020端口的权限

e. 样例代码

packagecom.aliyun;
importorg.apache.hadoop.conf.Configuration;
importorg.apache.hadoop.fs.FileSystem;
importorg.apache.hadoop.fs.Path;
importorg.junit.After;
importorg.junit.Before;
importorg.junit.Test;
importjava.io.IOException;
importjava.net.URI;
importjava.net.URISyntaxException;
publicclassHDFSClientTest00 {
privateFileSystemfileSystem;
@Beforepublicvoidinit() throwsURISyntaxException, IOException {
URIuri=newURI("hdfs://${master_node_ip}:${hdfs_port}");
Configurationconfiguration=newConfiguration();
fileSystem=FileSystem.get(uri, configuration);
    }
// 创建一个根目录下的文件夹@TestpublicvoidtestMkdir() throwsIOException {
fileSystem.mkdirs(newPath("/paper2"));
    }
@Afterpublicvoidend() throwsIOException {
fileSystem.close();
    }
}

3. 常见问题

a. Standby NameNode无法对外提供服务

【问题】

EMR高可用集群,默认3个master节点,1个Active NameNode和2个Standby NameNode,通过URI指定master集群如果指定到Standby NameNode所在的节点则会报如下错误,Standby NameNode默认不对外客户端提供交互。

org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category WRITE is not supported in state standby. Visit https://s.apache.org/sbnn-error

【解决】

可以登录到集群任意一个master节点上执行如下命令确认当前的ANN是哪个节点,并更改FileSystem类中指定的URI。

b. NameNode无法ping通

【问题】

在通过java的sdk进行文件的上传和下载的时候,会报错ConnectTimeoutException,根据日志来看,本地java在尝试与某个DataNode的内网IP进行通讯,获取blockreader进行数据的读取,详细报错如下:

2022-10-3117:09:09,233 WARN [org.apache.hadoop.hdfs.client.impl.BlockReaderFactory] - I/O error constructing remote block reader.
org.apache.hadoop.net.ConnectTimeoutException: 60000 millis timeout while waiting for channel to be ready for connect. ch : java.nio.channels.SocketChannel[connection-pending remote=/${DataNode的内网ip地址}:9866]

文件下载到本地笔记本所用到的方法如下:

@TestpublicvoidtestGetFile() throwsIOException {
fileSystem.copyToLocalFile(newPath("/peixun/peixun.txt"), newPath("/Users/adamsun/output"));
}


【原因】

与HDFS的文件交互默认使用内网的IP地址,当本地JAVA客户端与NameNode进行交互鉴权并获得某个文件的所有Block块存储在DataNode的位置后,需要自定与DataNode进行交互并获取、上传数据,在此期间根据NameNode的返回的内网IP地址和端口肯定本地是ping不通的

【解决】

  1. 在FileSystem类默认的配置对象中指定,节点之间的交互使用域名的方式进行。
Configurationconfiguration=newConfiguration();
configuration.set("dfs.client.use.datanode.hostname", "true");
  1. 配置安全组,开放本地ip地址到9866端口的入权限
  2. 配置本地的 /etc/hosts ,加入所有的DataNode节点并路由到公网IP地址

相关文章
|
17天前
|
存储 Java API
Java实现导出多个excel表打包到zip文件中,供客户端另存为窗口下载
Java实现导出多个excel表打包到zip文件中,供客户端另存为窗口下载
25 4
|
1月前
|
Java
java实现从HDFS上下载文件及文件夹的功能,以流形式输出,便于用户自定义保存任何路径下
java实现从HDFS上下载文件及文件夹的功能,以流形式输出,便于用户自定义保存任何路径下
58 2
java实现从HDFS上下载文件及文件夹的功能,以流形式输出,便于用户自定义保存任何路径下
|
1月前
|
SQL 分布式计算 Java
Hadoop-11-MapReduce JOIN 操作的Java实现 Driver Mapper Reducer具体实现逻辑 模拟SQL进行联表操作
Hadoop-11-MapReduce JOIN 操作的Java实现 Driver Mapper Reducer具体实现逻辑 模拟SQL进行联表操作
31 3
|
1月前
|
分布式计算 资源调度 Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
88 3
|
1月前
|
分布式计算 资源调度 Hadoop
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
76 4
|
1月前
|
分布式计算 Java Hadoop
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
61 1
|
1月前
|
分布式计算 资源调度 数据可视化
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
37 1
|
1月前
|
分布式计算 资源调度 Hadoop
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
47 1
|
2月前
|
域名解析 分布式计算 网络协议
java遍历hdfs路径信息,报错EOFException
java遍历hdfs路径信息,报错EOFException
37 3
|
2月前
|
JSON NoSQL Java
redis的java客户端的使用(Jedis、SpringDataRedis、SpringBoot整合redis、redisTemplate序列化及stringRedisTemplate序列化)
这篇文章介绍了在Java中使用Redis客户端的几种方法,包括Jedis、SpringDataRedis和SpringBoot整合Redis的操作。文章详细解释了Jedis的基本使用步骤,Jedis连接池的创建和使用,以及在SpringBoot项目中如何配置和使用RedisTemplate和StringRedisTemplate。此外,还探讨了RedisTemplate序列化的两种实践方案,包括默认的JDK序列化和自定义的JSON序列化,以及StringRedisTemplate的使用,它要求键和值都必须是String类型。
redis的java客户端的使用(Jedis、SpringDataRedis、SpringBoot整合redis、redisTemplate序列化及stringRedisTemplate序列化)