阿里云配置hadoop并远程访问

简介: 记录一下遇到的坑

软件工程专业在读大二本科生,通过同学了解到“飞天加速计划·高校学生在家实践”活动。

记录一下遇到的坑

问题:按照阿里云提供的方案部署hdfs并修改配置文件后,在本地通过java调用HDFS的API,发现仍然不能从本地进行远程访问,提示连接被拒绝。
需要额外做的步骤:
1.把defaultFS里的localhost改成云主机的内网IP,注意是内网IP。
2.在本地修改hosts文件(步骤自行百度),加入一行:

[云主机的ip] BigData1

即可

按照阿里云提供的方案搭建hadoop和hdfs确实方便,搭建出来是伪分布式的系统,如果需要搭建真正的分布式或者单机的hdfs系统,可以去官方wiki上找找教程。
defaultFS记录的是默认的文件系统,网上的各种教程里的设置都说是localhost,但是localhost是一种类似循环的地址,如果要通过远程环境去访问的话,服务器使用localhost是不行的,会找不到hdfs。所以需要改成内网的ip来使得部署在本机的namenode和datanode能访问到对方,从而使系统能正常运行。至于为什么是内网的ip,因为是服务器中的两个本地程序互相通信(这个比喻不一定恰当),所以用公网ip是行不通的。

本地修改hosts文件是无奈之举,我暂时没有理解原理,但确实是一种解决方案。

另外,在尝试的过程中我发现Windows上使用hadoop虽然可以通过下载额外的补丁来实现,但是并不稳定,问题百出,所以无奈换用了linux,效果还可以。

相关文章
|
5月前
|
XML 分布式计算 资源调度
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
284 5
|
5月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
124 4
|
5月前
|
XML 资源调度 网络协议
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
260 4
|
5月前
|
分布式计算 资源调度 Hadoop
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
168 4
|
5月前
|
SQL 存储 分布式计算
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
93 3
|
5月前
|
SQL 分布式计算 Hadoop
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
193 2
|
5月前
|
SQL 存储 数据管理
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
97 2
|
5月前
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
103 1
|
6月前
|
分布式计算 Hadoop Devops
Hadoop集群配置https实战案例
本文提供了一个实战案例,详细介绍了如何在Hadoop集群中配置HTTPS,包括生成私钥和证书文件、配置keystore和truststore、修改hdfs-site.xml和ssl-client.xml文件,以及重启Hadoop集群的步骤,并提供了一些常见问题的故障排除方法。
161 3
|
5月前
|
存储 SQL 消息中间件
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
80 0

相关实验场景

更多