43 HA下hdfs-api变化

简介: 43 HA下hdfs-api变化

客户端需要nameservice的配置信息,其他不变

/**
 * 如果访问的是一个ha机制的集群
 * 则一定要把core-site.xml和hdfs-site.xml配置文件放在客户端程序的classpath下
 * 以让客户端能够理解hdfs://ns1/中  “ns1”是一个ha机制中的namenode对——nameservice
 * 以及知道ns1下具体的namenode通信地址
 * @author
 *
 */
public class UploadFile {
  public static void main(String[] args) throws Exception  {
    Configuration conf = new Configuration();
    conf.set("fs.defaultFS", "hdfs://ns1/");
    FileSystem fs = FileSystem.get(new URI("hdfs://ns1/"),conf,"hadoop");
    fs.copyFromLocalFile(new Path("g:/eclipse-jee-luna-SR1-linux-gtk.tar.gz"), new Path("hdfs://ns1/"));
    fs.close();
  }
}


目录
相关文章
|
5月前
|
存储 分布式计算 监控
分布式系统详解--框架(Hadoop-HDFS的HA搭建及测试)
分布式系统详解--框架(Hadoop-HDFS的HA搭建及测试)
63 0
|
机器学习/深度学习 存储 分布式计算
HDFS Namenode HA高可用搭建
HDFS Namenode HA高可用搭建
238 1
|
存储 机器学习/深度学习 Java
HDFS 在 HA 模式集群下 JournalNode 节点的作用
HDFS 在 HA 模式集群下 JournalNode 节点的作用
188 0
|
分布式数据库 Perl Hbase
HDFS恢复非HA状态
HDFS恢复非HA状态
108 0
HDFS恢复非HA状态
|
分布式计算 资源调度 大数据
在HDFS的HA模式下配置HBase
在HDFS的HA模式下配置HBase
174 0
在HDFS的HA模式下配置HBase
|
分布式计算 Hadoop Shell
HDFS的高可用性HA配置实战(下)
HDFS的高可用性HA配置实战(下)
204 0
HDFS的高可用性HA配置实战(下)
|
分布式计算 Hadoop 大数据
HDFS的高可用性HA配置实战(上)
HDFS的高可用性HA配置实战(上)
158 0
HDFS的高可用性HA配置实战(上)
|
分布式计算 Hadoop
hdfs集群安装(单namenode和HA模式)
本文介绍hdfs集群安装(单namenode和HA模式)指南
hdfs集群安装(单namenode和HA模式)
|
存储 消息中间件 分布式计算
使用 QJM 实现 HDFS 的 HA
如果对HDFS架构熟悉的话(如果不熟悉,可以通过HDFS架构了解),就应该知道,NameNode通过FsImage和EditLog两个文件管理DataNode的数据,Secondary NameNode会定期合并EditLog,以减少NameNode启动时的安全检查。
176 0
|
机器学习/深度学习 分布式计算 大数据
大数据分布式架构单点故障详解(Hdfs+Yarn+HBase+Spark+Storm)构建HA高可用架构
本文梳理了常见的hadoop生态圈中的组件:Hdfs+Yarn+HBase+Spark+Storm的单点故障问题,出现原因以及单点故障的原理和解决方案(构建HA(High Available)高可用架构)。阅读本文之前,最好了解清楚各组件的架构原理。
大数据分布式架构单点故障详解(Hdfs+Yarn+HBase+Spark+Storm)构建HA高可用架构
下一篇
无影云桌面