HDFS基本命令及上传文件API

简介: HDFS基本命令及上传文件API

一、HDFS基本命令行操作:

1.HDFS集群修改SecondaryNameNode位置到hd09-2

   (1)修改hdfs-site.xml

<configuration>
            //配置元数据存储位置
            <property>
                <name>dfs.namenode.name.dir</name>
                <value>/root/hd/dfs/name</value>
            </property>
            //配置数据存储位置
            <property>
                <name>dfs.datanode.data.dir</name>
                <value>/root/hd/dfs/data</value>
            </property>
            <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>hd09-2:50090</value>
            </property>    
        </configuration>

       注意上面的第三个<property>不是

<property>
                <name>dfs.namenode.secondary.https-address</name>
                <value>hd09-2:50090</value>
            </property>

 

       

   (2)分发hdfs-site.xml到其他服务器

cd /root/hd/hadoop-2.8.4/etc/hadoop
        scp hdfs-site.xml hd09-2:$PWD
        scp hdfs-site.xml hd09-3:$PWD

   (3)hdfs启动命令

 

start-dfs.sh

   (4)hdfs停止命令

 

stop-dfs.sh

2.HDFS集群修改replication(副本数)

       修改hdfs-site.xml 在<configuration>中加入

 

<property>
                <name>dfs.replication</name>
                <value>3</value>
            </property>

       其中<value>中的值就是副本数


3.HDFS集群修改blocksize(块大小)                

       修改hdfs-site.xml 在<configuration>中加入

     

<property>
                <name>dfs.blocksize</name>
                <value>134217728</value>
            </property>

       其中<value>中的值就是块大小,单位是字节(byte)

       

4.hdfs命令行

   (1)查看帮助

       hdfs dfs -help

       

   (2)查看当前目录信息

       hdfs dfs -ls /

       

   (3)上传文件

       hdfs dfs -put /本地路径 /hdfs路径

       

   (4)剪切文件

       hdfs dfs -moveFromLocal a.txt /aa.txt

       

   (5)下载文件到本地

       hdfs dfs -get /hdfs路径 /本地路径

       

   (6)合并下载

       hdfs dfs -getmerge /hdfs路径文件夹 /合并后的文件

       

   (7)创建文件夹

       hdfs dfs -mkdir /hello

       

   (8)创建多级文件夹

       hdfs dfs -mkdir -p /hello/world

       

   (9)移动hdfs文件

       hdfs dfs -mv /hdfs路径 /hdfs路径

       

   (10)复制hdfs文件

       hdfs dfs -cp /hdfs路径 /hdfs路径

       

   (11)删除hdfs文件

       hdfs dfs -rm /aa.txt

       

   (12)删除hdfs文件夹

       hdfs dfs -rm -r /hello

       

   (13)查看hdfs中的文件

       hdfs dfs -cat /文件

       hdfs dfs -tail -f /文件

       

   (14)查看文件夹中有多少个文件

       hdfs dfs -count /文件夹

       

   (15)查看hdfs的总空间

       hdfs dfs -df /

       hdfs dfs -df -h /

       

   (16)修改副本数    

       hdfs dfs -setrep 1 /a.txt

 

二、上传文件的简单API:

package com.css.hdfs01;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class HdfsClientDemo01 {
    public static void main(String[] args) throws IOException, InterruptedException, URISyntaxException {
        //1.客户端加载配置文件
        Configuration conf = new Configuration();
        //2.指定配置(设置成2个副本数)
        conf.set("dfs.replication", "2");
        //3.指定块大小
        conf.set("dfs.blocksize", "64m");
        //4.构造客户端
        FileSystem fs = FileSystem.get(new URI("hdfs://192.168.146.132:9000"), conf, "root");
        //5.上传文件
        fs.copyFromLocalFile(new Path("c:/words.txt"), new Path("/words.txt"));
        //6.关闭资源
        fs.close();
    }
}
相关文章
|
7月前
|
API
uniapp上传文件时用到的api是什么?格式是什么?
uniapp上传文件时用到的api是什么?格式是什么?
|
7月前
|
Java API Maven
HDFS的API操作
HDFS的API操作
63 0
|
4月前
|
安全 Linux Shell
HDFS常用命令
HDFS常用命令
39 1
|
5月前
|
分布式计算 Hadoop
hadoop格式化HDFS的命令
【7月更文挑战第21天】
509 5
|
5月前
|
敏捷开发 缓存 弹性计算
阿里云云效产品使用合集之如何通过API接口往附件中上传文件
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
6月前
|
Java 大数据 API
【大数据】HDFS、HBase操作教程(含指令和JAVA API)
【大数据】HDFS、HBase操作教程(含指令和JAVA API)
150 0
【大数据】HDFS、HBase操作教程(含指令和JAVA API)
|
7月前
|
机器学习/深度学习 SQL 人工智能
Web LLM 实验:利用 LLM API 实现命令注入
Web LLM 实验:利用 LLM API 实现命令注入
|
7月前
|
分布式计算 Hadoop Shell
Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
【4月更文挑战第4天】Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
110 5
|
7月前
|
API
Uni-app 如何上传文件, 使用的API是什么
Uni-app 如何上传文件, 使用的API是什么
210 0
|
7月前
|
分布式计算 Hadoop Linux
HDFS的常用命令
HDFS的常用命令
77 0

热门文章

最新文章