Hdfs dfs命令使用

简介: 如果是把数据放在了hdfs系统,那么我们如何访问他们呢?1.hdfs查看文件夹./hdfs dfs -ls hdfs://mycluster/output/online/2.hdfs创建目录dfs创建文件夹.

如果是把数据放在了hdfs系统,那么我们如何访问他们呢?

1.hdfs查看文件夹

./hdfs dfs -ls hdfs://mycluster/output/online/

2.hdfs创建目录dfs创建文件夹

./hdfs dfs -mkdir hdfs://mycluster/output/online/
./hdfs dfs -mkdir hdfs://mycluster/output/online/pv

这里有个坑,如果你直接创建多级目录,会得到错误提示,所以要一级一级的去建立目录才行!

16/12/22 18:32:54 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
mkdir: `hdfs://mycluster/output/online/pv': No such file or directory

3.创建hive表


CREATE EXTERNAL TABLE `pv_table`(
`city_name` string,
`pv` string,
`product_line` string)
PARTITIONED BY (
  `day` string)
ROW FORMAT DELIMITED
  FIELDS TERMINATED BY '\t'
STORED AS INPUTFORMAT
  'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  'hdfs://mycluster/output/online/pv')
目录
相关文章
|
5月前
|
存储 分布式计算 Hadoop
HDFS 修改副本数&fsck命令
HDFS 修改副本数&fsck命令
241 0
|
4月前
|
分布式计算 Java 大数据
【大数据技术Hadoop+Spark】HDFS Shell常用命令及HDFS Java API详解及实战(超详细 附源码)
【大数据技术Hadoop+Spark】HDFS Shell常用命令及HDFS Java API详解及实战(超详细 附源码)
201 0
|
5月前
|
存储 分布式计算 Hadoop
aws s3常用命令、hdfs dfs/hadoop fs常用命令
aws s3常用命令、hdfs dfs/hadoop fs常用命令
412 0
|
5月前
|
API
HDFS基本命令及上传文件API
HDFS基本命令及上传文件API
|
12天前
|
分布式计算 Hadoop Shell
Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
【4月更文挑战第4天】Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
26 5
|
1月前
|
分布式计算 Hadoop Linux
HDFS的常用命令
HDFS的常用命令
18 0
|
4月前
|
存储 分布式计算 大数据
大数据笔记 | HDFS 常用操作命令
大数据笔记 | HDFS 常用操作命令
114 0
|
5月前
|
分布式计算 Hadoop
HDFS教程(02)- HDFS命令汇总
HDFS教程(02)- HDFS命令汇总
70 0
|
5月前
|
存储 分布式计算 Hadoop
HDFS文件操作命令
HDFS文件操作命令
58 0
|
6月前
|
分布式计算 大数据 Hadoop
【大数据开发技术】实验02-HDFS常用shell命令
【大数据开发技术】实验02-HDFS常用shell命令
96 0