Cloudera Mountable HDFS (hadoop-fuse-dfs).

简介:

使用 cloudera 挂载HDFS ,关于部署HDFS 可以参考这里

前一段时间做HDFS 测试,mount HDFS 过程 ,整理一下分享!

 

1 获取cdh3 yum 源

 
  1. wget -c http://archive.cloudera.com/redhat/cdh/cdh3-repository-1.0-1.noarch.rpm 

2 安装下载的rpm 包

 
  1. yum --nogpgcheck localinstall cdh3-repository-1.0-1.noarch.rpm 

//安装后将得到 cloudera-cdh3.repo 文件

 
  1. [root@namenode ~]# ll /etc/yum.repos.d/ 
  2. total 40 
  3. -rw-r--r-- 1 root root 1926 Aug 29  2011 CentOS-Base.repo 
  4. -rw-r--r-- 1 root root  631 Aug 29  2011 CentOS-Debuginfo.repo 
  5. -rw-r--r-- 1 root root  626 Aug 29  2011 CentOS-Media.repo 
  6. -rw-r--r-- 1 root root 5390 Aug 29  2011 CentOS-Vault.repo 
  7. -rw-r--r-- 1 root root  201 Jul 14  2011 cloudera-cdh3.repo 

3 导入 rpm key

 
  1. rpm --import http://archive.cloudera.com/redhat/cdh/RPM-GPG-KEY-cloudera

4 安装 hadoop-0.20-fuse

 
  1. yum install hadoop-0.20-fuse 

5 安装配置java 环境

 
  1. //下载安装jdk 
  2. chmod +x jdk-6u26-linux-x64-rpm.bin  
  3. ./jdk-6u26-linux-x64-rpm.bin  
  4.  
  5. //编辑 profile 
  6. vim /etc/profile 
  7. export JAVA_HOME=/usr/java/jdk1.6.0_26 
  8. export PATH=$JAVA_HOME/bin:$PATH 
  9.  
  10. //载入环境变量
  11. souce /etc/profile

6 配置 /etc/hosts文件添加namenode

 
  1. vim /etc/hosts 
  2.  
  3. 10.0.100.75      namenode 

7 创建挂载点并挂载hdfs

 
  1. mkdir -p /data/hdfs/ 
  2. chown -R hdfs:hdfs /data/hdfs/ 
  3. hadoop-fuse-dfs dfs://namenode:8020 /data/hdfs 

8 卸载hdfs

 
  1. umount /data/hdfs 

 

结束

参考

https://ccp.cloudera.com/display/CDHDOC/Mountable+HDFS


本文转自 dongnan 51CTO博客,原文链接:http://blog.51cto.com/dngood/798894

相关文章
|
3月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
206 6
|
3月前
|
SQL 分布式计算 监控
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
75 3
|
3月前
|
SQL 分布式计算 Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
60 4
|
3月前
|
分布式计算 资源调度 Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
129 3
|
3月前
|
SQL 分布式计算 Hadoop
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
55 2
|
3月前
|
SQL
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
49 2
|
3月前
|
分布式计算 Hadoop 网络安全
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
48 1
|
3月前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
124 0
|
3月前
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
58 0
|
3月前
|
SQL 分布式计算 关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
72 0

相关实验场景

更多