mac osx 系统 brew install hadoop 安装指南

简介:
mac osx 系统 brew  install hadoop 安装指南
 
  1. brew install hadoop 
  2. 配置 core-site.xml:配置hdfs文件地址(记得chmod 对应文件夹,否则无法正常启动hdfs)和namenode的rpc通行端口
  3. 配置mapred-site.xml  中的map reduce通信端口
  4. 配置hdfs-site.xml 中的datanode 副本数。
  5. 格式化hdfs文件系统
  6. 启动Hadoop 和 yarn  namenode  datanode  mapred , 即:运行 start_all.sh
  7. (可选)在hdfs中创建当前用户的地址:  hadoop fs -mkdir -p /user/fan
  8. 开工,web ui 地址默认为:http://localhost:50070。
 
 
遇到的问题:
一, 如在hdfs -put ~/file  fileonhdfs 时, 出现error:WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir
          原因是:
  1.   core-site.xml中设置的文件系统已满,需重新设置,并再次-format。
  2.   core-site.xml中设置的hdfs文件系统所在文件夹需要chmod 777 
 
二, 如在hadoop fs -ls . 命令时出现: ls: '.': No such file or directory'
  1. 请执行: 
    hadoop fs -mkdir -p /user/[current login user]
 
 
 
配置文件demo:
 

配置core-site.xml、hdfs-site.xml、mapred-site.xml

* core-site.xml:

 

Xml代码  
  1. <configuration>  
  2.    
  3. <property>  
  4.   <name>hadoop.tmp.dir</name>  
  5.   <value>/usr/local/tmp/hadoop/hadoop-${user.name}</value>  
  6.   <description>A base for other temporary directories.</description>  
  7. </property>  
  8.    
  9. <property>  
  10.         <name>fs.default.name</name>  
  11.         <value>hdfs://localhost:8020</value>  
  12. </property>  
  13.    
  14. </configuration>  

 

 

* hdfs-site.xml:

 

Xml代码  
  1. <configuration>  
  2.    
  3.     <property>  
  4.         <name>dfs.replication</name>  
  5.         <value>1</value>  
  6.     </property>  
  7.    
  8. </configuration>  

 

 

* mapred-site.xml:

 

Xml代码  
  1. <configuration>  
  2.    
  3.     <property>  
  4.         <name>mapred.job.tracker</name>  
  5.         <value>localhost:8021</value>  
  6.     </property>  
  7.    
  8.     <property>  
  9.           
  10. </configuration>  

 

 

其实这些都是基本配置, 网上一大把。配置的值的说明可以参考这3个地址:

 

 写道
http://hadoop.apache.org/common/docs/r0.20.2/core-default.html
http://hadoop.apache.org/common/docs/r0.20.2/hdfs-default.html
http://hadoop.apache.org/common/docs/r0.20.0/mapred-default.html

 

 

2.3)格式化hadoop的文件系统hdfs。 执行命令 hadoop namenode -format 



本文转自fandyst 博客园博客,原文链接:http://www.cnblogs.com/ToDoToTry/    ,如需转载请自行联系原作者

相关文章
|
16天前
|
前端开发 安全 测试技术
Postman Mac 版安装终极指南:从下载到流畅运行,一步到位
Postman 是 API 开发与测试的高效工具,支持各类 HTTP 请求调试与团队协作。本文详解 Mac 版下载、安装步骤,助你快速上手。同时推荐一体化 API 协作平台 Apifox,集文档、调试、测试于一体,提升开发效率与团队协同能力。
|
4月前
|
iOS开发 MacOS 索引
在不受支持的 Mac 上安装 macOS Tahoe 26
在不受支持的 Mac 上安装 macOS Tahoe 26
220 0
在不受支持的 Mac 上安装 macOS Tahoe 26
|
7月前
|
SQL 分布式计算 Hadoop
Hadoop生态系统:从小白到老司机的入门指南
Hadoop生态系统:从小白到老司机的入门指南
298 13
|
7月前
|
Ubuntu Linux Shell
Ubuntu gnome WhiteSur-gtk-theme类mac主题正确安装和卸载方式
通过这个过程,用户不仅可以定制自己的桌面外观,还可以学习到更多关于 Linux 系统管理的知识,从而更好地掌握系统配置和主题管理的技巧。
799 12
|
iOS开发 MacOS Windows
Mac air使用Boot Camp安装win10 ,拷贝 Windows 文件时出错
Mac air使用Boot Camp安装win10 ,拷贝 Windows 文件时出错
|
7月前
|
监控 Shell Linux
Android调试终极指南:ADB安装+多设备连接+ANR日志抓取全流程解析,覆盖环境变量配置/多设备调试/ANR日志分析全流程,附Win/Mac/Linux三平台解决方案
ADB(Android Debug Bridge)是安卓开发中的重要工具,用于连接电脑与安卓设备,实现文件传输、应用管理、日志抓取等功能。本文介绍了 ADB 的基本概念、安装配置及常用命令。包括:1) 基本命令如 `adb version` 和 `adb devices`;2) 权限操作如 `adb root` 和 `adb shell`;3) APK 操作如安装、卸载应用;4) 文件传输如 `adb push` 和 `adb pull`;5) 日志记录如 `adb logcat`;6) 系统信息获取如屏幕截图和录屏。通过这些功能,用户可高效调试和管理安卓设备。
|
Oracle Java 关系型数据库
Mac电脑上安装和配置Flutter开发环境
Mac电脑上安装和配置Flutter开发环境
403 60
|
11月前
|
开发工具 git 开发者
「Mac畅玩鸿蒙与硬件3」鸿蒙开发环境配置篇3 - DevEco Studio插件安装与配置
本篇将专注于如何在 DevEco Studio 中安装和配置必要的插件,以增强开发功能和提升效率。通过正确配置插件,开发流程能够得到简化,开发体验也会更加顺畅。
404 1
「Mac畅玩鸿蒙与硬件3」鸿蒙开发环境配置篇3 - DevEco Studio插件安装与配置
|
11月前
|
开发工具 iOS开发 开发者
「Mac畅玩鸿蒙与硬件2」鸿蒙开发环境配置篇2 - 在Mac上安装DevEco Studio
本篇将专注于如何在 Mac 上安装鸿蒙开发工具 DevEco Studio,确保开发环境能够顺利搭建。完成安装后,可以正式开始鸿蒙应用的开发工作。
676 1
「Mac畅玩鸿蒙与硬件2」鸿蒙开发环境配置篇2 - 在Mac上安装DevEco Studio

相关实验场景

更多