Hadoop学习(一) MAC OS下安装Hadoop开发环境

简介: Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。

在MAC OS下安装和配置Hadoop开发环境相当简单。

下载后解压复制到/Users 路径下。

在/Users/hadoop-1.0.3/conf 路径下修改以下四个文件:

  1. core-site.xml 在段中增加

      <name>fs.default.name</name>  
      <value>localhost:9000</value>  
    AI 代码解读

  2. hdfs-site.xml 在段中增加

      <name>dfs.replication</name>  
      <value>1</value>  
    AI 代码解读

表示使用hdfs分布是文件系统,复制份数为1,在单机上运行。

  1. mapred-site.xml 在段中增加

    <name>mapred.job.tracker</name>  
    <value>localhost:9001</value>  
    AI 代码解读

表示在本机执行jobtracker进程。

  1. hadoop-env.sh 增加以下环境变量

    export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/Home

    export HADOOP_INSTALL=/Users/hadoop-1.0.3

    export PATH=PATH:HADOOP_INSTALL/bin

在MAC OS的系统偏好设置-共享中,允许远程登陆,打开ssh访问。

打开终端,进入/Users/hadoop-1.0.3 路径,执行:

bin/hadoop namenode -format
AI 代码解读

初始化hdfs文件系统。

最后启动Hadoop。

bin/start-all.sh 
AI 代码解读

执行jps命令可以查看运行中的Hadoop进程。

通过页面http://localhost:50070 可以查看Hadoop运行状态。

xiaoma
+关注
目录
打赏
0
0
0
0
56
分享
相关文章
Android调试终极指南:ADB安装+多设备连接+ANR日志抓取全流程解析,覆盖环境变量配置/多设备调试/ANR日志分析全流程,附Win/Mac/Linux三平台解决方案
ADB(Android Debug Bridge)是安卓开发中的重要工具,用于连接电脑与安卓设备,实现文件传输、应用管理、日志抓取等功能。本文介绍了 ADB 的基本概念、安装配置及常用命令。包括:1) 基本命令如 `adb version` 和 `adb devices`;2) 权限操作如 `adb root` 和 `adb shell`;3) APK 操作如安装、卸载应用;4) 文件传输如 `adb push` 和 `adb pull`;5) 日志记录如 `adb logcat`;6) 系统信息获取如屏幕截图和录屏。通过这些功能,用户可高效调试和管理安卓设备。
|
4月前
|
Ubuntu gnome WhiteSur-gtk-theme类mac主题正确安装和卸载方式
通过这个过程,用户不仅可以定制自己的桌面外观,还可以学习到更多关于 Linux 系统管理的知识,从而更好地掌握系统配置和主题管理的技巧。
513 12
「Mac畅玩鸿蒙与硬件3」鸿蒙开发环境配置篇3 - DevEco Studio插件安装与配置
本篇将专注于如何在 DevEco Studio 中安装和配置必要的插件,以增强开发功能和提升效率。通过正确配置插件,开发流程能够得到简化,开发体验也会更加顺畅。
347 1
「Mac畅玩鸿蒙与硬件3」鸿蒙开发环境配置篇3 - DevEco Studio插件安装与配置
「Mac畅玩鸿蒙与硬件2」鸿蒙开发环境配置篇2 - 在Mac上安装DevEco Studio
本篇将专注于如何在 Mac 上安装鸿蒙开发工具 DevEco Studio,确保开发环境能够顺利搭建。完成安装后,可以正式开始鸿蒙应用的开发工作。
523 1
「Mac畅玩鸿蒙与硬件2」鸿蒙开发环境配置篇2 - 在Mac上安装DevEco Studio
Mac air使用Boot Camp安装win10 ,拷贝 Windows 文件时出错
Mac air使用Boot Camp安装win10 ,拷贝 Windows 文件时出错
Mac OSX 平台安装 MongoDB
10月更文挑战第11天
159 4
Mac os 安装 nginx 教程(success)
这篇文章是关于如何在Mac OS系统上使用Homebrew安装nginx及其依赖,并解决安装过程中可能出现的权限问题。
1142 0
Mac os 安装 nginx 教程(success)
【10月更文挑战第5天】「Mac上学Python 6」入门篇6 - 安装与使用Anaconda
本篇将详细介绍如何在Mac系统上安装和配置Anaconda,如何创建虚拟环境,并学习如何使用 `pip` 和 `conda` 管理Python包,直到成功运行第一个Python程序。通过本篇,您将学会如何高效地使用Anaconda创建和管理虚拟环境,并使用Python开发。
296 4
【10月更文挑战第5天】「Mac上学Python 6」入门篇6 - 安装与使用Anaconda

推荐镜像

更多
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等