开发者社区> 杨俊明> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

mac OS X Yosemite 上编译hadoop 2.6.0/2.7.0及TEZ 0.5.2/0.7.0 注意事项

简介: 1、jdk 1.7问题 hadoop 2.7.0必须要求jdk 1.7.0,而oracle官网已经声明,jdk 1.7 以后不准备再提供更新了,所以趁现在还能下载,赶紧去down一个mac版吧 http://www.
+关注继续查看

1、jdk 1.7问题

hadoop 2.7.0必须要求jdk 1.7.0,而oracle官网已经声明,jdk 1.7 以后不准备再提供更新了,所以趁现在还能下载,赶紧去down一个mac版吧

http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

应该选择mac ox 64位的版本

http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-macosx-x64.dmg

注:Yosemite上,只能安装jdk 1.7.0_79 这个版本,比它低的jdk 1.7版本已经没法正常安装了。

 

2、yum -install 问题

mac 虽然也是linux内核,但是很多其它linux版本下有用的东西,却被apple阉割掉了,比如apt-get,yum这些都没有,解决办法有二个:

a) 使用Mac Ports代替,官网地址:http://www.macports.org/

还有一篇网友的入门文章:http://www.ccvita.com/434.html

b) 使用HomeBrew,官网地址:http://brew.sh/

使用教程见: http://blog.csdn.net/delphiwcdj/article/details/19679891

 

3、maven 仓库的国内镜象问题

maven仓库的官网站点实在是太慢了,怪不得李总理强烈要求要提网速、降网费,不然实在严重阻碍中国IT事业的发展啊!!!

好在oschina做了件功德无量的好事,在国内搭建了一个镜像,把maven的settings.xml改成下面这样:

 1 <?xml version="1.0" encoding="UTF-8"?>
 2 
 3 <settings xmlns="http://maven.apache.org/SETTINGS/1.0.0"
 4           xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
 5           xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://maven.apache.org/xsd/settings-1.0.0.xsd">
 6 
 7 
 8   <mirrors>
 9     <mirror>
10       <id>nexus</id>
11       <mirrorOf>*</mirrorOf>
12       <url>http://maven.oschina.net/content/groups/public/</url>
13     </mirror>
14   </mirrors>
15 
16 </settings>
View Code

 

4、hadoop 2.6.0 编译过程中,找不到jdk 7下的classes.jar、tools.jar问题

hadoop 2.7的编译,在mac下还算顺利,基本上按 64位centos 下编译 hadoop 2.6.0 源码 的套路来就行了,一次成功。

但是hadoop 2.6就有点二了,编译过程中会报一个错,大意是找到不jdk 7目录下的classes.jar文件,原因是这个文件现在已经更名成rt.jar,放在jre/lib下了。

所以解决办法是:

进入 cd $JAVA_HOME (默认是/Library/Java/JavaVirtualMachines/jdk1.7.0_79.jdk/Contents/Home/ 这个目录)

sudo mkdir Classes 手动创建这个目录 

cd Classes

sudo cp ../jre/lib/rt.jar classes.jar 手动把rt.jar复制到这个目录下,并改名为classes.jar

sudo cp ../lib/*.jar 为防止其它jar包也找不到,把lib下所有jar包全放进来

再编译hadoop 2.6.0 就ok了

 

5、tez 0.7.0 编译过程中 nodejs 无法下载的问题

TEZ 0.5.2可以一路顺畅的编译,但是0.7.0就没这么好运了,会联到nodejs官网下载很多东西,所以编译ted 0.7.0这个版本,要选网速快的时段,比如月黑风高的夜晚,大家都在梦乡,不跟你抢带宽的时候编译。淘宝君提供了一个国内镜像 http://npm.taobao.org/ ,大家可以修改hosts,把官网地址直接指镜像地址。

具体可参考回复中3楼低调小门徒的做法:

vim /etc/hosts
42.120.63.172 registry.npmjs.org npmjs.org nodejs.org

附:tez0.7.0的下载地址 http://apache.dataguru.cn/tez/0.7.0/

编译命令:mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true

官方编译指南:http://tez.apache.org/install.html

 

最后给几篇关于TEZ的介绍文章:

http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1.2/bk_installing_manually_book/content/rpm-chap-tez.html

http://dongxicheng.org/mapreduce-nextgen/apache-tez-optimizations/

http://hortonworks.com/hadoop/tez/

http://hortonworks.com/hadoop-tutorial/supercharging-interactive-queries-hive-tez/

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Mac OS中利用ffmpeg为视频添加字幕
Mac OS中利用ffmpeg为视频添加字幕
0 0
Hadoop学习(一) MAC OS下安装Hadoop开发环境
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
0 0
Mac OS删除文件和文件夹的命令
Mac OS删除文件和文件夹的命令
0 0
Tuxera NTFS22苹果Mac OS X读写系统软件下载
众所周知,因为一些原因,我们的macOS无法读写NTFS文件系统,要想读写NTFS,我们就要用到软件 今天我要分享的软件就是Tuxera NTFS,有了它,你就能实现苹果Mac OS X系统读写Microsoft Windows NTFS文件系统,在硬盘、U盘等外接设备中进行全面访问、删除、修改等相关操作啦!
0 0
Mac OS 配置 Flutter 开发环境
手把手教你如何在 Mac OS 下配置 Flutter 开发环境。
0 0
Mac os系统android studio无法识别部分安卓手机,无法进行调试
Mac os系统android studio无法识别部分安卓手机,无法进行调试
0 0
如何在Mac OS下用ISO包制作启动U盘
从U盘启动现在越来越重要了。在没有 cd/dvd 驱动器的情况下,为了安装您选择的操作系统, U盘最简单。事实上, 它甚至可以比刻录 CD 或 DVD 更便宜, 一旦版本过时就扔掉。
0 0
MAC OS dmg文件转换为ISO
MAC OS dmg文件转换为ISO
0 0
+关注
杨俊明
菩提树下的杨过 http://yjmyzz.cnblogs.com/
文章
问答
文章排行榜
最热
最新
相关电子书
更多
OpenStack Swift 海量小文件优化之路
立即下载
原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili
立即下载
云HBase内核
立即下载