阿里云APP内打开
《Spark与Hadoop大数据分析》——1.3 工具和技术
来自：华章出版社 2017-09-01 1161
简介：
本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第1章，第1.3节，作者 [美]文卡特·安卡姆（Venkat Ankam），译 吴今朝，更多章节内容可以访问云栖社区“华章计算机”公众号查看。
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
作者高分内容
更多
相关文章
Spark应用(app jar)发布到Hadoop集群的过程
记录了Spark，Hadoop集群的开启，关闭，以及Spark应用提交到Hadoop集群的过程，通过web端监控运行状态。
1.绝对路径开启集群
（每次集群重启，默认配置的hadoop集群中tmp文件被清空所以需要重新format)
我的集群安装位置是/opt/hadoop下，可以根据自己路径修改。
/opt/hadoop/bin/hdfs namenode -f
1228
0
Spark-基础-Spark编译与部署--Hadoop编译安装
1、编译Hadooop
1.1 搭建环境
1.1.1 安装并设置maven
1. 下载maven安装包，建议安装3.0以上版本，本次安装选择的是maven3.
1053
0
Spark学习之Hadoop安装与测试
Spark是跑在Hadoop上（依赖YARN和HDFS）的内存计算引擎，内置了多种丰富组件如Spark SQL、Spark Stream等，是大数据分析挖掘的一种技术趋势。本文为学习Spark技术的第一篇日志，主要记录了Hadoop环境的搭建、安装与测试。
资源准备
操作系统：CentOS 7 ；JDK：1.7；Hadoop版本：hadoop-2.6.0.tar.gz（使用编译好的
1616
0
