Spark-1.4.0集群搭建
主要内容
Ubuntu 10.04 系统设置
ZooKeeper集群搭建
Hadoop-2.4.1集群搭建
Spark 1.4.0集群搭建
假设已经安装好Ubuntu操作系统
Ubuntu 10.04设置
1.主机规划
主机名
IP地址
进程号
SparkMaster
192.168.1.103
ResourceManager Dat
Flink从入门到放弃(入门篇2)-本地环境搭建&构建第一个Flink应用
本地安装单机版本Flink
一般来说,线上都是集群模式,那么单机模式方便我们测试和学习。
环境要求
本地机器上需要有 Java 8 和 maven 环境,推荐在linux或者mac上开发Flink应用:
如果有 Java 8 环境,运行下面的命令会输出如下版本信息:
如果有 maven 环境,运行下面的命令会输出如下版本信息:
开发工具推荐使用 ItelliJ IDEA。
搭建hadoop2.6.0完全分布式集群
应用场景
之前介绍了单节点,部署伪分布式hadoop集群,可以作为自己使用,但是真正投入生产环境,伪分布式是不够的,仅仅作为个人研究测试使用,此时我们需要部署搭建hadoop完全分布式集群,此hadoop性能将更加强悍,满足生产需求,下面就搭建Apache Hadoop2.6.0环境演示。