Yarn 集群模式_2 | 学习笔记

开发者学堂课程【大数据实时计算框架  Spark  快速入门：Yarn  集群模式_2】学习笔记，与课程紧密联系，让用户快速学习知识。

课程地址：https://developer.aliyun.com/learning/course/100/detail/1660

Yarn  集群模式_2

内容介绍：

一、Yarn  集群模式

二、配置好   hadoop  环该境变量

一、Yarn  集群模式

需要的配置项

spark-env sh

export YARN_CONE_DIR-SHADOOPINSTALL/etc/hadoop o

export HADOOP_ CONE DIR=SHADOOP INSTALL/etc/hado

export SPARK HOME-/usr/hadoopsoft/spark-1. 3. 1-bin-hadoop2 4

export SPARK_JAR=/usr/hadoopsoft/spark-131-bin-hadoop24/lib/spark-assembly-131-hadoop240.jar

export PATH=SSPARK HOME/bin: SPATH

bash pr

二、配置好   hadoop  环该境变量

Yarn  集群模式

client  模式:

结果  xshe11  可见:

/Hin/spark-submit --class org apache. spark. examples SparkPi --master yarn-client --executor-memory 1G--num

Yarn  集群模式

cluster  模式

结果   spark001:8088  里面可见!

/bin/spark-submit --class org apache, spark examples. sparkPi --master yarn-cluster --executor-memory--num

集群

RM   ——  NM  —— MM

Driver