开发者学堂课程【大数据实时计算框架 Spark 快速入门：Yarn 集群模式_2】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/100/detail/1660
Yarn 集群模式_2
内容介绍：
一、Yarn 集群模式
二、配置好 hadoop 环该境变量
一、Yarn 集群模式
需要的配置项
spark-env sh
export YARN_CONE_DIR-SHADOOPINSTALL/etc/hadoop o
export HADOOP_ CONE DIR=SHADOOP INSTALL/etc/hado
export SPARK HOME-/usr/hadoopsoft/spark-1. 3. 1-bin-hadoop2 4
export SPARK_JAR=/usr/hadoopsoft/spark-131-bin-hadoop24/lib/spark-assembly-131-hadoop240.jar
export PATH=SSPARK HOME/bin: SPATH
bash pr
二、配置好 hadoop 环该境变量
Yarn 集群模式
client 模式:
结果 xshe11 可见:
/Hin/spark-submit --class org apache. spark. examples SparkPi --master yarn-client --executor-memory 1G--num
Yarn 集群模式
cluster 模式
结果 spark001:8088 里面可见!
/bin/spark-submit --class org apache, spark examples. sparkPi --master yarn-cluster --executor-memory--num
集群
RM —— NM —— MM
Driver
