Spark shell是一个特别适合快速开发Spark原型程序的工具，可以帮助我们熟悉Scala语言。即使你对Scala不熟悉，仍然可以使用这个工具。Spark shell使得用户可以和Spark集群交互，提交查询，这便于调试，也便于初学者使用Spark。
感受到Spark shell是如此的方便，因为它很大程度上基于Scala REPL(Scala 交互式shell，即Scala解释器)，并继承了Scala REPL(读取-求值-打印-循环)(Read-Evaluate-Print-Loop)的所有功能。
Sprk Shell虽然强大，但多数时候你还是会运行编译后的代码，而不是使用REPL环境，即API。
这里啊，首次使用spark一般都是从执行spark-shell开始的。当在键盘上敲入spark-shell并回车时，我用源码来分析。
这里是个知识点。若没有对spark进行安装集群部署，直接将spark的压缩包，解压，然后执行spark-shell，默认是local模式。
关于spark的安装部署方式，我这里不多赘述。请移步
Spark运行模式概述
而，我们这一句将spark进行了集群安装（Jdk、Scala、Hadoop、Spark）等。
执行spark-shell，则是，集群模式。
想清晰的学习，请移步
Spark Standalone与Spark on YARN的几种提交方式
spark-shell的脚本
export SPARK_SUBMIT_OPTS "$FWDIR"/bin/spark-submit --class org.apache.spark.repl.Main --name "Spark shell" "$@"
spark-submit的脚本
exec "$SPARK_HOME"/bin/spark-class org.apache.spark.deploy.SparkSubmit "$@"
spark-class的脚本
# Find the java binary if [ -n "${JAVA_HOME}" ]; then RUNNER="${JAVA_HOME}/bin/java" else if [ `command -v java` ]; then RUNNER="java" else echo "JAVA_HOME is not set" >&2 exit 1 fi fi exec "$RUNNER" -cp "$LAUNCH_CLASSPATH" org.apache.spark.launcher.Main "$@"
总结:
1、运行spark-shell，则会运行spark-submit。
2、spark-shell其实是对spark-submit的一层封装!!!
3、在某些情况下，可能需要对环境变量及JVM启动参数做修改，还可能涉及ulimit中的某些配置项，那么可以将这些指令添加到sparl-class中。
4、SparkSbumit当中定义了mian函数，在它的处理中会将Spark Repl运行起来，Spark Repl能够接收用户的输入，通过编译与运行，返回结果给用户。
这就是Spark具有交互处理能力的原因所在。
调用顺序： SparkSbumit -> repl.Main -> SparkILoop
本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5717800.html，如需转载请自行联系原作者
