REPL
Read-Eval-Print-Loop,即交互式shell,以交互式方式来编程
Spark REPL
$SPARK_HOME/bin/spark-shell(scala)
$SPARK_HOME/bin/pyspark(python)
其他
Spark shell
Spark的scala REPL,支持使用scala语言来进行Spark的交互式编程
支持Spark的local,standalone,yarn client模式
启动./bin/spark-shell
内置实例化一个SparkContex对象,可以通过sc来调用
内置实例化一个SQLContext对象,可以使用sqlContext来调用查看帮助sc.\t
spark-shell运行在YARN上
登陆安装Spark那台机器
.bin/spark-shell --master yarn
(注意,这样也是yarn client模式)
spark-shell运行在YARN上(这是Spark on YARN模式)
(包含YARN client和YARN cluster)(作为补充)
登陆安装Spark那台机器
bin/spark-shell --master yarn-client
或者
bin/spark-shell --master yarn-cluster
包括可以加上其他的,比如控制内存啊等。这很简单,不多赘述。
我这里就以YARN Client演示了。
[spark@master spark-1.6.1-bin-hadoop2.6]$ bin/spark-shell --master yarn-client 17/03/29 22:40:04 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 17/03/29 22:40:04 INFO spark.SecurityManager: Changing view acls to: spark 17/03/29 22:40:04 INFO spark.SecurityManager: Changing modify acls to: spark 17/03/29 22:40:04 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(spark); users with modify permissions: Set(spark) 17/03/29 22:40:05 INFO spark.HttpServer: Starting HTTP Server 17/03/29 22:40:06 INFO server.Server: jetty-8.y.z-SNAPSHOT 17/03/29 22:40:06 INFO server.AbstractConnector: Started SocketConnector@0.0.0.0:35692 17/03/29 22:40:06 INFO util.Utils: Successfully started service 'HTTP class server' on port 35692. Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 1.6.1 /_/ Using Scala version 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_60)
本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/6641742.html,如需转载请自行联系原作者