Spark交互式工具spark-shell

简介:

REPL

Read-Eval-Print-Loop,即交互式shell,以交互式方式来编程

 

 

 

 

Spark REPL

$SPARK_HOME/bin/spark-shell(scala)

$SPARK_HOME/bin/pyspark(python)

其他

 

 

 

Spark shell

Spark的scala REPL,支持使用scala语言来进行Spark的交互式编程

支持Spark的local,standalone,yarn client模式

启动./bin/spark-shell

内置实例化一个SparkContex对象,可以通过sc来调用

内置实例化一个SQLContext对象,可以使用sqlContext来调用查看帮助sc.\t

 

 

 

 

 

 

spark-shell运行在YARN上

登陆安装Spark那台机器

.bin/spark-shell --master yarn

   (注意,这样也是yarn client模式)

 

 

 

 

 

spark-shell运行在YARN上(这是Spark on YARN模式)

     (包含YARN client和YARN cluster)(作为补充)

 登陆安装Spark那台机器

bin/spark-shell --master yarn-client

 或者

bin/spark-shell --master yarn-cluster

   包括可以加上其他的,比如控制内存啊等。这很简单,不多赘述。

 

 

  我这里就以YARN Client演示了。

复制代码
复制代码
[spark@master spark-1.6.1-bin-hadoop2.6]$ bin/spark-shell --master yarn-client
17/03/29 22:40:04 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/03/29 22:40:04 INFO spark.SecurityManager: Changing view acls to: spark
17/03/29 22:40:04 INFO spark.SecurityManager: Changing modify acls to: spark
17/03/29 22:40:04 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(spark); users with modify permissions: Set(spark)
17/03/29 22:40:05 INFO spark.HttpServer: Starting HTTP Server
17/03/29 22:40:06 INFO server.Server: jetty-8.y.z-SNAPSHOT
17/03/29 22:40:06 INFO server.AbstractConnector: Started SocketConnector@0.0.0.0:35692
17/03/29 22:40:06 INFO util.Utils: Successfully started service 'HTTP class server' on port 35692.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 1.6.1
      /_/

Using Scala version 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_60)

本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/6641742.html,如需转载请自行联系原作者
相关文章
|
6月前
|
存储 Shell Linux
【Shell 命令集合 系统设置 】Linux 软件包管理工具 rpm命令 使用指南
【Shell 命令集合 系统设置 】Linux 软件包管理工具 rpm命令 使用指南
122 0
|
6月前
|
缓存 Shell Linux
【Shell 命令集合 链接器(linker)工具】Linux ld命令 将目标文件与库链接为可执行文件或库文件
【Shell 命令集合 链接器(linker)工具】Linux ld命令 将目标文件与库链接为可执行文件或库文件
197 0
|
6月前
|
存储 算法 Shell
【Shell 命令集合 备份压缩 】⭐⭐Linux 压缩和归档工具 zip命令 使用指南
【Shell 命令集合 备份压缩 】⭐⭐Linux 压缩和归档工具 zip命令 使用指南
86 0
|
6月前
|
存储 算法 Shell
【Shell 命令集合 备份压缩 】⭐⭐⭐Linux 解压缩gz工具 gzip命令 使用指南
【Shell 命令集合 备份压缩 】⭐⭐⭐Linux 解压缩gz工具 gzip命令 使用指南
77 0
|
6月前
|
算法 Shell Linux
【Shell 命令集合 备份压缩 】⭐⭐Linux gz文件压缩解压工具 gunzip命令 使用指南
【Shell 命令集合 备份压缩 】⭐⭐Linux gz文件压缩解压工具 gunzip命令 使用指南
91 0
|
2月前
|
人工智能 监控 Shell
常用的 55 个 Linux Shell 脚本(包括基础案例、文件操作、实用工具、图形化、sed、gawk)
这篇文章提供了55个常用的Linux Shell脚本实例,涵盖基础案例、文件操作、实用工具、图形化界面及sed、gawk的使用。
332 2
|
2月前
|
安全 Shell Linux
从命令行界面运行交互式PHP Shell
从命令行界面运行交互式PHP Shell
|
5月前
|
存储 分布式计算 Hadoop
Spark和Hadoop都是大数据处理领域的重要工具
【6月更文挑战第17天】Spark和Hadoop都是大数据处理领域的重要工具
175 59
|
3月前
|
Shell Linux 数据处理
Shell文本处理秘籍:掌握这11种工具,让数据处理如虎添翼!
在Linux信息环境,文本数据处理是一项基础而重要的技能。对于广大Linux用户而言,掌握Shell环境下的文本处理工具不仅能提高工作效率,还能在面对复杂数据时游刃有余。 本文将介绍,那些在文本处理中不可或缺的`11`种命令工具,让数据处理技能更上一层楼。
|
4月前
|
Shell Linux C语言
下一篇
无影云桌面