《Spark大数据分析实战》——2.2节远程调试Spark程序-阿里云开发者社区

开发者社区> 华章计算机> 正文

《Spark大数据分析实战》——2.2节远程调试Spark程序

简介:
+关注继续查看

本节书摘来自华章社区《Spark大数据分析实战》一书中的第2章,第2.2节远程调试Spark程序,作者高彦杰 倪亚宇,更多章节内容可以访问云栖社区“华章社区”公众号查看

2.2 远程调试Spark程序
本地调试Spark程序和传统的调试单机的Java程序基本一致,读者可以参照原来的方式进行调试,关于单机调试本书暂不赘述。对于远程调试服务器上的Spark代码,首先请确保在服务器和本地的Spark版本一致。需要按前文介绍预先安装好JDK和Git。
(1)编译Spark
在服务器端和本地计算机下载Spark项目。
通过下面的命令克隆一份Spark源码:

git clone https:// github.com/apache/spark
然后针对指定的Hadoop版本进行编译:
SPARK_HADOOP_VERSION=2.3.0 sbt/sbt assembly

(2)在服务器端的配置
1)根据相应的Spark配置指定版本的Hadoop,并启动Hadoop。
2)对编译好的Spark进行配置,在conf/spark-env.sh文件中进行如下配置:

export SPARK_JAVA_OPTS="-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=9999"

其中“suspend=y”设置为需要挂起的模式。这样,当启动Spark的作业时候程序会自动挂起,等待本地的IDE附加(Attach)到被调试的应用程序上。address是开放等待连接的端口号。
(3)启动Spark集群和应用程序
1)启动Spark集群:

./sbin/start-all.sh
2)启动需要调试的程序,以Spark中自带的HdfsWordCount为例:
MASTER=spark:// 10.10.1.168:7077
./bin/run-example 
org.apache.spark.examples.streaming.HdfsWordCount
hdfs:// localhost:9000/test/test.txt

3)如图2-7所示,执行后程序会挂起并等待本地的Intellij进行连接,并显示“Listening for transport dt_socket at address: 9999”:


764ab81258f1c72253d02c09e65b848a2862f955

2)在“Run/Debug Conf?igurations”对话框中填入需要连接的主机名和端口号以及其他参数,如图2-8所示。
3)在程序中设置断点进行调试。
通过上面的介绍,用户可以了解如何进行远程调试。对于单机调试方式则和日常开发的单机程序一样,常用方式是设置单机调试断点之后再进行调试,在这里并不再展开介绍。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
基于Numpy的统计分析实战
标题中的英文首字母大写比较规范,但在python实际使用中均为小写。 2018年7月27日笔记 学习内容: 1.从文件中读取数据 2.将数据写入文件 3.利用数学和统计分析函数完成实际统计分析应用 4.掌握数组相关的常用函数 1.文本文件读写 1.1使用numpy.savetxt方法写入文本文件 numpy.savetxt方法需要2个参数:第1个参数是文件名,数据类型为字符串str; 第2个参数是被写入文件的nda数据,数据类型为ndarray对象。
1023 0
史上最快! 10小时大数据入门实战(九)- 前沿技术拓展Spark,Flink,Beam
spark Spark 开发语言及运行模式介绍 Scala安装 下载 Scala ...
1443 0
Python系列直播——深入Python与日志服务,玩转大规模数据分析处理实战
Python系列直播——深入Python与日志服务,玩转大规模数据分析处理实战
4843 0
基于对象存储 OSS 的智能数据分析处理框架和功能
今年参加了 2019 全球闪存峰会(Flash Memory World),分享了“基于云存储的智能数据分析处理架构”,重点介绍在对象存储 OSS 之上的数据处理功能,现整理相关内容和大家探讨。
2140 0
Spring+Log4j+ActiveMQ实现远程记录日志——实战+分析
这几天由于工作需要,研究了一下远程打印日志的方式,于是将研究结果记录在此,分享给大家,希望对大家有所帮助。
1464 0
10059
文章
0
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载