Eclipse远程调试Spark

简介:

修改配置文件

修改${spark_home}/bin/spark-class文件:

"$RUNNER" -Xmx128m -cp "$LAUNCH_CLASSPATH" org.apache.spark.launcher.Main -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888 "$@"

这里写图片描述

参数说明:

  • -Xdebug 启用调试特性
  • -Xrunjdwp 启用JDWP实现,包含若干子选项:
  • transport=dt_socket JPDA front-end和back-end之间的传输方法。dt_socket表示使用套接字传输。
  • address=8888 JVM在8888端口上监听请求,这个设定为一个不冲突的端口即可。
  • server=y
    y表示启动的JVM是被调试者。如果为n,则表示启动的JVM是调试器。
  • suspend=y y表示启动的JVM会暂停等待,直到调试器连接上才继续执行。suspend=n,则JVM不会暂停等待。

启动Spark Application

eclipse将项目exportjar包,传到集群上使用spark-submit提交Application,可以看到在等待:

这里写图片描述

注意,传到集群上的代码要和本地一样!

在Eclipse设置远程调试的ip和port

  • Debug as
  • Debug Configurations
  • Remote Java Application
  • 配置ip和port
目录
相关文章
|
分布式计算 Scala Android开发
Eclipse 配置运行Spark
本文主要记录Spark 在 Eclipse中报 找不到主类的问题。在新建Spark工程,然后add external jars 选择 spark-assembly-1.4.0-hadoop2.6.0.jar 之后,项目工程会出现一个红色的小×,然后发现在 problems中报错: Descripti...
1511 0
|
分布式计算 测试技术 Apache
使用Eclipse开发及测试Spark的环境搭建及简单测试
一、下载专门开发的Scala的Eclipse   1、下载地址:http://scala-ide.org/download/sdk.html,或链接:http://pan.baidu.com/s/1hrexmx2 密码:x0za   2、打开后新建一个名为WordCount的工程(这个应该都知道...
1270 0
|
分布式计算 Scala Android开发
Scala-IDE Eclipse(Windows)中开发Spark应用程序,在Ubuntu Spark集群上运行
在进行实际的Spark应用程序开发时,常常会利用Window环境进行程序开发,开发测试好之后提交到Spark集群中利用bin/spark-submit脚本进行程序的发布运行,本教程教将一步一步地教大家如何进行该操作。本教程主要内容如下: Window开发环境说明 Spark集群运行环境说明 Scala IDE For Eclipse中Spark程序开发 利用spark-s
2970 0
|
4月前
|
Java Maven Android开发
在Eclipse里配置Maven插件
Maven是一款比较常用的Java开发拓展包,它相当于一个全自动jar包管理器,会导入用户开发时需要使用的相应jar包。使用Maven开发Java程序,可以极大提升开发者的开发效率。下面我就跟大家介绍一下如何在Eclipse里安装和配置Maven插件。
51 0
|
1月前
|
XML Java Maven
eclipse 、idea 安装activiti插件
eclipse 、idea 安装activiti插件
|
5月前
|
Java Android开发
eclipse安装SpringBoot插件的无敌办法
eclipse安装SpringBoot插件的无敌办法
60 0
|
5月前
|
Java Android开发 Spring
在 Eclipse 中安装 SpringTools 插件
在 Eclipse 中安装 SpringTools 插件
67 0

推荐镜像

更多