开发者社区> 云覆bill> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Spark On HBase Idea远程调试

简介: 本文介绍如何在本地IDEA远程调试Spark On HBase。 前提条件: 1、已经安装了Intellij IDEA,Git、Maven。2、HBase集群开通了外网地址。3、HBase集群为IDEA运行的机器开通了白名单。
+关注继续查看

本文介绍如何在本地IDEA远程调试Spark On HBase。

前提条件:

1、已经安装了Intellij IDEA,Git、Maven。
2、HBase集群开通了外网地址。
3、HBase集群为IDEA运行的机器开通了白名单。

说明:

本实例用到的版本

软件名称 版本
Intellij IDEA community 2018.3.1
操作系统:macOS/Windows mac:10.13.6; Windows 10
jdk 1.8.0_25
scala 2.11.8
Maven 3.3.9

Idea 远程调试步骤

步骤 1: 下载样例代码

使用git clone 命令下载代码样例代码。

git clone https://github.com/aliyun/aliyun-apsaradb-hbase-demo.git

步骤 2: 导入代码到IDEA。

打开IDEA,选择"File">"Open...",选择步骤 1下载的代码:aliyun-apsaradb-hbase-demo

步骤 3: 设置运行配置

本实例Debug的类为:com.aliyun.spark.hbase.SparkOnHBaseSparkSession
点击IDEA运行按钮,选择"Edit Configurations..."进入配置页面,配置内容如下页面:
image

主要配置参数说明:

参数名称 说明
Main class com.aliyun.spark.hbase.SparkOnHBaseSparkSession 运行主类
VM options -Dspark.master=local Spark 本地运行
Program arguments hb-xxx:2181,hb-xxx:2181,hb-xx:2181 mytable spark_on_hbase 三个参数分别为:ZK链接地址(外网地址),hbase侧的表名 ,spark侧的表名
Use classpath of module spark-examples 同时勾选“Include dependencie是with "Provided" scope”

步骤 4:开始Debug

在类com.aliyun.spark.hbase.SparkOnHBaseSparkSession的如下位置设置断点:
image

搜索类:org.apache.hadoop.hbase.spark.DefaultSource,并在如下位置设置断点:
image

然后右键类com.aliyun.spark.hbase.SparkOnHBaseSparkSession,选择“Debug SparkOnHBaseSparkSession”开始Debug。如下:
image

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
【IntelliJ IDEA】中文乱码问题 ( 代码乱码 | 编译乱码 | 控制台乱码 )
【IntelliJ IDEA】中文乱码问题 ( 代码乱码 | 编译乱码 | 控制台乱码 )
1510 0
Intellij idea的maven依赖图
Intellij idea的maven依赖图
96 0
Intellij idea Language level和Java Compiler版本自动变化问题
Intellij idea Language level和Java Compiler版本自动变化问题
141 0
Win10系统,Intellij IDEA快捷键冲突
Win10系统,Intellij IDEA快捷键冲突
142 0
Intellij IDEA Mybatis plugin插件破解安装
Intellij IDEA Mybatis plugin插件破解安装
255 0
Intellij IDEA快捷键与使用技巧
Intellij IDEA快捷键与使用技巧
37 0
Intellij idea 查看所有断点
Intellij idea 查看所有断点
26 0
IntelliJ IDEA 控制台中文乱码解决方案
IntelliJ IDEA 控制台中文乱码解决方案
67 0
Intellij IDEA 默认打开上次项目设置
Intellij IDEA 默认打开上次项目设置
77 0
intellij IDEA配置tomcat
intellij IDEA配置tomcat 如果网上流传的方法(即方法2)不能配置成功,点击加号什么都没有的话,请看方法一配置方法。 解决问题:intlellij IDEA配置tomcat点击加号没东西。 方法一:手动添加tomcat插件然后再导入tomcat路径。 步骤1:进入项目之前或者close project可以看到如下界面,选择Plugins 步骤2.在搜索框输入t
2032 0
+关注
4
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载