简介
Big Data Tools 插件可用于 Intellij Idea 2019.2 及以后的版本。它提供了使用 Zeppelin,AWS S3,Spark,Google Cloud Storage,Minio,Linode,数字开放空间,Microsoft Azure 和 Hadoop 分布式文件系统(HDFS)来监视和处理数据的特定功能。
下面来看一下 Big Data Tools 的安装和使用,主要会配置 Flink,Kafka 和 HDFS。
安装 Big Data Tools 插件
image-20220522170703800
点击安装完成之后,需要重启一下 IDEA,插件才能生效,上面我已经安装过了。
Flink 配置(不推荐)
flink 需要下载即将发布的 IDEA 2022.2-EAP 版本才有,因为之前是不支持 flink 的。
image-20220522202515845
先点击 IDEA 右侧的 Big Data Tools,然后点击加号就可以添加 Flink 组件了。
image-20220522202819718
输入 Flink WEB UI 地址,点击 OK 就可以了。
image-20220522203842116
这样就可以直接在 IDEA 里面查看 Flink Dashboard,跟在 Web UI 上的功能完全一样,点击箭头所指的地方可以直接跳转到 Flink UI,虽然可以直接在 IDEA 里面查看 Dashboard,但是个人感觉还是在 Flink Web UI 上查看更加方便,可能是看习惯了。不是太推荐这个功能。
Kafka 配置(推荐)
然后来看一下 kafka 的配置。
image-20220522205522598
同样的,点击加号选择 Kafka 然后设置一下 Kafka 集群的 broker list ,点击 OK 就行了。
截屏2022-05-22 下午8.58.27
可以看到所有 topic 的详细信息,包括 partition,replicas 等,还可以查看 Consumers 的情况,这个功能还是不错的,虽然现在也有很多开源的 kafka 监控工具,但是配置起来还是有一点门槛,这个插件的配置几乎是零门槛,对于简单的查看 kafka 的信息还是非常不错的。
HDFS 配置(推荐)
最后再来配置一个 HDFS。
image-20220522211549151
Authentication type 选择 Explicit uri 然后设置一下 HDFS 服务地址就可以了。
image-20220522212131641
直接就可以查看 HDFS 上的目录及文件,这个功能还是非常方便的,就不用在登录 HDFS-Web 去查看文件了。
总结
从 Big Data Tools 插件的安装配置到使用,主要介绍了 Flink,Kafka,HDFS,这三个组件的配置使用,整个配置过程是非常简单的,当然这个插件支持的组件远不止这些,包括像 spark,hive,zeppelin 等都是支持的,感兴趣的同学可以自己在 IDEA 里面体验一下,整体上来说,这个插件还是非常有用的。