Big Data Tools插件使用

简介: Big Data Tools插件使用

Jetbrains的产品中,均可以安装插件,其中:Big Data Tools 插件可以帮助我们方便操作HDSF,比如:

IntelliJ IDEAJava IDE

PyCharm python IDE

DataGrip SQL IDE

均可支持Bigdata Tool插件

 

这里是使用pycharm(必须要使用专业版,社区版本是没有这个插件的)

打开pycharm的设置Settings

之后找到Plugins,搜索Big Data Tools

image.png

安装到pycharm

 

配置windows

需要对windows系统做一些基础设置,配合插件使用

解压Hadoop安装包到windows系统,如解压到:E:\hadoop-3.1.4

设置$HADOOP_HOME环境变量指向:E:\hadoop-3.1.4

hadoop.dllwinutils.exe放入$HADOOP_HOME/bin

image.png

环境变量配置好后,重启电脑

 

配置Big Data Tools插件

首先打开插件

image.png

输入参数,URL ip加端口,name输入启动HDFS的用户名,最后点击Test connection连接测试,显示绿色的,就说明能连接,点击ok连接

image.png

 

 

 

 

还有一种方法

就是使用Configuration Folder模式连接,下面选择etc\hadoop这个文件夹

image.png

 

因为我们刚刚安装的hadoop里面的配置文件是没有任何配置的

所以我从linux下将linux下的hadoop/etc/hadoop下的配置文件全部打包过来

image.png

放入到windows这个目录下,将之前的所有文件删除,将linux打包过来的放进去

image.png

 

 

连接

目录
相关文章
clion中cpp文件显示This file does not belong to any project ,code insight features might not work【解决方案】
clion中cpp文件显示This file does not belong to any project ,code insight features might not work【解决方案】
clion中cpp文件显示This file does not belong to any project ,code insight features might not work【解决方案】
|
5月前
|
C++ Windows
vs2019 This application failed to start because it could not find or load the QT platform plugin
这篇文章介绍了在VS2019中解决QT程序运行时出现的“无法找到或加载QT平台插件”错误的步骤,通过将必要的DLL文件和插件目录复制到项目解决方案中解决了问题。
|
7月前
|
人工智能 C++ Windows
[NextJs] 解决 Failed to load SWC binary for win32/64
快速解决 Next.js 在 Windows 下运行时 SWC Binary 报错的方法,包括安装 Microsoft Visual C++ Redistributable 和确认处理器架构。
|
7月前
|
Windows
Qtdesigner报错:This application failed to stat could not find or load the Qt platform plugin “windows“
Qtdesigner报错:This application failed to stat could not find or load the Qt platform plugin “windows“
|
编译器 Go 开发工具
JetBrains GoLand 以debug运行Go程序时出现could not launch process: decoding dwarf section info at offset 0x0: too short报错之保姆级别解决方案
JetBrains GoLand 以debug运行Go程序时出现could not launch process: decoding dwarf section info at offset 0x0: too short报错之保姆级别解决方案
350 0
|
atlas 算法框架/工具 Caffe
caffe cmake错误 Could NOT find Atlas (missing: Atlas_LAPACK_LIBRARY)
caffe cmake错误 Could NOT find Atlas (missing: Atlas_LAPACK_LIBRARY)
|
消息中间件 SQL 分布式计算
IDEA 中使用 Big Data Tools 连接大数据组件
简介 Big Data Tools 插件可用于 Intellij Idea 2019.2 及以后的版本。它提供了使用 Zeppelin,AWS S3,Spark,Google Cloud Storage,Minio,Linode,数字开放空间,Microsoft Azure 和 Hadoop 分布式文件系统(HDFS)来监视和处理数据的特定功能。 下面来看一下 Big Data Tools 的安装和使用,主要会配置 Flink,Kafka 和 HDFS。
IDEA 中使用 Big Data Tools 连接大数据组件

热门文章

最新文章