在Jetbrains的产品中,均可以安装插件,其中:Big Data Tools 插件可以帮助我们方便操作HDSF,比如:
IntelliJ IDEA(Java IDE)
PyCharm (python IDE)
DataGrip (SQL IDE)
均可支持Bigdata Tool插件
这里是使用pycharm(必须要使用专业版,社区版本是没有这个插件的)
打开pycharm的设置Settings
之后找到Plugins,搜索Big Data Tools
安装到pycharm中
配置windows
需要对windows系统做一些基础设置,配合插件使用
解压Hadoop安装包到windows系统,如解压到:E:\hadoop-3.1.4
设置$HADOOP_HOME环境变量指向:E:\hadoop-3.1.4
将hadoop.dll和winutils.exe放入$HADOOP_HOME/bin中
环境变量配置好后,重启电脑
配置Big Data Tools插件
首先打开插件
输入参数,URL ip加端口,name输入启动HDFS的用户名,最后点击Test connection连接测试,显示绿色的✔,就说明能连接,点击ok连接
还有一种方法
就是使用Configuration Folder模式连接,下面选择etc\hadoop这个文件夹
因为我们刚刚安装的hadoop里面的配置文件是没有任何配置的
所以我从linux下将linux下的hadoop/etc/hadoop下的配置文件全部打包过来
放入到windows这个目录下,将之前的所有文件删除,将linux打包过来的放进去
连接