Big Data Tools插件使用

简介: Big Data Tools插件使用

在Jetbrains的产品中,均可以安装插件,其中:Big Data Tools 插件可以帮助我们方便操作HDSF,比如:

IntelliJ IDEA(Java IDE)

PyCharm (python IDE)

DataGrip (SQL IDE)

均可支持Bigdata Tool插件

 

这里是使用pycharm(必须要使用专业版,社区版本是没有这个插件的)

打开pycharm的设置Settings

之后找到Plugins,搜索Big Data Tools

image.png

安装到pycharm中

 

配置windows

需要对windows系统做一些基础设置,配合插件使用

解压Hadoop安装包到windows系统,如解压到:E:\hadoop-3.1.4

设置$HADOOP_HOME环境变量指向:E:\hadoop-3.1.4

将hadoop.dll和winutils.exe放入$HADOOP_HOME/bin中

image.png

环境变量配置好后,重启电脑

 

配置Big Data Tools插件

首先打开插件

image.png

输入参数,URL ip加端口,name输入启动HDFS的用户名,最后点击Test connection连接测试,显示绿色的✔,就说明能连接,点击ok连接

image.png

 

 

 

 

还有一种方法

就是使用Configuration Folder模式连接,下面选择etc\hadoop这个文件夹

image.png

 

因为我们刚刚安装的hadoop里面的配置文件是没有任何配置的

所以我从linux下将linux下的hadoop/etc/hadoop下的配置文件全部打包过来

image.png

放入到windows这个目录下,将之前的所有文件删除,将linux打包过来的放进去

image.png

 

 

连接

目录
相关文章
|
网络协议 Windows
两步带你解决IDEA 插件下载安装慢、超时、不成功问题
这篇文章提供了解决IDEA插件下载慢或超时问题的方案,通过查找国内插件节点IP地址并修改本地hosts文件来加速下载。
两步带你解决IDEA 插件下载安装慢、超时、不成功问题
|
存储 SQL 缓存
Hadoop入门(一篇就够了)
Hadoop入门(一篇就够了)
44168 6
Hadoop入门(一篇就够了)
|
Prometheus 监控 Cloud Native
如何推广你的开源项目?
如何推广你的开源项目?
714 0
|
存储 JSON 数据格式
Pandas处理JSON文件to_json()一文详解+实例代码
Pandas处理JSON文件to_json()一文详解+实例代码
2849 0
Pandas处理JSON文件to_json()一文详解+实例代码
|
SQL 人工智能 分布式计算
ODPS十五周年实录|构建 AI 时代的大数据基础设施
本文根据 ODPS 十五周年·年度升级发布实录整理而成,演讲信息如下: 张治国:阿里云智能集团技术研究员、阿里云智能计算平台事业部 ODPS-MaxCompute 负责人 活动:【数据进化·AI 启航】ODPS 年度升级发布
581 9
|
9月前
|
机器学习/深度学习 人工智能 算法
奥维:AI技术赋能水利工程 “人工智能+”展现巨大潜力
奥维数字科技凭借对AI技术的深耕与水利场景的深刻理解,打造出奥维水利算法云这一核心解决方案,将AI能力渗透到大坝安全、洪水预报、淹没分析等关键环节,以“精准、实时、可进化”的服务特性,为水利行业智能化升级提供了可落地的技术范式。奥维通过“AI+水利”的实践证明,人工智能并非简单的“技术叠加”,而是能从“数据处理、模型优化、决策支撑”三个核心环节重构水利工程的运行模式:它让大坝监测更精准、洪水预报更及时、应急响应更科学,也让水利决策从“经验驱动”转向“数据驱动”。
1183 5
|
数据采集 Web App开发 测试技术
如何避免反爬虫程序检测到爬虫行为?
这段内容介绍了几种避免被反爬虫程序检测的方法:通过调整请求频率并遵循网站规则来模拟自然访问;通过设置合理的User-Agent和其他请求头信息来伪装请求;利用代理IP和分布式架构来管理IP地址;以及采用Selenium等工具模拟人类的浏览行为,如随机点击和滚动页面,使爬虫行为更加逼真。这些技巧有助于降低被目标网站识别的风险。
|
分布式计算 Hadoop Java
Hadoop集群搭建,基于3.3.4hadoop和centos8【图文教程-从零开始搭建Hadoop集群】,常见问题解决
本文是一份详细的Hadoop集群搭建指南,基于Hadoop 3.3.4版本和CentOS 8操作系统。文章内容包括虚拟机创建、网络配置、Java与Hadoop环境搭建、克隆虚拟机、SSH免密登录设置、格式化NameNode、启动Hadoop集群以及通过UI界面查看Hadoop运行状态。同时,还提供了常见问题的解决方案。
Hadoop集群搭建,基于3.3.4hadoop和centos8【图文教程-从零开始搭建Hadoop集群】,常见问题解决
|
SQL Java 关系型数据库
Hive常见的报错信息
文章列举了Hive常见的几种报错信息,并提供了错误复现、原因分析以及相应的解决方案。
2427 1
|
Linux 测试技术 Docker
软件测试|使用docker搞定 Python环境搭建
软件测试|使用docker搞定 Python环境搭建

热门文章

最新文章