大数据基础-配置Hive Java环境

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: 配置Hive Java环境

配置hive环境变量

vi /etc/profile

exportHIVE_HOME=/data/soft/apache-hive-3.1.2-bin

source /etc/profile

JDBC方式

这里我们创建一个maven项目

com.bigdata.hive

添加Hive开发依赖

hive JDBC驱动如下

<dependency>

<groupId>org.apache.hive</groupId>

<artifactId>hive-jdbc</artifactId>

<version>3.1.2</version>

</dependency>

核心代码:

先启动hiveserver2服务

/**

* JDBC代码操作 Hive

*/

publicclassHiveJdbcDemo {

publicstaticvoidmain(String[] args) throwsException{

//指定hiveserver2的连接

StringjdbcUrl="jdbc:hive2://192.168.197.104:10000";

//获取jdbc连接,这里的user使用root,就是linux中的用户名,password随便指定即

Connectionconn=DriverManager.getConnection(jdbcUrl, "root", "any")

//获取Statement

Statementstmt=conn.createStatement();

//指定查询的sql

Stringsql="select * from t1";

//执行sql

ResultSetres=stmt.executeQuery(sql);

//循环读取结果

while (res.next()){

System.out.println(res.getInt("id")+"\t"+res.getString("name"));

}

}

}

网络异常,图片无法展示
|

这里处理下log4j的信息

排除hive自带的log4j

   <dependency>

     <groupId>org.apache.hive</groupId>

     <artifactId>hive-jdbc</artifactId>

     <version>3.1.2</version>

     <exclusions>

       <exclusion>

         <groupId>org.slf4j</groupId>

         <artifactId>slf4j-log4j12</artifactId>

       </exclusion>

     </exclusions>

   </dependency>

网络异常,图片无法展示
|

资源目录下新增log4j.xml

重新打印,即可解决log4j报错信息问题

使用临时参数

在hive命令行中可以使用set命令临时设置一些参数的值

其实就是临时修改hive-site.xml中参数的值

通过set命令设置的参数只在当前会话有效,退出重新打开就无效了

在hive-site.xml中有一个参数是 hive.cli.print.current.db ,这个参数可以显示当前所在的数据库名 称,默认值为 false 。 在这里我们设置为true。

set hive.cli.print.current.db = true;

还有一个参数 hive.cli.print.header 可以控制获取结果的时候显示字段名称,这样看起来会比较清晰

set hive.cli.print.header = true;

修改 ~/.hiverc,保留配置仅对当前用户生效

vi ~/.hiverc

set hive.cli.print.current.db = true;

set hive.cli.print.header = true;

重新进入看下效果

网络异常,图片无法展示
|

配置Hive日志

删除重复的日志信息

hive中的一个日志依赖包和hadoop中的日志依赖包冲突

我们移除hive的日志依赖包

mv log4j-slf4j-impl-2.10.0.jar log4j-slf4j-impl-2.10.0.jar.bak

配置Hive日志信息目录

mv hive-log4j2.properties.template hive-log4j2.properties

vi hive-log4j2.properties

配置信息如下

property.hive.log.level = WARN

property.hive.root.logger = DRFA

property.hive.log.dir = /data/hive_repo/log

property.hive.log.file = hive.log

property.hive.perflogger.log.level = INFO

这样后期分析日志就可以到 /data/hive_repo/log 目录下去查看了。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
5月前
|
人工智能 前端开发 Java
2025年WebStorm高效Java开发全指南:从配置到实战
WebStorm 2025不仅是一款强大的JavaScript IDE,也全面支持Java开发。本文详解其AI辅助编程、Java特性增强及性能优化,并提供环境配置、高效开发技巧与实战案例,助你打造流畅的全栈开发体验。
505 4
|
6月前
|
资源调度 安全 Java
Java 大数据在智能教育在线实验室设备管理与实验资源优化配置中的应用实践
本文探讨Java大数据技术在智能教育在线实验室设备管理与资源优化中的应用。通过统一接入异构设备、构建四层实时处理管道及安全防护双体系,显著提升设备利用率与实验效率。某“双一流”高校实践显示,设备利用率从41%升至89%,等待时间缩短78%。该方案降低管理成本,为教育数字化转型提供技术支持。
172 2
|
6月前
|
Java 应用服务中间件 Linux
在Java 12环境中配置和部署Apache Tomcat的步骤。
这段部署Tomcat的冒险旅程充满技术挑战,但同时也像游戏一样充满乐趣。它需要你提前准备,仔细执行,并随时准备解决意外情况。成功后,你就可以在这匹强壮的网络野马上,带着你的Java应用,冲向Web开发的璀璨星空。
220 56
|
7月前
|
SQL 分布式计算 大数据
大数据新视界 --大数据大厂之Hive与大数据融合:构建强大数据仓库实战指南
本文深入介绍 Hive 与大数据融合构建强大数据仓库的实战指南。涵盖 Hive 简介、优势、安装配置、数据处理、性能优化及安全管理等内容,并通过互联网广告和物流行业案例分析,展示其实际应用。具有专业性、可操作性和参考价值。
大数据新视界 --大数据大厂之Hive与大数据融合:构建强大数据仓库实战指南
|
5月前
|
存储 搜索推荐 算法
Java 大视界 -- Java 大数据在智能金融理财产品风险评估与个性化配置中的应用(195)
本文深入探讨了Java大数据技术在智能金融理财产品风险评估与个性化配置中的关键应用。通过高效的数据采集、存储与分析,Java大数据技术助力金融机构实现精准风险评估与个性化推荐,提升投资收益并降低风险。
Java 大视界 -- Java 大数据在智能金融理财产品风险评估与个性化配置中的应用(195)
|
9月前
|
SQL 关系型数据库 MySQL
seatunnel配置mysql2hive
本文介绍了SeaTunnel的安装与使用教程,涵盖从安装、配置到数据同步的全过程。主要内容包括: 1. **SeaTunnel安装**:详细描述了下载、解压及配置连接器等步骤。 2. **模拟数据到Hive (fake2hive)**:通过编辑测试脚本,将模拟数据写入Hive表。 3. **MySQL到控制台 (mysql2console)**:创建配置文件并执行命令,将MySQL数据输出到控制台。 4. **MySQL到Hive (mysql2hive)**:创建Hive表,配置并启动同步任务,支持单表和多表同步。
|
9月前
|
Java Shell 数据库
【YashanDB知识库】调用外部UDF未能识别Java环境配置
【YashanDB知识库】调用外部UDF未能识别Java环境配置
【YashanDB知识库】调用外部UDF未能识别Java环境配置
|
3月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
286 14
|
5月前
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
191 4
|
4月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
177 0