Hadoop2.7实战v1.0之Eclipse+Hive2.0.0的JDBC案例(最详细搭建)

简介: 一.环境搭建(Hadoop+Hive) window7:  eclipse4.5.1 linux: hadoop-01    192.


.环境搭建(Hadoop+Hive)

window7:  eclipse4.5.1

linux: hadoop-01    192.168.33.01

Hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建(HDFSYARN HA) 

Hadoop2.7实战v1.0Hive-2.0.0+MySQL远程模式安装

Hadoop2.7实战v1.0Hive-2.0.0Hiveserver2服务和beeline远程调试 

 

hadoop-01  要有 Hdfs namenode(active),Yarn resourcemanager(active),Hive metastore hiveserver2进程.


.启动hive metastorehiveserver2服务命令

[root@hadoop-01 bin]# hive --service metastore &

[root@hadoop-01 bin]# hive --service hiveserver2 &


.搭建

1.下载解压hadoophive

hadoop-2.7.2.tar.gzwindow7D:\Hadoop\hadoop-2.7.2
apache-hive-2.0.0-bin.tar.gz window7D:\Hadooop\apache-hive-2.0.0-bin
 

2.启动eclipse,新建工程HiveCaseProject,导入需要的jar

 a.导入hivelib文件夹下所有的包

 b.导入hadoopD:\Hadoop\hadoop-2.7.2\share\hadoop\common\hadoop-common-2.7.2.jar

 

3.新建hiveserver2Test.class文件

   

4.hiveserver2Test.class示例代码

点击(此处)折叠或打开

  1. package com.hadoop.hive;
  2. import java.sql.Connection;
  3. import java.sql.DriverManager;
  4. import java.sql.ResultSet;
  5. import java.sql.SQLException;
  6. import java.sql.Statement;
  7.  
  8. public class hiveserver2Test {
  9.        public boolean run() {
  10.               Connection con=null;
  11.               Statement stmt =null;
  12.               ResultSet rs=null;
  13.               String tableName="studentinfo";//表名
  14.              
  15.               try {
  16.                    String driver="org.apache.hive.jdbc.HiveDriver";//Hive的驱动字符串
  17.                    Class.forName(driver); //加载Hive驱动
  18.                       con = DriverManager.getConnection("jdbc:hive2://192.168.33.01:10000", "root", "");//获取hive2的jdbc连接,注意默认的数据库是default
  19.                       stmt = con.createStatement();
  20.                       rs=stmt.executeQuery("select * from "+tableName+" ");//查询所有,直接运行
  21.                            while(rs.next()){
  22.                            System.out.println("id:"+rs.getString(1)+" "+"name:"+rs.getString(2)+" "+"age:"+rs.getString(3)+" "+"tel:"+rs.getString(4)+" ");
  23.                            }
  24.                   
  25.                    System.out.println("查询成功!");
  26.                    stmt.close();
  27.                       con.close();
  28.                          
  29.                      return true;
  30.               } catch (Exception e) {
  31.                      e.printStackTrace();
  32.                      System.out.println("error");
  33.                      return false;
  34.              
  35.               }
  36.        }
  37.  
  38.        public static void main(String[] args) throws SQLException {
  39.               hiveserver2Test hiveJdbcClient = new hiveserver2Test();
  40.               hiveJdbcClient.run();
  41.        }
  42.  
  43. }

5.第一次调试--Error

错误1: StaticLoggerBinder.class冲突,移除log4j-slf4j-impl-2.4.1.jar即可

错误2: ERROR StatusLogger No log4j2 configuration file found. Using default configuration: logging only errors to the console.

这句意思就是没有找到log4j2的配置文件

6.配置log4j2文件 

http://www.cnblogs.com/morvenhuang/p/3958086.html

a.由于hivelib目录有log4j2相关包,在第2.2步已经导入,无需再导入


b.创建resources文件夹,然后在resources文件夹下创建log4j2.xml文件

log4j2.xml文件

点击(此处)折叠或打开

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <Configuration status="warn">
  3.             <Appenders>
  4.                         <Console name="Console" target="SYSTEM_OUT">
  5.                                     <PatternLayout pattern="%m%n" />
  6.                         </Console>
  7.             </Appenders>
  8.             <Loggers>
  9.                         <Root level="INFO">
  10.                                     <AppenderRef ref="Console" />
  11.                         </Root>
  12.             </Loggers>
  13. </Configuration>

c. resources文件夹添加到class

7.第二次调试--Success


目录
相关文章
|
SQL DataWorks Java
DataWorks常见问题之hive jdbc加载数据错误如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
271 0
|
Java 数据库连接
登录页面JDBC案例
登录页面JDBC案例
167 0
|
11月前
|
SQL 分布式计算 大数据
大数据新视界 --大数据大厂之Hive与大数据融合:构建强大数据仓库实战指南
本文深入介绍 Hive 与大数据融合构建强大数据仓库的实战指南。涵盖 Hive 简介、优势、安装配置、数据处理、性能优化及安全管理等内容,并通过互联网广告和物流行业案例分析,展示其实际应用。具有专业性、可操作性和参考价值。
大数据新视界 --大数据大厂之Hive与大数据融合:构建强大数据仓库实战指南
|
SQL 存储 分布式数据库
分布式存储数据恢复—hbase和hive数据库数据恢复案例
分布式存储数据恢复环境: 16台某品牌R730xd服务器节点,每台服务器节点上有数台虚拟机。 虚拟机上部署Hbase和Hive数据库。 分布式存储故障: 数据库底层文件被误删除,数据库不能使用。要求恢复hbase和hive数据库。
464 12
|
Java 关系型数据库 MySQL
【JVM】JDBC案例打破双亲委派机制
【JVM】JDBC案例打破双亲委派机制
414 4
|
存储 分布式计算 监控
Hadoop【基础知识 01+02】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】(图片来源于网络)
【4月更文挑战第3天】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】(图片来源于网络)
797 2
|
SQL 关系型数据库 MySQL
Sqoop【付诸实践 01】Sqoop1最新版 MySQL与HDFS\Hive\HBase 核心导入导出案例分享+多个WRAN及Exception问题处理(一篇即可学会在日常工作中使用Sqoop)
【2月更文挑战第9天】Sqoop【付诸实践 01】Sqoop1最新版 MySQL与HDFS\Hive\HBase 核心导入导出案例分享+多个WRAN及Exception问题处理(一篇即可学会在日常工作中使用Sqoop)
803 7
|
分布式计算 Hadoop Devops
Hadoop集群配置https实战案例
本文提供了一个实战案例,详细介绍了如何在Hadoop集群中配置HTTPS,包括生成私钥和证书文件、配置keystore和truststore、修改hdfs-site.xml和ssl-client.xml文件,以及重启Hadoop集群的步骤,并提供了一些常见问题的故障排除方法。
481 3
Hadoop集群配置https实战案例
|
缓存 Java 应用服务中间件
支付宝 网站支付Demo 案例【沙箱环境】IDEA如何配置启动Eclipse项目
该博客文章讲述了如何在IntelliJ IDEA中配置和启动一个使用Eclipse开发的支付宝网站支付Demo案例。文章详细记录了从导入项目到配置Tomcat,再到解决启动过程中遇到的问题的步骤。作者还分享了在IDEA中遇到的一些常见问题,如项目配置、依赖库添加、编码问题等,并提供了相应的解决方案。此外,文章还提供了支付效果的展示以及一些支付宝案例文档中需要修改的参数信息。
支付宝 网站支付Demo 案例【沙箱环境】IDEA如何配置启动Eclipse项目
|
分布式计算 NoSQL Java
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
254 2

相关实验场景

更多

推荐镜像

更多
下一篇
开通oss服务