Hadoop2.7实战v1.0之Eclipse+Hive2.0.0的JDBC案例(最详细搭建)

简介: 一.环境搭建(Hadoop+Hive) window7:  eclipse4.5.1 linux: hadoop-01    192.


.环境搭建(Hadoop+Hive)

window7:  eclipse4.5.1

linux: hadoop-01    192.168.33.01

Hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建(HDFSYARN HA) 

Hadoop2.7实战v1.0Hive-2.0.0+MySQL远程模式安装

Hadoop2.7实战v1.0Hive-2.0.0Hiveserver2服务和beeline远程调试 

 

hadoop-01  要有 Hdfs namenode(active),Yarn resourcemanager(active),Hive metastore hiveserver2进程.


.启动hive metastorehiveserver2服务命令

[root@hadoop-01 bin]# hive --service metastore &

[root@hadoop-01 bin]# hive --service hiveserver2 &


.搭建

1.下载解压hadoophive

hadoop-2.7.2.tar.gzwindow7D:\Hadoop\hadoop-2.7.2
apache-hive-2.0.0-bin.tar.gz window7D:\Hadooop\apache-hive-2.0.0-bin
 

2.启动eclipse,新建工程HiveCaseProject,导入需要的jar

 a.导入hivelib文件夹下所有的包

 b.导入hadoopD:\Hadoop\hadoop-2.7.2\share\hadoop\common\hadoop-common-2.7.2.jar

 

3.新建hiveserver2Test.class文件

   

4.hiveserver2Test.class示例代码

点击(此处)折叠或打开

  1. package com.hadoop.hive;
  2. import java.sql.Connection;
  3. import java.sql.DriverManager;
  4. import java.sql.ResultSet;
  5. import java.sql.SQLException;
  6. import java.sql.Statement;
  7.  
  8. public class hiveserver2Test {
  9.        public boolean run() {
  10.               Connection con=null;
  11.               Statement stmt =null;
  12.               ResultSet rs=null;
  13.               String tableName="studentinfo";//表名
  14.              
  15.               try {
  16.                    String driver="org.apache.hive.jdbc.HiveDriver";//Hive的驱动字符串
  17.                    Class.forName(driver); //加载Hive驱动
  18.                       con = DriverManager.getConnection("jdbc:hive2://192.168.33.01:10000", "root", "");//获取hive2的jdbc连接,注意默认的数据库是default
  19.                       stmt = con.createStatement();
  20.                       rs=stmt.executeQuery("select * from "+tableName+" ");//查询所有,直接运行
  21.                            while(rs.next()){
  22.                            System.out.println("id:"+rs.getString(1)+" "+"name:"+rs.getString(2)+" "+"age:"+rs.getString(3)+" "+"tel:"+rs.getString(4)+" ");
  23.                            }
  24.                   
  25.                    System.out.println("查询成功!");
  26.                    stmt.close();
  27.                       con.close();
  28.                          
  29.                      return true;
  30.               } catch (Exception e) {
  31.                      e.printStackTrace();
  32.                      System.out.println("error");
  33.                      return false;
  34.              
  35.               }
  36.        }
  37.  
  38.        public static void main(String[] args) throws SQLException {
  39.               hiveserver2Test hiveJdbcClient = new hiveserver2Test();
  40.               hiveJdbcClient.run();
  41.        }
  42.  
  43. }

5.第一次调试--Error

错误1: StaticLoggerBinder.class冲突,移除log4j-slf4j-impl-2.4.1.jar即可

错误2: ERROR StatusLogger No log4j2 configuration file found. Using default configuration: logging only errors to the console.

这句意思就是没有找到log4j2的配置文件

6.配置log4j2文件 

http://www.cnblogs.com/morvenhuang/p/3958086.html

a.由于hivelib目录有log4j2相关包,在第2.2步已经导入,无需再导入


b.创建resources文件夹,然后在resources文件夹下创建log4j2.xml文件

log4j2.xml文件

点击(此处)折叠或打开

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <Configuration status="warn">
  3.             <Appenders>
  4.                         <Console name="Console" target="SYSTEM_OUT">
  5.                                     <PatternLayout pattern="%m%n" />
  6.                         </Console>
  7.             </Appenders>
  8.             <Loggers>
  9.                         <Root level="INFO">
  10.                                     <AppenderRef ref="Console" />
  11.                         </Root>
  12.             </Loggers>
  13. </Configuration>

c. resources文件夹添加到class

7.第二次调试--Success


目录
相关文章
|
5月前
|
存储 分布式计算 Hadoop
Hadoop Distributed File System (HDFS): 概念、功能点及实战
【6月更文挑战第12天】Hadoop Distributed File System (HDFS) 是 Hadoop 生态系统中的核心组件之一。它设计用于在大规模集群环境中存储和管理海量数据,提供高吞吐量的数据访问和容错能力。
610 4
|
30天前
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(二)
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(二)
39 3
|
30天前
|
分布式计算 Java Hadoop
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(一)
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(一)
36 2
|
6月前
|
Java 关系型数据库 MySQL
【JVM】JDBC案例打破双亲委派机制
【JVM】JDBC案例打破双亲委派机制
151 4
|
2月前
|
分布式计算 Hadoop Devops
Hadoop集群配置https实战案例
本文提供了一个实战案例,详细介绍了如何在Hadoop集群中配置HTTPS,包括生成私钥和证书文件、配置keystore和truststore、修改hdfs-site.xml和ssl-client.xml文件,以及重启Hadoop集群的步骤,并提供了一些常见问题的故障排除方法。
66 3
Hadoop集群配置https实战案例
|
30天前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
77 0
|
30天前
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
34 0
|
30天前
|
SQL 分布式计算 关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
44 0
|
3月前
|
缓存 Java 应用服务中间件
支付宝 网站支付Demo 案例【沙箱环境】IDEA如何配置启动Eclipse项目
该博客文章讲述了如何在IntelliJ IDEA中配置和启动一个使用Eclipse开发的支付宝网站支付Demo案例。文章详细记录了从导入项目到配置Tomcat,再到解决启动过程中遇到的问题的步骤。作者还分享了在IDEA中遇到的一些常见问题,如项目配置、依赖库添加、编码问题等,并提供了相应的解决方案。此外,文章还提供了支付效果的展示以及一些支付宝案例文档中需要修改的参数信息。
支付宝 网站支付Demo 案例【沙箱环境】IDEA如何配置启动Eclipse项目
|
2月前
|
分布式计算 监控 Hadoop
监控Hadoop集群实战篇
介绍了监控Hadoop集群的方法,包括监控Linux服务器、Hadoop指标、使用Ganglia监控Hadoop集群、Hadoop日志记录、通过Hadoop的Web UI进行监控以及其他Hadoop组件的监控,并提供了相关监控工具和资源的推荐阅读链接。
76 2

推荐镜像

更多