HIVE的JDBC操作数据

简介: 代码实例package oa.epoint.com.hive;import java.io.UnsupportedEncodingException;import java.

代码实例

package oa.epoint.com.hive;

import java.io.UnsupportedEncodingException;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;

public class HiveTest {
    private static String driveName = "org.apache.hive.jdbc.HiveDriver";
    private static String url = "jdbc:hive2://100.2.5.2:10000/default";
//  private static String url = "jdbc:hive2://192.168.1.131:10000/test";
    private static String user = "hdfs";
    private static String passwd = "d010";
    private static String sql = "";
    private static String sql1 = "";
    private static ResultSet res;

    public static void main(String[] args) {
        Connection con = null;
        Statement stm = null;

        try {
            con = getConnection();
            stm = con.createStatement();

            String tableName = "stu2";
            dropTable(stm, tableName);
            createTable(stm, tableName);
            selectData(stm, tableName);
        } catch (ClassNotFoundException e) {
            e.printStackTrace();
            System.out.println(driveName + " not found! ");
            System.out.println(e.getMessage());
        } catch (SQLException e1) {
            e1.printStackTrace();
            System.out.println("connection error! ");
            System.out.println(e1.getMessage());
        } finally {
            try {
                if (res != null) {
                    res.close();
                    res = null;
                }
                if (stm != null) {
                    stm.close();
                    stm = null;
                }
                if (con != null) {
                    con.close();
                    con = null;
                }
            } catch (SQLException e2) {
                e2.printStackTrace();
                System.out.println("close connection or statement error! ");
                System.out.println(e2.getMessage());
            }
        }
    }

    private static Connection getConnection() throws ClassNotFoundException, SQLException {
        Class.forName(driveName);
        Connection con = DriverManager.getConnection(url, user, passwd);
        System.out.println("connection success!");
        return con;
    }

    private static void dropTable(Statement stm, String tableName) throws SQLException {
        sql = "drop table if exists " + tableName;
        System.out.println("Running:" + sql);
        stm.executeUpdate(sql);
    }

    private static void createTable(Statement stm, String tableName) throws SQLException {
        sql = "create table if not exists " + tableName + " (stuid string, name string, sex string, age int) clustered by (stuid) into 2 buckets STORED AS ORC";
        System.out.println("Running:" + sql);
        stm.executeUpdate(sql);
        sql1 = "insert into "+tableName+"(stuid,name,sex,age) values ('1001','xubin1','man',25),('1002','xubin2','man',26),('1003','xubin3','man',27),('1004','xubin4','man',28)";
        stm.executeUpdate(sql1);
        String id,name,gender,num;
        try {
            id = new String("1001".getBytes(),"iso8859-1");
            name = new String("徐彬1".getBytes(),"iso8859-1");
            gender = new String("男".getBytes(),"iso8859-1");
            num = "25";
            sql1 = "insert into stu1 values('$ID','$NAME','$GENDER',$NUM)";
            stm.execute(sql1.replace("$ID", id).replace("$NAME", name).replace("$GENDER", gender).replace("$NUM", num));
        } catch (UnsupportedEncodingException e) {
            e.printStackTrace();
        }

    }

    private static void selectData(Statement stm, String tableName) throws SQLException {
        sql = "select * from " + tableName;
        System.out.println("Running:" + sql);
        res = stm.executeQuery(sql);
        while (res.next()) {  
            String uid = res.getString(1);  
            String ufname = res.getString(2);  
            String ulname = res.getString(3);  
            String udate = res.getString(4);  
            System.out.println(uid + "\t" + ufname + "\t" + ulname + "\t" + udate );  
        }
    }



}

beeline -u jdbc:hive2://ip:10000/default -n user -p passwd

beeline

!connect jdbc:hive2://ip:10010/default
目录
相关文章
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
45 4
|
1月前
|
SQL 分布式计算 关系型数据库
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
54 3
|
1月前
|
SQL
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
37 2
|
1月前
|
SQL 分布式计算 Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
37 0
|
1月前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
87 0
|
1月前
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
39 0
|
1月前
|
SQL 分布式计算 关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
48 0
|
3月前
|
SQL 物联网 数据处理
"颠覆传统,Hive SQL与Flink激情碰撞!解锁流批一体数据处理新纪元,让数据决策力瞬间爆表,你准备好了吗?"
【8月更文挑战第9天】数据时代,实时性和准确性至关重要。传统上,批处理与流处理各司其职,但Apache Flink打破了这一界限,尤其Flink与Hive SQL的结合,开创了流批一体的数据处理新时代。这不仅简化了数据处理流程,还极大提升了效率和灵活性。例如,通过Flink SQL,可以轻松实现流数据与批数据的融合分析,无需在两者间切换。这种融合不仅降低了技术门槛,还为企业提供了更强大的数据支持,无论是在金融、电商还是物联网领域,都将发挥巨大作用。
60 6
|
3月前
|
SQL 关系型数据库 HIVE
实时计算 Flink版产品使用问题之如何将PostgreSQL数据实时入库Hive并实现断点续传
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。