AI 助理
文档备案控制台
开发者社区 数据库 文章 正文

大数据平台底层技术-JAVA篇-如何动态加载不同版本的 HIVE JDBC 驱动 - 一文读懂JAVA的类加载机制 2

2023-10-09 642
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 大数据平台底层技术-JAVA篇-如何动态加载不同版本的 HIVE JDBC 驱动 - 一文读懂JAVA的类加载机制

6 自定义类加载器

6.1 自定义类加载器的应用场景

通过合理使用上述 JVM 自带的各个类加载器，一般就已经能够满足绝大多情况下类或资源的加载需求了。 但在某些特殊情况下，我们仍然需要自定义类加载器，这些场景主要有：

  • 辅助修改已有的字节码 bytecode, 比如 weaving agents；
  • 加载本地磁盘文件系统之外的网络上的类或资源，比如浏览器加载远程web服务器上的 applet；

6.2 如何自定义类加载器

自定义类加载器,只需要继承类 ClassLoader 并复写方法 findClass() 即可。 以下示例代码，自定义了一个类加载器，来从指定的文件中加载 byte array 并构建类：

public class CustomClassLoader extends ClassLoader {
    @Override
    public Class findClass(String name) throws ClassNotFoundException {
        byte[] b = loadClassFromFile(name);
        return defineClass(name, b, 0, b.length);
    }
    private byte[] loadClassFromFile(String fileName)  {
        InputStream inputStream = getClass().getClassLoader().getResourceAsStream(
                fileName.replace('.', File.separatorChar) + ".class");
        byte[] buffer;
        ByteArrayOutputStream byteStream = new ByteArrayOutputStream();
        int nextValue = 0;
        try {
            while ( (nextValue = inputStream.read()) != -1 ) {
                byteStream.write(nextValue);
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
        buffer = byteStream.toByteArray();
        return buffer;
    }
}

7 相关测试类

package com.hundsun;
import org.apache.hadoop.conf.Configuration;
import org.apache.hive.jdbc.HiveDriver;
import java.io.File;
import java.net.URISyntaxException;
import java.net.URL;
import java.net.URLClassLoader;
import java.sql.*;
import java.util.ArrayList;
import java.util.List;
/**
 * @author: liming
 * @date: 2021/8/28 20:12
 * @description:
 */
public class ClassLoaderTest {
    private static String dataSourceDriverPath;
    private static String classPath = "E:\\git\\sparkTest\\target";
    public static void main(String[] args) {
        try {
//        dataSourceDriverPath = args[0];
            dataSourceDriverPath = "D:\\software\\数据源驱动-202101.03.000\\drivers\\hive-cdh6\\lib";
//        System.out.println("驱动路径:" + dataSourceDriverPath);
            System.out.println("ClassLoaderTest.class.getClassLoader():" + ClassLoaderTest.class.getClassLoader().toString());
//        System.out.println("ClassLoaderTest.class.getClassLoader().getParent():" + ClassLoaderTest.class.getClassLoader().getParent().toString());
//        System.out.println("ClassLoaderTest.class.getClassLoader().getParent().getParent():" + ClassLoaderTest.class.getClassLoader().getParent().getParent());
//        System.out.println("ClassLoaderTest.class.getClassLoader().getParent().getParent().getParent():" + ClassLoaderTest.class.getClassLoader().getParent().getParent().getParent());
            jdbcDriverTest();
            getDriverUsingContextClassLoader();
            getDriverUsingUrlClassLoader();
            getClassUsingContextClassLoader(classPath);
        } catch (Exception e) {
            System.out.println(e.getMessage());
            System.out.println(e.getCause());
            e.printStackTrace();
        }
    }
    public static void jdbcDriverTest(){
        try{
            Class<?> driverManagerClass = Class.forName("java.sql.DriverManager");
            Class<?> driverClass = Class.forName("java.sql.Driver");
            Class<?> oracleDriverClass = Class.forName("oracle.jdbc.driver.OracleDriver");
            System.out.println("driverManagerClass.getClassLoader():" + driverManagerClass.getClassLoader());
            System.out.println("driverClass.getClassLoader():" + driverClass.getClassLoader());
            System.out.println("oracleDriverClass.getClassLoader():" + oracleDriverClass.getClassLoader());
//            Connection con=DriverManager.getConnection("jdbc:oracle:thin:@//10.20.29.239:1521/orclpdb1","hs_cic","hundsun");
            Connection con= DriverManager.getConnection(
                    "jdbc:oracle:thin:@//10.20.23.215:1521/orcl","hs_dap","hundsun");
            System.out.println(con.getAutoCommit());
            con.setAutoCommit(false);
            System.out.println(con.getAutoCommit());
            Statement stmt=con.createStatement();
            ResultSet rs=stmt.executeQuery("select count(1) from HS_DAP.DAP_DATA_TYPE_LIMING");
            while (rs.next()) {
                System.out.println(rs.getInt(1));
//                System.out.println(rs.getString(1) + "  " + rs.getInt(2) + "  " + rs.getString(3));
            }
            PreparedStatement ps = con.prepareStatement("delete from HS_DAP.DAP_DATA_TYPE_LIMING where HIVE_DATA_TYPE = ?");
            ps.setString(1,"DATE");
            ps.execute();
            Thread.sleep(1 * 60 * 1000);
            con.close();
        }catch(Exception e){ System.out.println(e);}
    }
    public static Driver getDriverUsingUrlClassLoader() throws URISyntaxException {
        String driverPath = dataSourceDriverPath;
        List<File> files = scanDir(driverPath);
        System.out.println(files.get(0).toURI());
        Class<?> driver = null;
        Class<?> configuration = null;
        try {
            URL[] urls = new URL[files.size()];
            for (int i = 0; i < files.size(); i++) {
                urls[i] = files.get(i).toURI().toURL();
//                System.out.println(files.get(i).toURI());
            }
            System.out.println("Thread.currentThread().getContextClassLoader():" + Thread.currentThread().getContextClassLoader());
            URLClassLoader urlClassLoader = new URLClassLoader(urls);
            System.out.println("urlClassLoader:" + urlClassLoader);
            URL resource = urlClassLoader.getResource("core-site-test.xml");
            String resourceURI = resource.toURI().toString();
            System.out.println("resourceURI:" + resourceURI);
            System.out.println("resource.getPath():" + resource.getPath());
            driver = urlClassLoader.loadClass("org.apache.hive.jdbc.HiveDriver");
            System.out.println("org.apache.hive.jdbc.HiveDriver.class.getClassLoader():" + HiveDriver.class.getClassLoader().toString());
            System.out.println("org.apache.hive.jdbc.HiveDriver.class.getClassLoader().getParent()：" + HiveDriver.class.getClassLoader().getParent().toString());
            configuration = urlClassLoader.loadClass("org.apache.hadoop.conf.Configuration");
            System.out.println("org.apache.hadoop.conf.Configuration.class.getClassLoader():" + Configuration.class.getClassLoader().toString());
            System.out.println("org.apache.hadoop.conf.Configuration.class.getClassLoader().getParent()：" + Configuration.class.getClassLoader().getParent().toString());
            System.out.println("Thread.currentThread().getContextClassLoader():" + Thread.currentThread().getContextClassLoader());
            System.out.println("urlClassLoader.getParent():" + urlClassLoader.getParent());
            Thread.currentThread().setContextClassLoader(urlClassLoader);
            System.out.println("Thread.currentThread().getContextClassLoader()" + Thread.currentThread().getContextClassLoader());
            return (Driver) driver.newInstance();
        } catch (Exception e) {
            System.out.println(e.getCause());
            System.out.println(e.getMessage());
            e.printStackTrace();
        }
        return null;
    }
    public static Driver getDriverUsingContextClassLoader() throws URISyntaxException {
        String driverPath = dataSourceDriverPath;
        List<File> files = scanDir(driverPath);
        System.out.println(files.get(0).toURI());
        Class<?> driver = null;
        Class<?> configuration = null;
        try {
            URL[] urls = new URL[files.size()];
            for (int i = 0; i < files.size(); i++) {
                urls[i] = files.get(i).toURI().toURL();
//                System.out.println(files.get(i).toURI());
            }
            ClassLoader prevContextClassLoader = Thread.currentThread().getContextClassLoader();
            System.out.println("prevContextClassLoader:" + prevContextClassLoader);
            // create a URLClassLoader with the thread ContextClassLoader as parent
            URLClassLoader urlContextClassLoader = new URLClassLoader(urls, prevContextClassLoader);
            System.out.println("urlContextClassLoader:" + urlContextClassLoader);
            URL resource = urlContextClassLoader.getResource("core-site-test.xml");
            String resourceURI = resource.toURI().toString();
//            System.out.println("g:" +resourceURI);
            System.out.println("resource.getPath():" + resource.getPath());
            driver = urlContextClassLoader.loadClass("org.apache.hive.jdbc.HiveDriver");
            System.out.println("org.apache.hive.jdbc.HiveDriver.class.getClassLoader():" + org.apache.hive.jdbc.HiveDriver.class.getClassLoader().toString());
            System.out.println("org.apache.hive.jdbc.HiveDriver.class.getClassLoader().getParent()：" + org.apache.hive.jdbc.HiveDriver.class.getClassLoader().getParent().toString());
            configuration = urlContextClassLoader.loadClass("org.apache.hadoop.conf.Configuration");
            System.out.println("Thread.currentThread().getContextClassLoader():" + Thread.currentThread().getContextClassLoader());
            System.out.println("org.apache.hadoop.conf.Configuration.class.getClassLoader():" + org.apache.hadoop.conf.Configuration.class.getClassLoader().toString());
            System.out.println("org.apache.hadoop.conf.Configuration.class.getClassLoader().getParent()：" + org.apache.hadoop.conf.Configuration.class.getClassLoader().getParent().toString());
            System.out.println("urlContextClassLoader.getParent():" + urlContextClassLoader.getParent());
            // set the thread contextClassLoader to the newly created urlContextClassLoader
            Thread.currentThread().setContextClassLoader(urlContextClassLoader);
            System.out.println("Thread.currentThread().getContextClassLoader()" + Thread.currentThread().getContextClassLoader());
            return (Driver) driver.newInstance();
        } catch (Exception e) {
            System.out.println(e.getCause());
            System.out.println(e.getMessage());
            e.printStackTrace();
        }
        return null;
    }
    public static void getClassUsingContextClassLoader(String classPath) throws URISyntaxException {
        List<File> files = scanDir(classPath);
        System.out.println(files.get(0).toURI());
        try {
            URL[] urls = new URL[files.size()];
            for (int i = 0; i < files.size(); i++) {
                urls[i] = files.get(i).toURI().toURL();
//                System.out.println(files.get(i).toURI());
            }
            ClassLoader prevContextClassLoader = Thread.currentThread().getContextClassLoader();
            System.out.println("prevContextClassLoader:" + prevContextClassLoader);
            System.out.println("prevContextClassLoader.getParent():" + prevContextClassLoader.getParent());
            System.out.println("prevContextClassLoader.getParent().getParent():" + prevContextClassLoader.getParent().getParent());
            URLClassLoader urlContextClassLoader = new URLClassLoader(urls, prevContextClassLoader);
            System.out.println("urlContextClassLoader:" + urlContextClassLoader);
            System.out.println("ClassLoader.getSystemClassLoader():" + ClassLoader.getSystemClassLoader());
            Thread.currentThread().setContextClassLoader(urlContextClassLoader);
            System.out.println("Thread.currentThread().getContextClassLoader()" + Thread.currentThread().getContextClassLoader());
            System.out.println("Thread.currentThread().getContextClassLoader().getParent()" + Thread.currentThread().getContextClassLoader().getParent());
            System.out.println("ClassLoader.getSystemClassLoader():" + ClassLoader.getSystemClassLoader());
//             if you call Class.forName() without specifying the classloader, it will use the system classloader by default;
//            Class<?> claz1 = Class.forName("com.hundsun.SimpleApp");
//            Class<?> claz1 = Class.forName("com.hundsun.SimpleApp",true,urlContextClassLoader);
            // if you call Class.forName() with the same class and same classloader multiple times,
            // the class will be loaded and initialized only once
//            Class.forName("com.hundsun.SimpleApp",true,urlContextClassLoader);
//            Class.forName("com.hundsun.SimpleApp",true,urlContextClassLoader);
            // ClassLoader.loadClass will only load the class but will not initialize it - the static code block will not be executed;
            Class claz1 = urlContextClassLoader.loadClass("com.hundsun.SimpleApp");
            System.out.println("claz1.getClassLoader()" + claz1.getClassLoader());
        } catch (Exception e) {
            System.out.println(e.getCause());
            System.out.println(e.getMessage());
            e.printStackTrace();
        }
    }
    /**
     * 扫描lib下面的所有jar包
     *
     * @return
     */
    private static List<File> scanDir(String path) {
        List<File> list = new ArrayList<>();
        File[] files = new File(path).listFiles();
        for (File f : files) {
            if (f.isFile() && f.getName().endsWith(".jar")) {
                list.add(f);
            }
            if (f.listFiles() != null) {
                for (File file : f.listFiles()) {
                    if (file.isFile() && file.getName().endsWith(".jar")) {
                        list.add(file);
                    }
                }
            }
        }
        return list;
    }
}

8 知识总结

  • JVM 类加载器是JRE的一部分，负责在 JVM 程序运行时，动态加载 JAVA 类到 JVM 内存中；
  • JRE 中内置的类加载器有 sun.misc.Launcher.AppClassLoader/sun.misc.Launcher.ExtClassLoader/java.net.URLClassLoader/bootstrap class loader 等；
  • 类加载器加载类，遵循了双亲委派模型，其核心思想是：
  • 当类加载器收到一个类或资源的加载请求后，会首先搜索该类或资源是否已经被加载到内存中了，如果已经被加载了的话，不会重复加载该类或资源；（在内存中搜索类或资源时，一样会遵循类的可见性）；
  • 如果没有被加载，则会将加载请求委派给父级加载器去加载；
  • 父级加载器一样遵循向上委派机制，将加载请求委派给其父级加载器去加载，通过这种向上传导关系，所有的类加载请求，最终都会被传入到启动类加载器(Bootstrap ClassLoader)中；
  • 只有当父级加载器反馈无法完成特定类或资源的加载请求时，即父级加载器在它的搜索范围内找不到该类或资源时（搜索范围是磁盘上对应的目录），子级加载器才尝试在自己的搜索范围内加载类或资源；
  • 通过双亲委派模型，JVM 确保了：类的唯一性 uniqueness, 类的可见性 Visibility, 类的安全性 Security;
  • 双亲委派模型也有不足，比如 java.sql.DriverManager/java.sq.Driver 等是 jre 核心内部类，在 $JAVA_HOME/jre/lib/rt.jar 中，由 bootstrap classloader 负责加载他们；而 jdbc 实现类如 oracle.jdbc.driver.OracleDriver 是在程序运行时指定的类加载路径下的某个 jar 包中（类加载路径是通过环境变量 classpath 动态指定的），由 application class loader 负责加载他们；所以当 bootstrap classloader 加载的 java.sql.DriverManager， 需要调用 application classloader 加载的 java.sq.Driver 的具体实现类 oracle.jdbc.driver.OracleDriver 时，由于类的可见性 （子类加载器加载的类对父类加载器加载的类默认不可见），按照双亲委派模型，这是不 work 的；
  • 双亲委派模型的不足, 可以通过使用 thread Context Classloaders 来显示加载需要加载的类来弥补，JDBC/JNDI 等的实现，都使用了thread Context Classloaders；比如方法 java.sql.DriverManager#getConnection(java.lang.String, java.util.Properties, java.lang.Class<?>) 就借用了 thread context classloader， 来加载 jdbc 实现类如 oracle.jdbc.driver.OracleDriver，具体源码可见：
callerCL = Thread.currentThread().getContextClassLoader(); // 获得thread context classloader
aClass =  Class.forName(driver.getClass().getName(), true, classLoader); // // 使用获得的 thread context classloader，通过 Class.forName 加载 jdbc 实现类如 oracle.jdbc.driver.OracleDriver


  • 当 JVM 内置的加载器满足不了需求时，可以自定义类加载器, 自定义类加载器只需要继承类 ClassLoader 并复写方法 findClass() 即可；
  • 除了由 JRE 隐式动态加载类，还可以在代码中显示加载类；
  • 显示加载类，可以通过 Class.forName(String name, boolean initialize,ClassLoader loader) 或 Class.forName(String name) 加载，其中后者默认会使用 system classloader，且默认会初始化类 （即执行类的静态代码块）；
  • 显示加载类，也可以通过 classLoader.loadClass(String name) 来加载类，此时只会加载类但不会初始化类（即不会执行类的静态代码块）;
  • 通过 classLoader.loadClass(String name) 来显示加载类时，类加载器可以是当前类加载器/系统类加载器/线程上下文类加载器/或新创建的URLClassLoader：
  • 通过当前类加载器加载：Class.forName("com.hundsun.SimpleApp",true,urlContextClassLoader);
  • 通过系统类加载器加载：ClassLoader.getSystemClassLoader().loadClass("com.hundsun.SimpleApp");
  • 通过线程上下文类加载器加载：Thread.currentThread().getContextClassLoader().loadClass("com.hundsun.SimpleApp");
  • 新建URLClassLoader并进行加载: ClassLoader prevContextClassLoader = Thread.currentThread().getContextClassLoader(); URLClassLoader urlContextClassLoader = new URLClassLoader(urls, prevContextClassLoader)；urlContextClassLoader.loadClass("com.hundsun.SimpleApp");
  • 新建URLClassLoader时可以指定其父类，当不指定时其父类默认是系统类加载器加载；
文章标签：
云原生大数据计算服务 MaxCompute
Java
数据库连接
SQL
HIVE
大数据
相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程：基于MaxCompute的热门话题分析
明哥的IT随笔
目录
相关文章
云技术达人
|
12月前
|
存储 人工智能 大数据
云栖2025｜阿里云开源大数据发布新一代“湖流一体”数智平台及全栈技术升级
阿里云在云栖大会发布“湖流一体”数智平台，推出DLF-3.0全模态湖仓、实时计算Flink版升级及EMR系列新品，融合实时化、多模态、智能化技术，打造AI时代高效开放的数据底座，赋能企业数字化转型。
云技术达人
3242 0
TiAmoZhang
|
数据采集 人工智能 分布式计算
ODPS在AI时代的发展战略与技术演进分析报告
ODPS（现MaxCompute）历经十五年发展，从分布式计算平台演进为AI时代的数据基础设施，以超大规模处理、多模态融合与Data+AI协同为核心竞争力，支撑大模型训练与实时分析等前沿场景，助力企业实现数据驱动与智能化转型。
TiAmoZhang
816 4
游客2cgvtedhdpwze
|
存储 分布式计算 Hadoop
Hadoop框架解析：大数据处理的核心技术
组件是对数据和方法的封装，从用户角度看是实现特定功能的独立黑盒子，能够有效完成任务。组件，也常被称作封装体，是对数据和方法的简洁封装形式。从用户的角度来看，它就像是一个实现了特定功能的黑盒子，具备输入和输出接口，能够独立完成某些任务。
游客2cgvtedhdpwze
710 1
Q一个好的名字容易让人记住你2483558220
|
12月前
|
数据可视化 大数据 关系型数据库
基于python大数据技术的医疗数据分析与研究
在数字化时代，医疗数据呈爆炸式增长，涵盖患者信息、检查指标、生活方式等。大数据技术助力疾病预测、资源优化与智慧医疗发展，结合Python、MySQL与B/S架构，推动医疗系统高效实现。
Q一个好的名字容易让人记住你2483558220
595 3
martinzh717
|
安全 架构师 Java
Java LTS版本进化秀：从8到21的欢乐升级之旅
困惑于Java版本选择？轻松幽默地穿越Java LTS版本时光隧道，掌握从Java 8到21的关键特性。通过一家初创公司的系统升级故事，直观了解每个版本如何解决代码冗余、性能瓶颈等开发痛点，助你在技术选型中做出明智决策。
martinzh717
616 7
高端源码库
|
JavaScript Java 关系型数据库
家政系统源码，java版本
这是一款基于SpringBoot后端框架、MySQL数据库及Uniapp移动端开发的家政预约上门服务系统。
高端源码库
518 6
家政系统源码，java版本
啦啦啦191
|
安全 Java API
Java 17 及以上版本核心特性在现代开发实践中的深度应用与高效实践方法 Java 开发实践
本项目以“学生成绩管理系统”为例，深入实践Java 17+核心特性与现代开发技术。采用Spring Boot 3.1、WebFlux、R2DBC等构建响应式应用，结合Record类、模式匹配、Stream优化等新特性提升代码质量。涵盖容器化部署（Docker）、自动化测试、性能优化及安全加固，全面展示Java最新技术在实际项目中的应用，助力开发者掌握现代化Java开发方法。
啦啦啦191
564 1
卓伊凡
|
Cloud Native Java API
Java Spring框架技术栈选和最新版本及发展史详解（截至2025年8月）-优雅草卓伊凡
Java Spring框架技术栈选和最新版本及发展史详解（截至2025年8月）-优雅草卓伊凡
卓伊凡
1873 0
1941623231718325
|
SQL 分布式计算 大数据
我与ODPS的十年技术共生之路
ODPS十年相伴，从初识的分布式计算到共生进化，突破架构边界，推动数据价值深挖。其湖仓一体、隐私计算与Serverless能力，助力企业降本增效，赋能政务与商业场景，成为数字化转型的“数字神经系统”。
1941623231718325
296 0
青云交（Java大数据AI云原生Python）
|
存储 人工智能 算法
Java 大视界 -- Java 大数据在智能医疗影像数据压缩与传输优化中的技术应用（227）
本文探讨 Java 大数据在智能医疗影像压缩与传输中的关键技术应用，分析其如何解决医疗影像数据存储、传输与压缩三大难题，并结合实际案例展示技术落地效果。
青云交（Java大数据AI云原生Python）
450 0

热门文章

最新文章

  • 1
    JDBC技术【JDBC概述、获取数据库连接、 下载数据库驱动】(一)-全面详解（学习总结---从入门到深化）
  • 2
    Java一分钟之-JDBC连接池：HikariCP, Apache DBCP, C3P0
  • 3
    JDBC+Servlet+JSP整合开发之23.JSP脚本元素
  • 4
    #大学#应用JDBC事务
  • 5
    如何使用Java操作数据库？一文帮你搞懂Java的JDBC编程
  • 6
    oracle jdbc jar 的一些说明
  • 7
    JDBC连接池的简单实现
  • 8
    JDBC中PreparedStatement常用操作实践
  • 9
    JDBC Connection详解：连接到数据库的关键
  • 10
    数据库系列课程（08）-SpringBoot整合Sharding-Jdbc
  • 1
    Java 设计模式之策略模式：灵活切换算法的艺术
    2907
  • 2
    Java 设计模式之观察者模式：构建松耦合的事件响应系统
    835
  • 3
    Java 设计模式之状态模式：让对象的行为随状态优雅变化
    1219
  • 4
    java零基础学习者入门课程
    891
  • 5
    Java 设计模式之责任链模式：优雅处理请求的艺术
    1179
  • 6
    【Azure Storage Account】Java Code访问Storage Account File Share的上传和下载代码示例
    748
  • 7
    百宝箱开放平台 ✖️ Java SDK
    1957
  • 8
    《深入理解Spring》：现代Java开发的核心框架
    1268
  • 9
    用Java语言实现一个自定义的ArrayList类
    542
  • 10
    从混沌到秩序：Java共享内存模型如何通过显式约束驯服并发？
    493

    • 相关课程

    更多
  • 阿里云大数据工程师ACA认证（2026版）
  • 阿里云专有云大数据高级运维工程师ACP认证课程
  • 阿里云大数据高级工程师ACP认证课程
  • 基于阿里云MaxCompute搭建数据仓库（离线）
  • 基于MaxCompute的热门话题分析

    • 相关电子书

    更多
  • MaxCompute Serverless 架构演进
  • Data+AI时代大数据平台应该如何建设
  • 大数据AI一体化的解读
    • 下一篇
    一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！