AI 助理
文档备案控制台
开发者社区 数据库 文章 正文

大数据平台底层技术-JAVA篇-如何动态加载不同版本的 HIVE JDBC 驱动 - 一文读懂JAVA的类加载机制 2

2023-10-09 490
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 大数据平台底层技术-JAVA篇-如何动态加载不同版本的 HIVE JDBC 驱动 - 一文读懂JAVA的类加载机制

6 自定义类加载器

6.1 自定义类加载器的应用场景

通过合理使用上述 JVM 自带的各个类加载器，一般就已经能够满足绝大多情况下类或资源的加载需求了。 但在某些特殊情况下，我们仍然需要自定义类加载器，这些场景主要有：

  • 辅助修改已有的字节码 bytecode, 比如 weaving agents；
  • 加载本地磁盘文件系统之外的网络上的类或资源，比如浏览器加载远程web服务器上的 applet；

6.2 如何自定义类加载器

自定义类加载器,只需要继承类 ClassLoader 并复写方法 findClass() 即可。 以下示例代码，自定义了一个类加载器，来从指定的文件中加载 byte array 并构建类：

public class CustomClassLoader extends ClassLoader {
    @Override
    public Class findClass(String name) throws ClassNotFoundException {
        byte[] b = loadClassFromFile(name);
        return defineClass(name, b, 0, b.length);
    }
    private byte[] loadClassFromFile(String fileName)  {
        InputStream inputStream = getClass().getClassLoader().getResourceAsStream(
                fileName.replace('.', File.separatorChar) + ".class");
        byte[] buffer;
        ByteArrayOutputStream byteStream = new ByteArrayOutputStream();
        int nextValue = 0;
        try {
            while ( (nextValue = inputStream.read()) != -1 ) {
                byteStream.write(nextValue);
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
        buffer = byteStream.toByteArray();
        return buffer;
    }
}

7 相关测试类

package com.hundsun;
import org.apache.hadoop.conf.Configuration;
import org.apache.hive.jdbc.HiveDriver;
import java.io.File;
import java.net.URISyntaxException;
import java.net.URL;
import java.net.URLClassLoader;
import java.sql.*;
import java.util.ArrayList;
import java.util.List;
/**
 * @author: liming
 * @date: 2021/8/28 20:12
 * @description:
 */
public class ClassLoaderTest {
    private static String dataSourceDriverPath;
    private static String classPath = "E:\\git\\sparkTest\\target";
    public static void main(String[] args) {
        try {
//        dataSourceDriverPath = args[0];
            dataSourceDriverPath = "D:\\software\\数据源驱动-202101.03.000\\drivers\\hive-cdh6\\lib";
//        System.out.println("驱动路径:" + dataSourceDriverPath);
            System.out.println("ClassLoaderTest.class.getClassLoader():" + ClassLoaderTest.class.getClassLoader().toString());
//        System.out.println("ClassLoaderTest.class.getClassLoader().getParent():" + ClassLoaderTest.class.getClassLoader().getParent().toString());
//        System.out.println("ClassLoaderTest.class.getClassLoader().getParent().getParent():" + ClassLoaderTest.class.getClassLoader().getParent().getParent());
//        System.out.println("ClassLoaderTest.class.getClassLoader().getParent().getParent().getParent():" + ClassLoaderTest.class.getClassLoader().getParent().getParent().getParent());
            jdbcDriverTest();
            getDriverUsingContextClassLoader();
            getDriverUsingUrlClassLoader();
            getClassUsingContextClassLoader(classPath);
        } catch (Exception e) {
            System.out.println(e.getMessage());
            System.out.println(e.getCause());
            e.printStackTrace();
        }
    }
    public static void jdbcDriverTest(){
        try{
            Class<?> driverManagerClass = Class.forName("java.sql.DriverManager");
            Class<?> driverClass = Class.forName("java.sql.Driver");
            Class<?> oracleDriverClass = Class.forName("oracle.jdbc.driver.OracleDriver");
            System.out.println("driverManagerClass.getClassLoader():" + driverManagerClass.getClassLoader());
            System.out.println("driverClass.getClassLoader():" + driverClass.getClassLoader());
            System.out.println("oracleDriverClass.getClassLoader():" + oracleDriverClass.getClassLoader());
//            Connection con=DriverManager.getConnection("jdbc:oracle:thin:@//10.20.29.239:1521/orclpdb1","hs_cic","hundsun");
            Connection con= DriverManager.getConnection(
                    "jdbc:oracle:thin:@//10.20.23.215:1521/orcl","hs_dap","hundsun");
            System.out.println(con.getAutoCommit());
            con.setAutoCommit(false);
            System.out.println(con.getAutoCommit());
            Statement stmt=con.createStatement();
            ResultSet rs=stmt.executeQuery("select count(1) from HS_DAP.DAP_DATA_TYPE_LIMING");
            while (rs.next()) {
                System.out.println(rs.getInt(1));
//                System.out.println(rs.getString(1) + "  " + rs.getInt(2) + "  " + rs.getString(3));
            }
            PreparedStatement ps = con.prepareStatement("delete from HS_DAP.DAP_DATA_TYPE_LIMING where HIVE_DATA_TYPE = ?");
            ps.setString(1,"DATE");
            ps.execute();
            Thread.sleep(1 * 60 * 1000);
            con.close();
        }catch(Exception e){ System.out.println(e);}
    }
    public static Driver getDriverUsingUrlClassLoader() throws URISyntaxException {
        String driverPath = dataSourceDriverPath;
        List<File> files = scanDir(driverPath);
        System.out.println(files.get(0).toURI());
        Class<?> driver = null;
        Class<?> configuration = null;
        try {
            URL[] urls = new URL[files.size()];
            for (int i = 0; i < files.size(); i++) {
                urls[i] = files.get(i).toURI().toURL();
//                System.out.println(files.get(i).toURI());
            }
            System.out.println("Thread.currentThread().getContextClassLoader():" + Thread.currentThread().getContextClassLoader());
            URLClassLoader urlClassLoader = new URLClassLoader(urls);
            System.out.println("urlClassLoader:" + urlClassLoader);
            URL resource = urlClassLoader.getResource("core-site-test.xml");
            String resourceURI = resource.toURI().toString();
            System.out.println("resourceURI:" + resourceURI);
            System.out.println("resource.getPath():" + resource.getPath());
            driver = urlClassLoader.loadClass("org.apache.hive.jdbc.HiveDriver");
            System.out.println("org.apache.hive.jdbc.HiveDriver.class.getClassLoader():" + HiveDriver.class.getClassLoader().toString());
            System.out.println("org.apache.hive.jdbc.HiveDriver.class.getClassLoader().getParent()：" + HiveDriver.class.getClassLoader().getParent().toString());
            configuration = urlClassLoader.loadClass("org.apache.hadoop.conf.Configuration");
            System.out.println("org.apache.hadoop.conf.Configuration.class.getClassLoader():" + Configuration.class.getClassLoader().toString());
            System.out.println("org.apache.hadoop.conf.Configuration.class.getClassLoader().getParent()：" + Configuration.class.getClassLoader().getParent().toString());
            System.out.println("Thread.currentThread().getContextClassLoader():" + Thread.currentThread().getContextClassLoader());
            System.out.println("urlClassLoader.getParent():" + urlClassLoader.getParent());
            Thread.currentThread().setContextClassLoader(urlClassLoader);
            System.out.println("Thread.currentThread().getContextClassLoader()" + Thread.currentThread().getContextClassLoader());
            return (Driver) driver.newInstance();
        } catch (Exception e) {
            System.out.println(e.getCause());
            System.out.println(e.getMessage());
            e.printStackTrace();
        }
        return null;
    }
    public static Driver getDriverUsingContextClassLoader() throws URISyntaxException {
        String driverPath = dataSourceDriverPath;
        List<File> files = scanDir(driverPath);
        System.out.println(files.get(0).toURI());
        Class<?> driver = null;
        Class<?> configuration = null;
        try {
            URL[] urls = new URL[files.size()];
            for (int i = 0; i < files.size(); i++) {
                urls[i] = files.get(i).toURI().toURL();
//                System.out.println(files.get(i).toURI());
            }
            ClassLoader prevContextClassLoader = Thread.currentThread().getContextClassLoader();
            System.out.println("prevContextClassLoader:" + prevContextClassLoader);
            // create a URLClassLoader with the thread ContextClassLoader as parent
            URLClassLoader urlContextClassLoader = new URLClassLoader(urls, prevContextClassLoader);
            System.out.println("urlContextClassLoader:" + urlContextClassLoader);
            URL resource = urlContextClassLoader.getResource("core-site-test.xml");
            String resourceURI = resource.toURI().toString();
//            System.out.println("g:" +resourceURI);
            System.out.println("resource.getPath():" + resource.getPath());
            driver = urlContextClassLoader.loadClass("org.apache.hive.jdbc.HiveDriver");
            System.out.println("org.apache.hive.jdbc.HiveDriver.class.getClassLoader():" + org.apache.hive.jdbc.HiveDriver.class.getClassLoader().toString());
            System.out.println("org.apache.hive.jdbc.HiveDriver.class.getClassLoader().getParent()：" + org.apache.hive.jdbc.HiveDriver.class.getClassLoader().getParent().toString());
            configuration = urlContextClassLoader.loadClass("org.apache.hadoop.conf.Configuration");
            System.out.println("Thread.currentThread().getContextClassLoader():" + Thread.currentThread().getContextClassLoader());
            System.out.println("org.apache.hadoop.conf.Configuration.class.getClassLoader():" + org.apache.hadoop.conf.Configuration.class.getClassLoader().toString());
            System.out.println("org.apache.hadoop.conf.Configuration.class.getClassLoader().getParent()：" + org.apache.hadoop.conf.Configuration.class.getClassLoader().getParent().toString());
            System.out.println("urlContextClassLoader.getParent():" + urlContextClassLoader.getParent());
            // set the thread contextClassLoader to the newly created urlContextClassLoader
            Thread.currentThread().setContextClassLoader(urlContextClassLoader);
            System.out.println("Thread.currentThread().getContextClassLoader()" + Thread.currentThread().getContextClassLoader());
            return (Driver) driver.newInstance();
        } catch (Exception e) {
            System.out.println(e.getCause());
            System.out.println(e.getMessage());
            e.printStackTrace();
        }
        return null;
    }
    public static void getClassUsingContextClassLoader(String classPath) throws URISyntaxException {
        List<File> files = scanDir(classPath);
        System.out.println(files.get(0).toURI());
        try {
            URL[] urls = new URL[files.size()];
            for (int i = 0; i < files.size(); i++) {
                urls[i] = files.get(i).toURI().toURL();
//                System.out.println(files.get(i).toURI());
            }
            ClassLoader prevContextClassLoader = Thread.currentThread().getContextClassLoader();
            System.out.println("prevContextClassLoader:" + prevContextClassLoader);
            System.out.println("prevContextClassLoader.getParent():" + prevContextClassLoader.getParent());
            System.out.println("prevContextClassLoader.getParent().getParent():" + prevContextClassLoader.getParent().getParent());
            URLClassLoader urlContextClassLoader = new URLClassLoader(urls, prevContextClassLoader);
            System.out.println("urlContextClassLoader:" + urlContextClassLoader);
            System.out.println("ClassLoader.getSystemClassLoader():" + ClassLoader.getSystemClassLoader());
            Thread.currentThread().setContextClassLoader(urlContextClassLoader);
            System.out.println("Thread.currentThread().getContextClassLoader()" + Thread.currentThread().getContextClassLoader());
            System.out.println("Thread.currentThread().getContextClassLoader().getParent()" + Thread.currentThread().getContextClassLoader().getParent());
            System.out.println("ClassLoader.getSystemClassLoader():" + ClassLoader.getSystemClassLoader());
//             if you call Class.forName() without specifying the classloader, it will use the system classloader by default;
//            Class<?> claz1 = Class.forName("com.hundsun.SimpleApp");
//            Class<?> claz1 = Class.forName("com.hundsun.SimpleApp",true,urlContextClassLoader);
            // if you call Class.forName() with the same class and same classloader multiple times,
            // the class will be loaded and initialized only once
//            Class.forName("com.hundsun.SimpleApp",true,urlContextClassLoader);
//            Class.forName("com.hundsun.SimpleApp",true,urlContextClassLoader);
            // ClassLoader.loadClass will only load the class but will not initialize it - the static code block will not be executed;
            Class claz1 = urlContextClassLoader.loadClass("com.hundsun.SimpleApp");
            System.out.println("claz1.getClassLoader()" + claz1.getClassLoader());
        } catch (Exception e) {
            System.out.println(e.getCause());
            System.out.println(e.getMessage());
            e.printStackTrace();
        }
    }
    /**
     * 扫描lib下面的所有jar包
     *
     * @return
     */
    private static List<File> scanDir(String path) {
        List<File> list = new ArrayList<>();
        File[] files = new File(path).listFiles();
        for (File f : files) {
            if (f.isFile() && f.getName().endsWith(".jar")) {
                list.add(f);
            }
            if (f.listFiles() != null) {
                for (File file : f.listFiles()) {
                    if (file.isFile() && file.getName().endsWith(".jar")) {
                        list.add(file);
                    }
                }
            }
        }
        return list;
    }
}

8 知识总结

  • JVM 类加载器是JRE的一部分，负责在 JVM 程序运行时，动态加载 JAVA 类到 JVM 内存中；
  • JRE 中内置的类加载器有 sun.misc.Launcher.AppClassLoader/sun.misc.Launcher.ExtClassLoader/java.net.URLClassLoader/bootstrap class loader 等；
  • 类加载器加载类，遵循了双亲委派模型，其核心思想是：
  • 当类加载器收到一个类或资源的加载请求后，会首先搜索该类或资源是否已经被加载到内存中了，如果已经被加载了的话，不会重复加载该类或资源；（在内存中搜索类或资源时，一样会遵循类的可见性）；
  • 如果没有被加载，则会将加载请求委派给父级加载器去加载；
  • 父级加载器一样遵循向上委派机制，将加载请求委派给其父级加载器去加载，通过这种向上传导关系，所有的类加载请求，最终都会被传入到启动类加载器(Bootstrap ClassLoader)中；
  • 只有当父级加载器反馈无法完成特定类或资源的加载请求时，即父级加载器在它的搜索范围内找不到该类或资源时（搜索范围是磁盘上对应的目录），子级加载器才尝试在自己的搜索范围内加载类或资源；
  • 通过双亲委派模型，JVM 确保了：类的唯一性 uniqueness, 类的可见性 Visibility, 类的安全性 Security;
  • 双亲委派模型也有不足，比如 java.sql.DriverManager/java.sq.Driver 等是 jre 核心内部类，在 $JAVA_HOME/jre/lib/rt.jar 中，由 bootstrap classloader 负责加载他们；而 jdbc 实现类如 oracle.jdbc.driver.OracleDriver 是在程序运行时指定的类加载路径下的某个 jar 包中（类加载路径是通过环境变量 classpath 动态指定的），由 application class loader 负责加载他们；所以当 bootstrap classloader 加载的 java.sql.DriverManager， 需要调用 application classloader 加载的 java.sq.Driver 的具体实现类 oracle.jdbc.driver.OracleDriver 时，由于类的可见性 （子类加载器加载的类对父类加载器加载的类默认不可见），按照双亲委派模型，这是不 work 的；
  • 双亲委派模型的不足, 可以通过使用 thread Context Classloaders 来显示加载需要加载的类来弥补，JDBC/JNDI 等的实现，都使用了thread Context Classloaders；比如方法 java.sql.DriverManager#getConnection(java.lang.String, java.util.Properties, java.lang.Class<?>) 就借用了 thread context classloader， 来加载 jdbc 实现类如 oracle.jdbc.driver.OracleDriver，具体源码可见：
callerCL = Thread.currentThread().getContextClassLoader(); // 获得thread context classloader
aClass =  Class.forName(driver.getClass().getName(), true, classLoader); // // 使用获得的 thread context classloader，通过 Class.forName 加载 jdbc 实现类如 oracle.jdbc.driver.OracleDriver


  • 当 JVM 内置的加载器满足不了需求时，可以自定义类加载器, 自定义类加载器只需要继承类 ClassLoader 并复写方法 findClass() 即可；
  • 除了由 JRE 隐式动态加载类，还可以在代码中显示加载类；
  • 显示加载类，可以通过 Class.forName(String name, boolean initialize,ClassLoader loader) 或 Class.forName(String name) 加载，其中后者默认会使用 system classloader，且默认会初始化类 （即执行类的静态代码块）；
  • 显示加载类，也可以通过 classLoader.loadClass(String name) 来加载类，此时只会加载类但不会初始化类（即不会执行类的静态代码块）;
  • 通过 classLoader.loadClass(String name) 来显示加载类时，类加载器可以是当前类加载器/系统类加载器/线程上下文类加载器/或新创建的URLClassLoader：
  • 通过当前类加载器加载：Class.forName("com.hundsun.SimpleApp",true,urlContextClassLoader);
  • 通过系统类加载器加载：ClassLoader.getSystemClassLoader().loadClass("com.hundsun.SimpleApp");
  • 通过线程上下文类加载器加载：Thread.currentThread().getContextClassLoader().loadClass("com.hundsun.SimpleApp");
  • 新建URLClassLoader并进行加载: ClassLoader prevContextClassLoader = Thread.currentThread().getContextClassLoader(); URLClassLoader urlContextClassLoader = new URLClassLoader(urls, prevContextClassLoader)；urlContextClassLoader.loadClass("com.hundsun.SimpleApp");
  • 新建URLClassLoader时可以指定其父类，当不指定时其父类默认是系统类加载器加载；
文章标签：
云原生大数据计算服务 MaxCompute
Java
数据库连接
SQL
HIVE
大数据
关键词：
jdbc技术
云原生大数据计算服务 MaxCompute技术
Java驱动
Java版本
Java技术
相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程：基于MaxCompute的热门话题分析
明哥的IT随笔
目录
相关文章
34789737
|
4月前
|
SQL Java 数据库连接
除了JDBC，还有哪些常见的数据库访问技术？
除了JDBC，还有哪些常见的数据库访问技术？
34789737
398 2
JJLIN距离
|
5月前
|
监控 Cloud Native Java
Quarkus 云原生Java框架技术详解与实践指南
本文档全面介绍 Quarkus 框架的核心概念、架构特性和实践应用。作为新一代的云原生 Java 框架，Quarkus 旨在为 OpenJDK HotSpot 和 GraalVM 量身定制，显著提升 Java 在容器化环境中的运行效率。本文将深入探讨其响应式编程模型、原生编译能力、扩展机制以及与微服务架构的深度集成，帮助开发者构建高效、轻量的云原生应用。
JJLIN距离
625 44
啦啦啦191
|
5月前
|
安全 Java API
Java Web 在线商城项目最新技术实操指南帮助开发者高效完成商城项目开发
本项目基于Spring Boot 3.2与Vue 3构建现代化在线商城，涵盖技术选型、核心功能实现、安全控制与容器化部署，助开发者掌握最新Java Web全栈开发实践。
啦啦啦191
561 1
poemyang
|
6月前
|
安全 Java 编译器
new出来的对象，不一定在堆上？聊聊Java虚拟机的优化技术：逃逸分析
逃逸分析是一种静态程序分析技术，用于判断对象的可见性与生命周期。它帮助即时编译器优化内存使用、降低同步开销。根据对象是否逃逸出方法或线程，分析结果分为未逃逸、方法逃逸和线程逃逸三种。基于分析结果，编译器可进行同步锁消除、标量替换和栈上分配等优化，从而提升程序性能。尽管逃逸分析计算复杂度较高，但其在热点代码中的应用为Java虚拟机带来了显著的优化效果。
poemyang
202 4
啦啦啦191
|
6月前
|
Java API Maven
2025 Java 零基础到实战最新技术实操全攻略与学习指南
本教程涵盖Java从零基础到实战的全流程，基于2025年最新技术栈，包括JDK 21、IntelliJ IDEA 2025.1、Spring Boot 3.x、Maven 4及Docker容器化部署，帮助开发者快速掌握现代Java开发技能。
啦啦啦191
1236 1
啦啦啦191
|
6月前
|
Java 测试技术 API
2025 年 Java 开发者必知的最新技术实操指南全览
本指南涵盖Java 21+核心实操，详解虚拟线程、Spring Boot 3.3+GraalVM、Jakarta EE 10+MicroProfile 6微服务开发，并提供现代Java开发最佳实践，助力开发者高效构建高性能应用。
啦啦啦191
947 4
JJLIN距离
|
5月前
|
安全 Cloud Native Java
Java 模块化系统（JPMS）技术详解与实践指南
本文档全面介绍 Java 平台模块系统（JPMS）的核心概念、架构设计和实践应用。作为 Java 9 引入的最重要特性之一，JPMS 为 Java 应用程序提供了强大的模块化支持，解决了长期存在的 JAR 地狱问题，并改善了应用的安全性和可维护性。本文将深入探讨模块声明、模块路径、访问控制、服务绑定等核心机制，帮助开发者构建更加健壮和可维护的 Java 应用。
JJLIN距离
409 0
Echo_Wish
|
5月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的：聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的：聊聊如何用大数据提升灾难预警的精准度
Echo_Wish
381 14
1062754335
|
7月前
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术，构建一体化智能化数据平台，涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理，强化数据安全与流通，提升业务效率与决策能力，助力数字化改革。
1062754335
240 4
Echo_Wish
|
6月前
|
机器学习/深度学习 运维 监控
运维不怕事多，就怕没数据——用大数据喂饱你的运维策略
运维不怕事多，就怕没数据——用大数据喂饱你的运维策略
Echo_Wish
302 0

热门文章

最新文章

  • 1
    MaxCompute优化系列-如何使用`MAPJOIN` ？
  • 2
    深入阿里云大数据IDE–MaxCompute Studio
  • 3
    开源大数据技术专场（上午）:Spark、HBase、JStorm应用与实践
  • 4
    2016大数据创新大赛——机场客流量的时空分布预测模型解析
  • 5
    阿里云大数据利器之-RDS迁移到Maxcompute实现动态分区
  • 6
    蚂蚁金服高级技术专家徐红星 ：蚂蚁金服大数据开放式创新实践
  • 7
    阿里云大数据利器Maxcompute-使用mapjoin优化查询
  • 8
    如何构建云原生的开源大数据平台 | InMobi 基于阿里云开源大数据服务的最佳实践
  • 9
    深入解析IT技术新趋势 长虹佳华首次公开课趣谈大数据
  • 10
    Tableau与大数据：可视化工具在大数据分析中的应用
  • 1
    hive-3.0.0源码编译详解
    253
  • 2
    Hive高频面试题之UDTF实现多行输出
    309
  • 3
    Hive整合Alluxio实操
    245
  • 4
    Hive反射函数的使用-程序员是怎么学UDF函数的
    145
  • 5
    Hive高频函数(二)
    215
  • 6
    hive高频函数(一)
    206
  • 7
    Hive 求多个字段的中位数（按行求中位数）
    488
  • 8
    使用 Spark 抽取 MySQL 数据到 Hive 时某列字段值出现异常（字段错位）
    449
  • 9
    Hive Cli / HiveServer2 中使用 dayofweek 函数引发的BUG！
    347
  • 10
    一文看懂 Hive 优化大全（参数配置、语法优化）
    1157

    • 相关课程

    更多
  • Java面试疑难点解析 - 面试技巧及语言基础
  • Java面试疑难点解析 - Java Web开发
  • Java面试疑难点解析 - 系统架构及项目设计
  • Java编程入门
  • Java面向对象编程
  • Java高级编程

    • 相关电子书

    更多
  • Spring Cloud Alibaba - 重新定义 Java Cloud-Native
  • The Reactive Cloud Native Arch
  • JAVA开发手册1.5.0
    • 下一篇
    第五届伏魔挑战赛如约来袭，诚邀各路高手来战！