大数据平台底层技术-JAVA篇-如何动态加载不同版本的 HIVE JDBC 驱动 - 一文读懂JAVA的类加载机制 2

简介: 大数据平台底层技术-JAVA篇-如何动态加载不同版本的 HIVE JDBC 驱动 - 一文读懂JAVA的类加载机制

6 自定义类加载器

6.1 自定义类加载器的应用场景

通过合理使用上述 JVM 自带的各个类加载器,一般就已经能够满足绝大多情况下类或资源的加载需求了。 但在某些特殊情况下,我们仍然需要自定义类加载器,这些场景主要有:

  • 辅助修改已有的字节码 bytecode, 比如 weaving agents;
  • 加载本地磁盘文件系统之外的网络上的类或资源,比如浏览器加载远程web服务器上的 applet;

6.2 如何自定义类加载器

自定义类加载器,只需要继承类 ClassLoader 并复写方法 findClass() 即可。 以下示例代码,自定义了一个类加载器,来从指定的文件中加载 byte array 并构建类:

public class CustomClassLoader extends ClassLoader {
    @Override
    public Class findClass(String name) throws ClassNotFoundException {
        byte[] b = loadClassFromFile(name);
        return defineClass(name, b, 0, b.length);
    }
    private byte[] loadClassFromFile(String fileName)  {
        InputStream inputStream = getClass().getClassLoader().getResourceAsStream(
                fileName.replace('.', File.separatorChar) + ".class");
        byte[] buffer;
        ByteArrayOutputStream byteStream = new ByteArrayOutputStream();
        int nextValue = 0;
        try {
            while ( (nextValue = inputStream.read()) != -1 ) {
                byteStream.write(nextValue);
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
        buffer = byteStream.toByteArray();
        return buffer;
    }
}

7 相关测试类

package com.hundsun;
import org.apache.hadoop.conf.Configuration;
import org.apache.hive.jdbc.HiveDriver;
import java.io.File;
import java.net.URISyntaxException;
import java.net.URL;
import java.net.URLClassLoader;
import java.sql.*;
import java.util.ArrayList;
import java.util.List;
/**
 * @author: liming
 * @date: 2021/8/28 20:12
 * @description:
 */
public class ClassLoaderTest {
    private static String dataSourceDriverPath;
    private static String classPath = "E:\\git\\sparkTest\\target";
    public static void main(String[] args) {
        try {
//        dataSourceDriverPath = args[0];
            dataSourceDriverPath = "D:\\software\\数据源驱动-202101.03.000\\drivers\\hive-cdh6\\lib";
//        System.out.println("驱动路径:" + dataSourceDriverPath);
            System.out.println("ClassLoaderTest.class.getClassLoader():" + ClassLoaderTest.class.getClassLoader().toString());
//        System.out.println("ClassLoaderTest.class.getClassLoader().getParent():" + ClassLoaderTest.class.getClassLoader().getParent().toString());
//        System.out.println("ClassLoaderTest.class.getClassLoader().getParent().getParent():" + ClassLoaderTest.class.getClassLoader().getParent().getParent());
//        System.out.println("ClassLoaderTest.class.getClassLoader().getParent().getParent().getParent():" + ClassLoaderTest.class.getClassLoader().getParent().getParent().getParent());
            jdbcDriverTest();
            getDriverUsingContextClassLoader();
            getDriverUsingUrlClassLoader();
            getClassUsingContextClassLoader(classPath);
        } catch (Exception e) {
            System.out.println(e.getMessage());
            System.out.println(e.getCause());
            e.printStackTrace();
        }
    }
    public static void jdbcDriverTest(){
        try{
            Class<?> driverManagerClass = Class.forName("java.sql.DriverManager");
            Class<?> driverClass = Class.forName("java.sql.Driver");
            Class<?> oracleDriverClass = Class.forName("oracle.jdbc.driver.OracleDriver");
            System.out.println("driverManagerClass.getClassLoader():" + driverManagerClass.getClassLoader());
            System.out.println("driverClass.getClassLoader():" + driverClass.getClassLoader());
            System.out.println("oracleDriverClass.getClassLoader():" + oracleDriverClass.getClassLoader());
//            Connection con=DriverManager.getConnection("jdbc:oracle:thin:@//10.20.29.239:1521/orclpdb1","hs_cic","hundsun");
            Connection con= DriverManager.getConnection(
                    "jdbc:oracle:thin:@//10.20.23.215:1521/orcl","hs_dap","hundsun");
            System.out.println(con.getAutoCommit());
            con.setAutoCommit(false);
            System.out.println(con.getAutoCommit());
            Statement stmt=con.createStatement();
            ResultSet rs=stmt.executeQuery("select count(1) from HS_DAP.DAP_DATA_TYPE_LIMING");
            while (rs.next()) {
                System.out.println(rs.getInt(1));
//                System.out.println(rs.getString(1) + "  " + rs.getInt(2) + "  " + rs.getString(3));
            }
            PreparedStatement ps = con.prepareStatement("delete from HS_DAP.DAP_DATA_TYPE_LIMING where HIVE_DATA_TYPE = ?");
            ps.setString(1,"DATE");
            ps.execute();
            Thread.sleep(1 * 60 * 1000);
            con.close();
        }catch(Exception e){ System.out.println(e);}
    }
    public static Driver getDriverUsingUrlClassLoader() throws URISyntaxException {
        String driverPath = dataSourceDriverPath;
        List<File> files = scanDir(driverPath);
        System.out.println(files.get(0).toURI());
        Class<?> driver = null;
        Class<?> configuration = null;
        try {
            URL[] urls = new URL[files.size()];
            for (int i = 0; i < files.size(); i++) {
                urls[i] = files.get(i).toURI().toURL();
//                System.out.println(files.get(i).toURI());
            }
            System.out.println("Thread.currentThread().getContextClassLoader():" + Thread.currentThread().getContextClassLoader());
            URLClassLoader urlClassLoader = new URLClassLoader(urls);
            System.out.println("urlClassLoader:" + urlClassLoader);
            URL resource = urlClassLoader.getResource("core-site-test.xml");
            String resourceURI = resource.toURI().toString();
            System.out.println("resourceURI:" + resourceURI);
            System.out.println("resource.getPath():" + resource.getPath());
            driver = urlClassLoader.loadClass("org.apache.hive.jdbc.HiveDriver");
            System.out.println("org.apache.hive.jdbc.HiveDriver.class.getClassLoader():" + HiveDriver.class.getClassLoader().toString());
            System.out.println("org.apache.hive.jdbc.HiveDriver.class.getClassLoader().getParent():" + HiveDriver.class.getClassLoader().getParent().toString());
            configuration = urlClassLoader.loadClass("org.apache.hadoop.conf.Configuration");
            System.out.println("org.apache.hadoop.conf.Configuration.class.getClassLoader():" + Configuration.class.getClassLoader().toString());
            System.out.println("org.apache.hadoop.conf.Configuration.class.getClassLoader().getParent():" + Configuration.class.getClassLoader().getParent().toString());
            System.out.println("Thread.currentThread().getContextClassLoader():" + Thread.currentThread().getContextClassLoader());
            System.out.println("urlClassLoader.getParent():" + urlClassLoader.getParent());
            Thread.currentThread().setContextClassLoader(urlClassLoader);
            System.out.println("Thread.currentThread().getContextClassLoader()" + Thread.currentThread().getContextClassLoader());
            return (Driver) driver.newInstance();
        } catch (Exception e) {
            System.out.println(e.getCause());
            System.out.println(e.getMessage());
            e.printStackTrace();
        }
        return null;
    }
    public static Driver getDriverUsingContextClassLoader() throws URISyntaxException {
        String driverPath = dataSourceDriverPath;
        List<File> files = scanDir(driverPath);
        System.out.println(files.get(0).toURI());
        Class<?> driver = null;
        Class<?> configuration = null;
        try {
            URL[] urls = new URL[files.size()];
            for (int i = 0; i < files.size(); i++) {
                urls[i] = files.get(i).toURI().toURL();
//                System.out.println(files.get(i).toURI());
            }
            ClassLoader prevContextClassLoader = Thread.currentThread().getContextClassLoader();
            System.out.println("prevContextClassLoader:" + prevContextClassLoader);
            // create a URLClassLoader with the thread ContextClassLoader as parent
            URLClassLoader urlContextClassLoader = new URLClassLoader(urls, prevContextClassLoader);
            System.out.println("urlContextClassLoader:" + urlContextClassLoader);
            URL resource = urlContextClassLoader.getResource("core-site-test.xml");
            String resourceURI = resource.toURI().toString();
//            System.out.println("g:" +resourceURI);
            System.out.println("resource.getPath():" + resource.getPath());
            driver = urlContextClassLoader.loadClass("org.apache.hive.jdbc.HiveDriver");
            System.out.println("org.apache.hive.jdbc.HiveDriver.class.getClassLoader():" + org.apache.hive.jdbc.HiveDriver.class.getClassLoader().toString());
            System.out.println("org.apache.hive.jdbc.HiveDriver.class.getClassLoader().getParent():" + org.apache.hive.jdbc.HiveDriver.class.getClassLoader().getParent().toString());
            configuration = urlContextClassLoader.loadClass("org.apache.hadoop.conf.Configuration");
            System.out.println("Thread.currentThread().getContextClassLoader():" + Thread.currentThread().getContextClassLoader());
            System.out.println("org.apache.hadoop.conf.Configuration.class.getClassLoader():" + org.apache.hadoop.conf.Configuration.class.getClassLoader().toString());
            System.out.println("org.apache.hadoop.conf.Configuration.class.getClassLoader().getParent():" + org.apache.hadoop.conf.Configuration.class.getClassLoader().getParent().toString());
            System.out.println("urlContextClassLoader.getParent():" + urlContextClassLoader.getParent());
            // set the thread contextClassLoader to the newly created urlContextClassLoader
            Thread.currentThread().setContextClassLoader(urlContextClassLoader);
            System.out.println("Thread.currentThread().getContextClassLoader()" + Thread.currentThread().getContextClassLoader());
            return (Driver) driver.newInstance();
        } catch (Exception e) {
            System.out.println(e.getCause());
            System.out.println(e.getMessage());
            e.printStackTrace();
        }
        return null;
    }
    public static void getClassUsingContextClassLoader(String classPath) throws URISyntaxException {
        List<File> files = scanDir(classPath);
        System.out.println(files.get(0).toURI());
        try {
            URL[] urls = new URL[files.size()];
            for (int i = 0; i < files.size(); i++) {
                urls[i] = files.get(i).toURI().toURL();
//                System.out.println(files.get(i).toURI());
            }
            ClassLoader prevContextClassLoader = Thread.currentThread().getContextClassLoader();
            System.out.println("prevContextClassLoader:" + prevContextClassLoader);
            System.out.println("prevContextClassLoader.getParent():" + prevContextClassLoader.getParent());
            System.out.println("prevContextClassLoader.getParent().getParent():" + prevContextClassLoader.getParent().getParent());
            URLClassLoader urlContextClassLoader = new URLClassLoader(urls, prevContextClassLoader);
            System.out.println("urlContextClassLoader:" + urlContextClassLoader);
            System.out.println("ClassLoader.getSystemClassLoader():" + ClassLoader.getSystemClassLoader());
            Thread.currentThread().setContextClassLoader(urlContextClassLoader);
            System.out.println("Thread.currentThread().getContextClassLoader()" + Thread.currentThread().getContextClassLoader());
            System.out.println("Thread.currentThread().getContextClassLoader().getParent()" + Thread.currentThread().getContextClassLoader().getParent());
            System.out.println("ClassLoader.getSystemClassLoader():" + ClassLoader.getSystemClassLoader());
//             if you call Class.forName() without specifying the classloader, it will use the system classloader by default;
//            Class<?> claz1 = Class.forName("com.hundsun.SimpleApp");
//            Class<?> claz1 = Class.forName("com.hundsun.SimpleApp",true,urlContextClassLoader);
            // if you call Class.forName() with the same class and same classloader multiple times,
            // the class will be loaded and initialized only once
//            Class.forName("com.hundsun.SimpleApp",true,urlContextClassLoader);
//            Class.forName("com.hundsun.SimpleApp",true,urlContextClassLoader);
            // ClassLoader.loadClass will only load the class but will not initialize it - the static code block will not be executed;
            Class claz1 = urlContextClassLoader.loadClass("com.hundsun.SimpleApp");
            System.out.println("claz1.getClassLoader()" + claz1.getClassLoader());
        } catch (Exception e) {
            System.out.println(e.getCause());
            System.out.println(e.getMessage());
            e.printStackTrace();
        }
    }
    /**
     * 扫描lib下面的所有jar包
     *
     * @return
     */
    private static List<File> scanDir(String path) {
        List<File> list = new ArrayList<>();
        File[] files = new File(path).listFiles();
        for (File f : files) {
            if (f.isFile() && f.getName().endsWith(".jar")) {
                list.add(f);
            }
            if (f.listFiles() != null) {
                for (File file : f.listFiles()) {
                    if (file.isFile() && file.getName().endsWith(".jar")) {
                        list.add(file);
                    }
                }
            }
        }
        return list;
    }
}

8 知识总结

  • JVM 类加载器是JRE的一部分,负责在 JVM 程序运行时,动态加载 JAVA 类到 JVM 内存中;
  • JRE 中内置的类加载器有 sun.misc.Launcher.AppClassLoader/sun.misc.Launcher.ExtClassLoader/java.net.URLClassLoader/bootstrap class loader 等;
  • 类加载器加载类,遵循了双亲委派模型,其核心思想是:
  • 当类加载器收到一个类或资源的加载请求后,会首先搜索该类或资源是否已经被加载到内存中了,如果已经被加载了的话,不会重复加载该类或资源;(在内存中搜索类或资源时,一样会遵循类的可见性);
  • 如果没有被加载,则会将加载请求委派给父级加载器去加载;
  • 父级加载器一样遵循向上委派机制,将加载请求委派给其父级加载器去加载,通过这种向上传导关系,所有的类加载请求,最终都会被传入到启动类加载器(Bootstrap ClassLoader)中;
  • 只有当父级加载器反馈无法完成特定类或资源的加载请求时,即父级加载器在它的搜索范围内找不到该类或资源时(搜索范围是磁盘上对应的目录),子级加载器才尝试在自己的搜索范围内加载类或资源;
  • 通过双亲委派模型,JVM 确保了:类的唯一性 uniqueness, 类的可见性 Visibility, 类的安全性 Security;
  • 双亲委派模型也有不足,比如 java.sql.DriverManager/java.sq.Driver 等是 jre 核心内部类,在 $JAVA_HOME/jre/lib/rt.jar 中,由 bootstrap classloader 负责加载他们;而 jdbc 实现类如 oracle.jdbc.driver.OracleDriver 是在程序运行时指定的类加载路径下的某个 jar 包中(类加载路径是通过环境变量 classpath 动态指定的),由 application class loader 负责加载他们;所以当 bootstrap classloader 加载的 java.sql.DriverManager, 需要调用 application classloader 加载的 java.sq.Driver 的具体实现类 oracle.jdbc.driver.OracleDriver 时,由于类的可见性 (子类加载器加载的类对父类加载器加载的类默认不可见),按照双亲委派模型,这是不 work 的;
  • 双亲委派模型的不足, 可以通过使用 thread Context Classloaders 来显示加载需要加载的类来弥补,JDBC/JNDI 等的实现,都使用了thread Context Classloaders;比如方法 java.sql.DriverManager#getConnection(java.lang.String, java.util.Properties, java.lang.Class<?>) 就借用了 thread context classloader, 来加载 jdbc 实现类如 oracle.jdbc.driver.OracleDriver,具体源码可见:
callerCL = Thread.currentThread().getContextClassLoader(); // 获得thread context classloader
aClass =  Class.forName(driver.getClass().getName(), true, classLoader); // // 使用获得的 thread context classloader,通过 Class.forName 加载 jdbc 实现类如 oracle.jdbc.driver.OracleDriver


  • 当 JVM 内置的加载器满足不了需求时,可以自定义类加载器, 自定义类加载器只需要继承类 ClassLoader 并复写方法 findClass() 即可;
  • 除了由 JRE 隐式动态加载类,还可以在代码中显示加载类;
  • 显示加载类,可以通过 Class.forName(String name, boolean initialize,ClassLoader loader) 或 Class.forName(String name) 加载,其中后者默认会使用 system classloader,且默认会初始化类 (即执行类的静态代码块);
  • 显示加载类,也可以通过 classLoader.loadClass(String name) 来加载类,此时只会加载类但不会初始化类(即不会执行类的静态代码块);
  • 通过 classLoader.loadClass(String name) 来显示加载类时,类加载器可以是当前类加载器/系统类加载器/线程上下文类加载器/或新创建的URLClassLoader:
  • 通过当前类加载器加载:Class.forName("com.hundsun.SimpleApp",true,urlContextClassLoader);
  • 通过系统类加载器加载:ClassLoader.getSystemClassLoader().loadClass("com.hundsun.SimpleApp");
  • 通过线程上下文类加载器加载:Thread.currentThread().getContextClassLoader().loadClass("com.hundsun.SimpleApp");
  • 新建URLClassLoader并进行加载: ClassLoader prevContextClassLoader = Thread.currentThread().getContextClassLoader(); URLClassLoader urlContextClassLoader = new URLClassLoader(urls, prevContextClassLoader);urlContextClassLoader.loadClass("com.hundsun.SimpleApp");
  • 新建URLClassLoader时可以指定其父类,当不指定时其父类默认是系统类加载器加载;
相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
6月前
|
人工智能 算法 Java
Java与AI驱动区块链:构建智能合约与去中心化AI应用
区块链技术和人工智能的融合正在开创去中心化智能应用的新纪元。本文深入探讨如何使用Java构建AI驱动的区块链应用,涵盖智能合约开发、去中心化AI模型训练与推理、数据隐私保护以及通证经济激励等核心主题。我们将完整展示从区块链基础集成、智能合约编写、AI模型上链到去中心化应用(DApp)开发的全流程,为构建下一代可信、透明的智能去中心化系统提供完整技术方案。
443 3
|
8月前
|
JavaScript 安全 前端开发
Java开发:最新技术驱动的病人挂号系统实操指南与全流程操作技巧汇总
本文介绍基于Spring Boot 3.x、Vue 3等最新技术构建现代化病人挂号系统,涵盖技术选型、核心功能实现与部署方案,助力开发者快速搭建高效、安全的医疗挂号平台。
407 4
|
8月前
|
存储 供应链 数据可视化
Java 大视界 -- 基于 Java 的大数据可视化在企业供应链风险预警与决策支持中的应用(204)
本篇文章探讨了基于 Java 的大数据可视化技术在企业供应链风险预警与决策支持中的深度应用。文章系统介绍了从数据采集、存储、处理到可视化呈现的完整技术方案,结合供应链风险预警与决策支持的实际案例,展示了 Java 大数据技术如何助力企业实现高效、智能的供应链管理。
|
8月前
|
存储 SQL Java
Java 大视界 -- Java 大数据在智能医疗手术风险评估与术前方案制定中的应用探索(203)
本文探讨了Java大数据技术在智能医疗手术风险评估与术前方案制定中的创新应用。通过多源数据整合、智能分析模型构建及知识图谱技术,提升手术风险预测准确性与术前方案制定效率,助力医疗决策智能化,推动精准医疗发展。
|
9月前
|
机器学习/深度学习 Java 大数据
Java 大视界 -- Java 大数据在智能政务公共资源交易数据分析与监管中的应用(202)
本篇文章深入探讨了 Java 大数据在智能政务公共资源交易监管中的创新应用。通过构建高效的数据采集、智能分析与可视化决策系统,Java 大数据技术成功破解了传统监管中的数据孤岛、效率低下和监管滞后等难题,为公共资源交易打造了“智慧卫士”,助力政务监管迈向智能化、精准化新时代。
|
9月前
|
数据采集 机器学习/深度学习 Java
Java 大视界 -- Java 大数据在智能体育赛事运动员体能监测与训练计划调整中的应用(200)
本篇文章聚焦 Java 大数据在智能体育赛事中对运动员体能监测与训练计划的智能化应用。通过构建实时数据采集与分析系统,结合机器学习模型,实现对运动员体能状态的精准评估与训练方案的动态优化,推动体育训练迈向科学化、个性化新高度。
|
9月前
|
机器学习/深度学习 分布式计算 Java
Java 大视界 -- Java 大数据机器学习模型在遥感图像土地利用分类中的优化与应用(199)
本文探讨了Java大数据与机器学习模型在遥感图像土地利用分类中的优化与应用。面对传统方法效率低、精度差的问题,结合Hadoop、Spark与深度学习框架,实现了高效、精准的分类。通过实际案例展示了Java在数据处理、模型融合与参数调优中的强大能力,推动遥感图像分类迈向新高度。
|
9月前
|
存储 Java 大数据
Java 大视界 -- Java 大数据在智能家居能源消耗模式分析与节能策略制定中的应用(198)
简介:本文探讨Java大数据技术在智能家居能源消耗分析与节能策略中的应用。通过数据采集、存储与智能分析,构建能耗模型,挖掘用电模式,制定设备调度策略,实现节能目标。结合实际案例,展示Java大数据在智能家居节能中的关键作用。
|
7月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
512 14
|
8月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
694 0