倚天生态迁移-Java业务jar包迁移倚天适配实践总结

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
EMR Serverless StarRocks,5000CU*H 48000GB*H
云数据库 RDS PostgreSQL,高可用系列 2核4GB
简介: 有些jar包有jni调用,其调用的so是和处理器架构强相关的,不同处理器架构需要使用不同的so,若jar包没有包含arm64/aarch64处理器架构的so,则在倚天上使用该jar包需要进一步适配增加aarch64的支持。

迁移原因

有些jar包有jni调用,其调用的so是和处理器架构强相关的,不同处理器架构需要使用不同的so,若jar包没有包含arm64/aarch64处理器架构的so,则在倚天上使用该jar包需要进一步适配增加aarch64的支持。

jar包扫描结果分类

通过Yoda可以扫描jar包检测对倚天的兼容性,具体可以分为以下几种场景:

场景1:兼容aarch64处理器架构,可直接在倚天进行灰度验证,验证完以后可以上生产环境

兼容的原因

a.jar包没有包含jni so二进制,都是class文件

b.jar包包含的jni so二进制包含aarch64/arm64版本,例如:

snappy-java-1.1.2.6.jar/org/xerial/snappy/native/Linux/aarch64/libsnappyjava.so

场景2:jar包引用了开源第三方jar包的so,高版本有兼容aarch64版本可直接升级

依赖jar包名称

推荐版本(此版本及后续版本都兼容aarch64)

lz4-java

1.4.0

jna

5.2.2

snappy-java

1.1.3

sqlite-jdbc

3.20.0

forest-sqlite-jdbc

3.32.3.3

netty-tcnative

2.0.31

netty-transport-native-epoll

4.1.50

zstd-jni

1.0.17.0

升级方法一:修改pom文件,修改版本号重新构建

通过mvn dependency:tree进行检测第三方jar包是直接引用还是间接引用

1.间接引用:

image.png

通过exclude标签去除第三方依赖包含的snappy-java,然后在本项目的pom中添加高版本的snappy版本依赖。

image.png

2.直接引用::maven构建项目,则修改pom文件,升级对应依赖jar包的版本,重新构建jar包

<dependency>

 <groupId>org.lz4</groupId>

 <artifactId>lz4-java</artifactId>

 <version>1.4.0</version>

</dependency>5

通过mvn命令重新构建

升级方法二:通过压缩工具解压jar包,然后重新打包(该方法仅使用poc场景验证,生产环境推荐使用方法一

有些jar包可以直接使用解压缩工具打开;有些jar包用解压缩工具打开后是cpgz文件,此时建议使用unzip命令进行解压。

注意:有些jar包直接替换so会出现jar jni调用失败,主要原因是so源码编译时第三方jar包做了接口名称替换,所以具体jar包需要具体分析。

unzip lz4-java-1.4.0.jar

获取lz4-java的jni包含的so

image.png

通过find ./ -name "*.so"获取so路径

find ./ -name "*.so"

image.png

利用原有的MANIFEST文件重新打包

jar cvfm lz4-java-1.4.1.jar META-INF/MANIFEST.MF -C net/ .

image.png

场景3:jar包引用了开源第三方jar包的so,开源无兼容aarch64版本,则重新编译第三方jar包,导入本地maven仓库

本文以jffi为例编译

步骤一:下载jiffi源码

git clone https://github.com/jnr/jffi.git

步骤二:根据readme编译软件

image.png

mvn package install

包含so的jar包已编译完成并安装到

/root/.m2/repository/com/github/jnr/jffi/1.3.11-SNAPSHOT/jffi-1.3.11-SNAPSHOT-native.jar

image.png

步骤四:查看是否编译生成so

image.png

步骤五:导入编译完成的jffi-native的jar包

若本机重编UDF文件,则不需要导入上述编译完成的jffi-native的jar包,若其他机器编译则需要在对应的编译机器上创建/root/.m2/repository/com/github/jnr/jffi/1.3.11-SNAPSHOT/目录

mkdir -p /root/.m2/repository/com/github/jnr/jffi/1.3.11-SNAPSHOT/

将jffi-1.3.11-SNAPSHOT-native.jar、jffi-1.3.11-SNAPSHOT.jar、jffi-1.3.11-SNAPSHOT-complete.jar和pom文件拷贝到上述目录

image.png

步骤六:Maven构建的pom文件

<groupId>com.github.jnr</groupId>

<artifactId>jffi</artifactId>

<version>1.3.11-SNAPSHOT</version>

<name>jffi</name>

重新编译构建

相关文章
|
3月前
|
监控 Java API
现代 Java IO 高性能实践从原理到落地的高效实现路径与实战指南
本文深入解析现代Java高性能IO实践,涵盖异步非阻塞IO、操作系统优化、大文件处理、响应式网络编程与数据库访问,结合Netty、Reactor等技术落地高并发应用,助力构建高效可扩展的IO系统。
89 0
|
4月前
|
资源调度 安全 Java
Java 大数据在智能教育在线实验室设备管理与实验资源优化配置中的应用实践
本文探讨Java大数据技术在智能教育在线实验室设备管理与资源优化中的应用。通过统一接入异构设备、构建四层实时处理管道及安全防护双体系,显著提升设备利用率与实验效率。某“双一流”高校实践显示,设备利用率从41%升至89%,等待时间缩短78%。该方案降低管理成本,为教育数字化转型提供技术支持。
96 1
|
6月前
|
消息中间件 算法 安全
JUC并发—1.Java集合包底层源码剖析
本文主要对JDK中的集合包源码进行了剖析。
|
3月前
|
并行计算 Java API
Java List 集合结合 Java 17 新特性与现代开发实践的深度解析及实战指南 Java List 集合
本文深入解析Java 17中List集合的现代用法,结合函数式编程、Stream API、密封类、模式匹配等新特性,通过实操案例讲解数据处理、并行计算、响应式编程等场景下的高级应用,帮助开发者提升集合操作效率与代码质量。
136 1
|
3月前
|
安全 Java API
Java 17 及以上版本核心特性在现代开发实践中的深度应用与高效实践方法 Java 开发实践
本项目以“学生成绩管理系统”为例,深入实践Java 17+核心特性与现代开发技术。采用Spring Boot 3.1、WebFlux、R2DBC等构建响应式应用,结合Record类、模式匹配、Stream优化等新特性提升代码质量。涵盖容器化部署(Docker)、自动化测试、性能优化及安全加固,全面展示Java最新技术在实际项目中的应用,助力开发者掌握现代化Java开发方法。
128 1
|
3月前
|
SQL 缓存 安全
深度理解 Java 内存模型:从并发基石到实践应用
本文深入解析 Java 内存模型(JMM),涵盖其在并发编程中的核心作用与实践应用。内容包括 JMM 解决的可见性、原子性和有序性问题,线程与内存的交互机制,volatile、synchronized 和 happens-before 等关键机制的使用,以及在单例模式、线程通信等场景中的实战案例。同时,还介绍了常见并发 Bug 的排查与解决方案,帮助开发者写出高效、线程安全的 Java 程序。
161 0
|
3月前
|
存储 搜索推荐 算法
Java 大视界 -- Java 大数据在智慧文旅旅游线路规划与游客流量均衡调控中的应用实践(196)
本实践案例深入探讨了Java大数据技术在智慧文旅中的创新应用,聚焦旅游线路规划与游客流量调控难题。通过整合多源数据、构建用户画像、开发个性化推荐算法及流量预测模型,实现了旅游线路的精准推荐与流量的科学调控。在某旅游城市的落地实践中,游客满意度显著提升,景区流量分布更加均衡,充分展现了Java大数据技术在推动文旅产业智能化升级中的核心价值与广阔前景。
|
3月前
|
存储 Java 大数据
Java 大视界 —— 基于 Java 的大数据隐私保护在金融客户信息管理中的实践与挑战(178)
本文探讨了基于 Java 的大数据隐私保护技术在金融客户信息管理中的应用与挑战。随着金融行业数字化转型加速,客户信息的安全性愈发重要。文章详细分析了数据加密、脱敏、访问控制、区块链及联邦学习等关键技术,并结合实际案例展示了其在金融机构中的应用效果,为金融科技从业者提供了宝贵的实践经验与技术参考。
|
4月前
|
数据采集 机器学习/深度学习 Java
Java 大视界 —— Java 大数据在智慧交通停车场智能管理与车位预测中的应用实践(174)
本文围绕 Java 大数据在智慧交通停车场智能管理与车位预测中的应用展开,深入剖析行业痛点,系统阐述大数据技术的应用架构,结合大型体育中心停车场案例,展示系统实施过程与显著成效,提供极具实操价值的技术方案。
|
4月前
|
Java 数据库连接 API
Java 对象模型现代化实践 基于 Spring Boot 与 MyBatis Plus 的实现方案深度解析
本文介绍了基于Spring Boot与MyBatis-Plus的Java对象模型现代化实践方案。采用Spring Boot 3.1.2作为基础框架,结合MyBatis-Plus 3.5.3.1进行数据访问层实现,使用Lombok简化PO对象,MapStruct处理对象转换。文章详细讲解了数据库设计、PO对象实现、DAO层构建、业务逻辑封装以及DTO/VO转换等核心环节,提供了一个完整的现代化Java对象模型实现案例。通过分层设计和对象转换,实现了业务逻辑与数据访问的解耦,提高了代码的可维护性和扩展性。
165 1