《Java应用提速(速度与激情)》——一、maven构建提速(下)

简介: 《Java应用提速(速度与激情)》——一、maven构建提速(下)

更多精彩内容,欢迎观看:

《Java应用提速(速度与激情)》——一、maven构建提速(上)https://developer.aliyun.com/article/1223856?spm=a2c6h.13148508.setting.14.68ac4f0elVtcZX



为保证依赖包的准确性需要将.m2隔离.即每个pod都有一个独立的.m2来volume

 

image.png

架构2.0按pod隔离.m2

 

虽然这样会浪费一些磁盘但准确性就能得到保障但产生了同一个仓库的同一个依赖会在同一个node上重复下载的问题即使2.0图示的二个pod是同一个应用的并发构建但在同一个node上面下载maven-compiler-plugin:3.8.1时要下载二次

 

所以我们继续架构演进来按app来隔离

 

image.png

架构3.0按app隔离.m2

 

但还是会存在同一个node上重复下载同一个仓库的同一个依赖文件因为appA与appB它们用的是同一个仓库因为在一个node上是不会知道在其中运行的mvn build的是同一个应用或不同应用但相同仓库或不同应用不同仓库

 

所以我们得继续演进不按应用而按仓库来隔离.m2

 

image.png

架构4.0按repo隔离.m2

 

这架构看上去感觉还可以但解决不了一个应用依赖多个仓库的问题

 

有些应用有些复杂它会在maven构建的仓库配置文件settings.xml或pom文件中指定下载多个仓库因为这应用的要下载的依赖的确来自多个仓库当指定多个仓库时下载一个依赖包会依次从这多个仓库查找并下载

 

虽然maven的settings.xml语法支持多个仓库但localRepository却只能指定一个所以要看下docker是否支持将多个目录volume到同一个容器中的目录即上图中的红线但初步看了docker官网文档并不支持

 

那是否可以用overlay的方式即使可行但overlay时谁在lower谁在upper这个得根据settings.xml中指定的多个仓库的顺序来才行于是得在启pod构建前要解析下这应用的settings.xml稍嫌复杂

 

为解决按仓库隔离.m2且应用依赖多个仓库时的问题我们现在通过对amaven的优化来解决

 

image.png

架构5.0repo_mirror

 

当amaven执行mvn build时当一个依赖包不在本地.m2目录而要下载时会先到repo_mirror中对应的仓库中找如找到则从repo_mirror中对应的仓库中将包直接复制到.m2否则就只能到远程仓库下载下载到.m2后会同时将包复制到repo_mirror中对应的仓库中。

 

通过repo_mirror可以实现同一个node上只会下载一次同一个仓库的同一个文件。

 

当然如果有合适的共享存储多个node共享一个存储服务,那就能解决多个node只下载一次同一个仓库的同一个文件了。

 

a) SNAPSHOT版本号缓存

 

其实在amavenServer的缓存中,除了依赖树,还缓存了SNAPSHOT的版本号。

 

我们的应用会依赖一些snapshot包同时当我们在mvn构建时加上-U就会去检测这些SNAPSHOT的更新而在apache-maven中检测SNAPSHOT需要多次请求maven仓库,会有一些网络开销。

 

现在我们结合maven仓库作了优化,从而让多次请求maven仓库,换成了一次cache服务直接拿到SNAPSHOT的最新版本。

 

image.png 

 

1) 增量

 

增量是与缓存息息相关的,增量的实现就是用缓存。maven的开放性是通过插件机制实现的,每个插件实现具体的功能,是一个函数。当输入不变,则输出不变,即复用输出,而将每次每个函数执行后的输出缓存起来。

 

上面讲的依赖树缓存,也是maven本身(非插件)的一种增量方式。

 

要实现增量的关键是定义好一个函数的输入与输出,即要保证定义好的输入不变时,定义好的输出肯定不变。每个插件自己是清楚输入与输出是什么的,所以插件的增量不是由amaven统一实现,而是amaven提供了一个机制。如一个插件按约定定义好了输入与输出,则amaven在执行前会检测输入是否变化,如没变化,则直接跳过插件的执行,而从缓存中取到输出结果。

 

但其实一个插件的输入与输出要定义清楚并没那么简单,我们拿maven-compiler-plugin来说。maven-compiler-plugin简单地说,它的输入是src/java目录,输出是classes目录。但有些场景即使src/java没变,classes也不能复用。如一个project有二个module:A与B。B中有一个Java文件引用了A的一个Java文件的常量。A修改了一个Java中的一个常量,A会重新compile。但B没修改Java文件,但B也要重新compile。

 

除了常量外,还有一些ABI兼容性的问题也要考虑。module B依赖A,B调用了A中的一个方法fooString[] args,当A将方法签名修改成fooString... args,B不用修改对应的调用foo方法的类,而需要重新编译,否则运行时会报找不到方法。

 

一个module执行一个插件,是否能用增量,不只是考虑自己module的变化情况,还要考虑其它module及直接依赖或间接依赖的变化情况,这会让增量的实现有一定的挑战性。需要不断的校正输入。

 

但增量的效果是明显的,如依赖树缓存与算法的优化能让maven构建从10分钟降到2分钟,那增量则可以将构建耗时从分钟级降到秒级。

 

而gradle与bazel能达到修改一个Java文件,几秒内完成编译,就是增量效果的体现。当然它们也有定义清晰与准确输入的挑战性。

 

2) daemon与分布式

 

daemon是为了进一步达到10秒内构建的实现途径。

 

maven也是Java程序,运行时要将字节码转成机器码,而这转化有时间开销。虽这开销只有几秒时间,但对一个mvn构建只要15秒的应用来说,所占比例也有10%多。为降低这时间开销,可以用JIT直接将maven程序编译成机器码,同时mvn在构建完成后,不退出,常驻进程,当有新构建任务来时,直接调用mvn进程。

 

一般,一个maven应用编译不会超过10分钟,所以,看上去没必要将构建任务拆成子任务,再调度到不同的上执行分布式构建。因为分布式调度有时间开销,这开销可能比直接在本机上编译耗时更大,即得不偿失。

 

所以分布式构建的使用场景是大库。为了简化版本管理,将二进制依赖转成源码依赖,将依赖较密切的源码放在一个代码仓库中,就是大库。当一个大库有成千上万个module时,则非用分布式构建不可了。使用分布式构建,可以将大库几个小时的构建降到几分钟级别。

相关文章
|
7月前
|
人工智能 算法 Java
Java与AI驱动区块链:构建智能合约与去中心化AI应用
区块链技术和人工智能的融合正在开创去中心化智能应用的新纪元。本文深入探讨如何使用Java构建AI驱动的区块链应用,涵盖智能合约开发、去中心化AI模型训练与推理、数据隐私保护以及通证经济激励等核心主题。我们将完整展示从区块链基础集成、智能合约编写、AI模型上链到去中心化应用(DApp)开发的全流程,为构建下一代可信、透明的智能去中心化系统提供完整技术方案。
485 3
|
7月前
|
Java 项目管理 Maven
Maven项目管理与构建自动化完全指南
Maven彻底改变了Java项目管理方式,通过POM模型、依赖管理和标准化构建流程,大幅提升开发效率。本文深入解析其核心概念、多模块管理、私服搭建及与Spring Boot、Docker等现代技术栈的集成实践,助力开发者实现高效、规范的项目构建与团队协作。
1178 156
Maven项目管理与构建自动化完全指南
|
7月前
|
消息中间件 缓存 Java
Spring框架优化:提高Java应用的性能与适应性
以上方法均旨在综合考虑Java Spring 应该程序设计原则, 数据库交互, 编码实践和系统架构布局等多角度因素, 旨在达到高效稳定运转目标同时也易于未来扩展.
656 8
|
8月前
|
人工智能 Java API
Java与大模型集成实战:构建智能Java应用的新范式
随着大型语言模型(LLM)的API化,将其强大的自然语言处理能力集成到现有Java应用中已成为提升应用智能水平的关键路径。本文旨在为Java开发者提供一份实用的集成指南。我们将深入探讨如何使用Spring Boot 3框架,通过HTTP客户端与OpenAI GPT(或兼容API)进行高效、安全的交互。内容涵盖项目依赖配置、异步非阻塞的API调用、请求与响应的结构化处理、异常管理以及一些面向生产环境的最佳实践,并附带完整的代码示例,助您快速将AI能力融入Java生态。
1392 12
|
8月前
|
安全 Java API
Java SE 与 Java EE 区别解析及应用场景对比
在Java编程世界中,Java SE(Java Standard Edition)和Java EE(Java Enterprise Edition)是两个重要的平台版本,它们各自有着独特的定位和应用场景。理解它们之间的差异,对于开发者选择合适的技术栈进行项目开发至关重要。
1427 1
|
9月前
|
设计模式 XML 安全
Java枚举(Enum)与设计模式应用
Java枚举不仅是类型安全的常量,还具备面向对象能力,可添加属性与方法,实现接口。通过枚举能优雅实现单例、策略、状态等设计模式,具备线程安全、序列化安全等特性,是编写高效、安全代码的利器。
|
存储 Java Maven
Java环境下Maven安装与环境变量配置
Java环境下Maven安装与环境变量配置
1799 0
|
Java Maven Android开发
|
7月前
|
JSON 网络协议 安全
【Java】(10)进程与线程的关系、Tread类;讲解基本线程安全、网络编程内容;JSON序列化与反序列化
几乎所有的操作系统都支持进程的概念,进程是处于运行过程中的程序,并且具有一定的独立功能,进程是系统进行资源分配和调度的一个独立单位一般而言,进程包含如下三个特征。独立性动态性并发性。
394 1
|
7月前
|
JSON 网络协议 安全
【Java基础】(1)进程与线程的关系、Tread类;讲解基本线程安全、网络编程内容;JSON序列化与反序列化
几乎所有的操作系统都支持进程的概念,进程是处于运行过程中的程序,并且具有一定的独立功能,进程是系统进行资源分配和调度的一个独立单位一般而言,进程包含如下三个特征。独立性动态性并发性。
365 1