ESLint的缓存机制及其在CI中的应用

简介: 背景ESLint是一个前端、Node领域中流行的代码规范检查工具,使用起来很方便。之前为了强制推行代码规范,我在CI任务中加入了ESLint检查。保障了规范的同时,也引入了痛点:CI的时长延长了2~3分钟左右。因为现在开发的工程体量比较大,ESLint会占用很多的内存、CPU资源,且运行时间较长。


背景



ESLint是一个前端、Node领域中流行的代码规范检查工具,使用起来很方便。


640 (3).png


之前为了强制推行代码规范,我在CI任务中加入了ESLint检查。保障了规范的同时,也引入了痛点:CI的时长延长了2~3分钟左右。因为现在开发的工程体量比较大,ESLint会占用很多的内存、CPU资源,且运行时间较长。


在了解到ESLint有缓存机制之后,我尝试过在CI中加ESLint缓存,但是效果不太理想。怀疑是缓存未能命中,所以我尝试分析了下ESLint中的缓存逻辑。


ESLint的缓存机制



ESLint在命中缓存时,执行速度是极快的。而在无法命中缓存时,可能就需要消耗很多时间了。


ESLint中与缓存相关的选项有三个:--cache--cache-file--cache-location,其中--cache-file作用与--cache-location类似,都是用于修改默认的cache存储位置,--cache-file已经被废弃。


在运行eslint的时候,加上--cache参数,就会自动生成一个.eslintcache文件,用于储存上次缓存的结果。


.eslintcache文件的内容格式如下所示:


1[
2  {
3    "commitlint.config.js": "1",
4    "packages/frontend/babel.config.js": "2"
5  },
6  {
7    "size": 71,
8    "mtime": 1605752807612,
9    "results": "1230",
10    "hashOfConfig": "1231"
11  },
12  {
13    "size": 1489,
14    "mtime": 1605752807627,
15    "results": "1232",
16    "hashOfConfig": "1231"
17  },
18]


它的整体结构是一个数组。


其中第一项元素是一个"文件路径->数组序号"的对象。根据它的Value中的序号,在数组中找到相应的元素,即为它的属性。


可以看出文件里面存储了:sizemtime等属性,eslint在决定文件是否发生变更时,使用的是file-entry-cache中的默认方式,即根据文件大小(size)和最后修改时间(mtime)决定文件是否发生了变更。


另外还有hashOfConfig属性,是存储的配置文件的HASH值,这样当配置文件发生变化时,所有的缓存都会失效。


缓存失效的原因



在CI中,每次执行任务时,大部分的文件都没有发生变化,所以 size 属性肯定是没变的。那么为什么会出现缓存未命中的情况?原因就在于 mtime 发生了变化。


git 在 clone / fetch 的时候,并没有保证 mtime 的值与文件最后提交时间相同,而是使用了 git clone 时的系统时间。所以每次CI执行时,mtime发生了变更,继而导致file-entry-cache的缓存失效,eslint重新执行。


从这里也可以看出,只要解决了 mtime 的问题,就可以解决缓存失效的问题了。


解决缓存失效问题



解决缓存失效问题,核心问题还是在file-entry-cache中。它支持两种方式判断缓存是否命中,一是根据mtime和size,二是根据md5 checksum值。


理论上来说,如果eslint使用hash码的方式,也就不会受mtime影响了。但是考虑到一要改eslint的逻辑,二是计算hash码涉及到大量I/O,应该也有不小的消耗,所以还是优先考虑从mtime着手处理。


要使一个文件在多次clonefetch之间mtime不发生变化,可以将其设置为它在Git中的最后提交时间。直观的做法是遍历每一个文件,使用git log获取其最后提交时间,然后再设置mtime。


这种方式理论上可行,但是实际操作中应该会有性能优化空间。


好在有人提供了现成的脚本工具git-restore-mtime,可以直接拿来用。这个脚本虽然也要花费一些时间,但时间不长,可以接受。


这样一来,原来的eslint命令就变成了:


1$ git restore-mtime
2$ eslint --cache .


还有一些其它的方法,如将mtime修改为文件的hash值。这个实际上还是md5 checksum的套路,性能上不会很优。


git-restore-mtime的安装和使用


git-restore-mtime依赖于Python3,需要先安装好Python3。


配置好python3之后,根据系统不同选择如下的安装命令之一:

Debian/Ubuntu系列:


1sudo apt install git-restore-mtime


RedHat/Centos系列:


1sudo yum install git-tools


如果是在其它的系统上,如alpine。则可以直接从Git仓库中复制最新的 git-restore-mtime 文件到PATH中即可,如复制到 /usr/local/bin/git-remote-mtime


使用的方法很简单,运行 git restore-mtime 即可。


总结



ESLint的cache很高效,但是要注意在CI环境中可能会有缓存无法命中的情况,可以考虑使用git-restore-mtime来解决无法命中的情况。


相关文章
|
5月前
|
缓存 并行计算 PyTorch
PyTorch CUDA内存管理优化:深度理解GPU资源分配与缓存机制
本文深入探讨了PyTorch中GPU内存管理的核心机制,特别是CUDA缓存分配器的作用与优化策略。文章分析了常见的“CUDA out of memory”问题及其成因,并通过实际案例(如Llama 1B模型训练)展示了内存分配模式。PyTorch的缓存分配器通过内存池化、延迟释放和碎片化优化等技术,显著提升了内存使用效率,减少了系统调用开销。此外,文章还介绍了高级优化方法,包括混合精度训练、梯度检查点技术及自定义内存分配器配置。这些策略有助于开发者在有限硬件资源下实现更高性能的深度学习模型训练与推理。
1005 0
|
8月前
|
存储 缓存 NoSQL
缓存加速新玩法,让你的应用飞起来
本文主要叙述如何运用云数据库 Tair 构建缓存,助力应用提速、优化性能。
|
缓存 Java 数据库连接
mybatis复习05,mybatis的缓存机制(一级缓存和二级缓存及第三方缓存)
文章介绍了MyBatis的缓存机制,包括一级缓存和二级缓存的配置和使用,以及如何整合第三方缓存EHCache。详细解释了一级缓存的生命周期、二级缓存的开启条件和配置属性,以及如何通过ehcache.xml配置文件和logback.xml日志配置文件来实现EHCache的整合。
mybatis复习05,mybatis的缓存机制(一级缓存和二级缓存及第三方缓存)
|
6月前
|
缓存 NoSQL Java
Redis应用—8.相关的缓存框架
本文介绍了Ehcache和Guava Cache两个缓存框架及其使用方法,以及如何自定义缓存。主要内容包括:Ehcache缓存框架、Guava Cache缓存框架、自定义缓存。总结:Ehcache适合用作本地缓存或与Redis结合使用,Guava Cache则提供了更灵活的缓存管理和更高的并发性能。自定义缓存可以根据具体需求选择不同的数据结构和引用类型来实现特定的缓存策略。
393 16
Redis应用—8.相关的缓存框架
|
7月前
|
存储 缓存 分布式计算
【赵渝强老师】Spark RDD的缓存机制
Spark RDD通过`persist`或`cache`方法可将计算结果缓存,但并非立即生效,而是在触发action时才缓存到内存中供重用。`cache`方法实际调用了`persist(StorageLevel.MEMORY_ONLY)`。RDD缓存可能因内存不足被删除,建议结合检查点机制保证容错。示例中,读取大文件并多次调用`count`,使用缓存后执行效率显著提升,最后一次计算仅耗时98ms。
159 0
【赵渝强老师】Spark RDD的缓存机制
|
6月前
|
缓存 NoSQL PHP
用装饰器模式实现多层缓存:让PHP应用更快更稳
通过装饰器模式实现PHP多层缓存架构,详解如何利用内存、Redis、文件缓存组合提升应用性能。包含设计思路、代码示例与实战效果对比,助您构建高效缓存策略。
|
缓存 JavaScript 中间件
优化Express.js应用程序性能:缓存策略、请求压缩和路由匹配
在开发Express.js应用时,采用合理的缓存策略、请求压缩及优化路由匹配可大幅提升性能。本文介绍如何利用`express.static`实现缓存、`compression`中间件压缩响应数据,并通过精确匹配、模块化路由及参数化路由提高路由处理效率,从而打造高效应用。
448 99
|
10月前
|
存储 缓存 监控
后端开发中的缓存机制:深度解析与最佳实践####
本文深入探讨了后端开发中不可或缺的一环——缓存机制,旨在为读者提供一份详尽的指南,涵盖缓存的基本原理、常见类型(如内存缓存、磁盘缓存、分布式缓存等)、主流技术选型(Redis、Memcached、Ehcache等),以及在实际项目中如何根据业务需求设计并实施高效的缓存策略。不同于常规摘要的概述性质,本摘要直接点明文章将围绕“深度解析”与“最佳实践”两大核心展开,既适合初学者构建基础认知框架,也为有经验的开发者提供优化建议与实战技巧。 ####
|
9月前
|
缓存 Java 数据库连接
深入探讨:Spring与MyBatis中的连接池与缓存机制
Spring 与 MyBatis 提供了强大的连接池和缓存机制,通过合理配置和使用这些机制,可以显著提升应用的性能和可扩展性。连接池通过复用数据库连接减少了连接创建和销毁的开销,而 MyBatis 的一级缓存和二级缓存则通过缓存查询结果减少了数据库访问次数。在实际应用中,结合具体的业务需求和系统架构,优化连接池和缓存的配置,是提升系统性能的重要手段。
356 4
|
9月前
|
缓存 Java 数据库连接
MyBatis缓存机制
MyBatis提供两级缓存机制:一级缓存(Local Cache)默认开启,作用范围为SqlSession,重复查询时直接从缓存读取;二级缓存(Second Level Cache)需手动开启,作用于Mapper级别,支持跨SqlSession共享数据,减少数据库访问,提升性能。
151 1