[063][调度模块]事件驱动的日志记录与高效查询体系

简介: 本文介绍事件驱动的日志记录与高效查询体系:通过异步+独立事务消费状态变更事件,确保日志不丢失、不影响调度性能;采用JPA Specification实现类型安全、可组合的多条件动态查询;VO层冗余关键关联字段,减少前端请求;集成Spring Data分页,简洁高效。代码开源。

[063][调度模块]事件驱动的日志记录与高效查询体系

本文章代码: gitee , gitcode , github

1. 事件驱动架构:解耦调度与日志

任务状态变更时,ScheduleTaskManager 发布 ChangeStatusEvent,JobLogEventConsumer 异步消费(需配置 @Async)。

@Slf4j
@Component
@RequiredArgsConstructor
public class JobLogEventConsumer implements ChangeStatusEventConsumer {
   
    private final JobLogRepository jobLogRepository;
    private final JobRepository jobRepository;

    @Override
    @Async  // ✅ 异步执行,不阻塞主调度线程
    @Transactional(propagation = Propagation.REQUIRES_NEW)  // ✅ 独立事务,不受业务回滚影响
    public void consumer(ChangeStatusEvent event) {
   
        TaskRuntimeData runtimeData = event.taskRuntimeData();
        jobRepository.findByTaskCode(runtimeData.taskCode())
            .ifPresentOrElse(
                task -> {
   
                    JobLogEntity log = new JobLogEntity();
                    log.setJob(task);
                    log.setTaskStatus(runtimeData.taskStatus());
                    log.setLotNo(runtimeData.lotNo());
                    log.setTotalCount(runtimeData.totalCount());
                    log.setTotalFailureCount(runtimeData.totalFailureCount());
                    log.setStartTime(runtimeData.startTime());
                    log.setEndTime(runtimeData.endTime());

                    // 异常信息智能截取
                    Throwable throwable = runtimeData.throwable();
                    if (throwable != null) {
   
                        log.setHasError(YesNoEnum.Y);
                        log.setMessage(StringUtils.substring(
                            ExceptionUtils.getSelfStackTrace(throwable), 0, 500));
                    } else {
   
                        log.setHasError(YesNoEnum.N);
                        log.setMessage(runtimeData.message());
                    }

                    jobLogRepository.save(log);
                },
                () -> log.warn("任务不存在,无法记录日志,taskCode={}", runtimeData.taskCode())
            );
    }
}

技术亮点:

  • 异步+独立事务:日志写入不影响调度性能,且即使主业务事务回滚,日志依然留存。
  • 异常堆栈裁剪:500 字符限制防止数据截断异常,同时保留关键堆栈信息。
  • 空值友好:使用 ifPresentOrElse 优雅处理任务不存在的情况。

2. 日志查询的规格模式组合

JobLogQuery 支持多条件动态查询,包括关联表(JobEntity)字段。

public class JobLogSpecification {
   
    // 关联查询示例:通过 leftJoin 连接 JobEntity
    public static Specification<JobLogEntity> taskCodeEqual(String taskCode) {
   
        return (root, query, cb) -> {
   
            Join<JobLogEntity, JobEntity> jobJoin = leftJoin(root, "job");
            return JobSpecification.taskCodeEqual(jobJoin, taskCode, cb);
        };
    }

    // 时间范围查询
    public static Predicate createdAtBetween(Path<JobLogEntity> path, 
                                             Instant start, Instant end, 
                                             CriteriaBuilder cb) {
   
        Predicate predicate = cb.conjunction();
        if (start != null) {
   
            predicate = cb.and(predicate, cb.greaterThanOrEqualTo(path.get("createdAt"), start));
        }
        if (end != null) {
   
            predicate = cb.and(predicate, cb.lessThanOrEqualTo(path.get("createdAt"), end));
        }
        return predicate;
    }
}

技术亮点:

  • 类型安全:使用 JPA 元模型(Metamodel)或字符串常量,避免硬编码。
  • 可组合性:每个条件都是独立的 Specification,可灵活组合复用。

3. VO 组装与关联数据补充

JobLogVO 在转换时额外填充任务标识字段,避免前端额外请求。

@Data
public class JobLogVO extends BaseVO {
   
    // 日志自身字段
    private TaskStatusEnum taskStatus;
    private String lotNo;
    private Instant createdAt;
    // ... 其他日志字段

    // 关联任务冗余字段(非数据库字段,用于展示)
    private String taskCode;
    private String classSimpleName;

    public static JobLogVO of(JobLogEntity entity) {
   
        JobLogVO vo = new JobLogVO();
        BeanUtils.copyProperties(entity, vo);
        JobEntity job = entity.getJob();
        if (job != null) {
   
            vo.setTaskCode(job.getTaskCode());
            vo.setClassSimpleName(job.getClassSimpleName());
        }
        return vo;
    }
}

设计权衡:

  • 优点:一次查询返回完整信息,减少网络往返。
  • 注意:若 JobEntity 中关联数据较大(如 metadata 含大量 JSON),不建议全部复制,只取必要字段。

4. 日志分页查询接口

@RestController
@RequestMapping("/api/job-log")
@RequiredArgsConstructor
public class JobLogEndpoint {
   
    private final JobLogService jobLogService;

    @GetMapping("page")
    public ResponseEntity<PagedModel<JobLogVO>> findPage(JobLogQuery query, Pageable pageable) {
   
        Page<JobLogEntity> page = jobLogService.find(query, pageable);
        return ResponseEntity.ok(new PagedModel<>(page.map(JobLogVO::of)));
    }
}

技术亮点:

  • Spring Data 集成:Pageable 自动解析分页参数,PagedModel 封装分页元数据。
  • VO 映射:page.map(JobLogVO::of) 流式转换,代码简洁。
目录
相关文章
|
3月前
|
缓存 NoSQL Java
[065][缓存模块]Hibernate二级缓存自定义实现:基于Spring Cache的多级缓存适配器
本文介绍了一种基于Spring Cache的Hibernate二级缓存自定义实现,通过适配`DomainDataStorageAccess`与`RegionFactoryTemplate`,统一ORM与应用层缓存。支持本地(Caffeine)、远程(Redis)、多级及租户隔离等灵活策略,配置即生效,无缝集成Spring Boot生态。(239字)
102 2
|
3月前
|
安全 调度 数据库
[062][调度模块]任务全生命周期管理 —— 从启动到追踪的完整闭环
本文详解调度模块任务全生命周期管理:涵盖启动/取消协调(ScheduleService)、三级数据聚合(DB+内存+运行态)、运行态安全校验及规格模式分页查询,实现高可用、强一致的任务闭环管控。(239字)
92 1
|
3月前
|
NoSQL Java 调度
[060][调度模块]Redisson vs Redis 原生锁:两种分布式锁实现深度对比
本文深度对比调度模块中Redis原生锁与Redisson锁:前者轻量但功能简陋(无重入、无阻塞),需手动续期;后者支持可重入、自动看门狗续期、阻塞等待,API友好但依赖较重。结合场景选型更可靠。(239字)
168 1
|
3月前
|
存储 缓存 NoSQL
[038][验证码模块]基于 Hutool 的 Spring Boot 验证码组件设计与实现
本文介绍基于Hutool与Spring Boot深度集成的验证码组件,支持线段、圆圈、扭曲、GIF四类验证码,具备自动配置、多级缓存(Caffeine+Redis)、高斯模糊增强、忽略大小写校验及一次性使用等特性,架构清晰、扩展性强,开箱即用。
137 2
|
3月前
|
运维 Java 调度
[059][调度模块]配置驱动的任务仓库 – 从 YAML 加载任务
本文介绍基于YAML配置驱动的任务仓库实现,支持通过`application.yml`声明定时任务(cron、开关、重试等),`YamlTaskRepository`自动解析并提供CRUD接口,无缝集成`ScheduleTaskManager`,兼顾运维灵活性与扩展性。
84 1
|
3月前
|
消息中间件 Prometheus 监控
[058][调度模块]任务生命周期事件与监听器机制
本文介绍调度模块的任务生命周期事件机制,通过`ChangeStatusEvent`事件与`ChangeStatusEventConsumer`监听器,实现任务状态(CREATED/STARTED/COMPLETED等)变更的灵活监听。支持日志、持久化、消息推送等扩展,具备高解耦性与异常隔离能力。(239字)
121 2
|
3月前
|
缓存 NoSQL Java
[037][缓存模块]基于 Guava Striped 的声明式本地锁设计与实现
本文介绍基于Guava Striped与Spring AOP实现的声明式本地锁:通过`@LocalLockable`注解+SpEL动态生成细粒度锁key,支持超时控制与中断处理,内存可控、低延迟,适用于单机高并发场景。
123 1
|
3月前
|
缓存 NoSQL 安全
[036][缓存模块]基于 Redis 自定义缓存锁的设计与实现
本文介绍基于Redis的轻量级分布式缓存锁组件,通过`@RedisLockable`注解+ AOP + Lua脚本,支持固定租期与自动续期双模式,解决缓存击穿、重复计算与资源竞争问题,具备声明式、动态Key、原子性及安全释放等特性,代码开源可扩展。(239字)
135 2
|
3月前
|
NoSQL 调度 Redis
[057][调度模块]分布式环境下定时任务的防重复执行方案
本文介绍分布式定时任务防重复执行方案,基于Redis/Redisson分布式锁,提供自动续期与固定租期两种模式,通过`key()`控制锁粒度,支持异常跳过与自定义处理,确保集群中同一任务仅单点执行。代码开源。
185 1
|
3月前
|
缓存 安全 Java
[034][公共模块]基于SpEL的方法参数表达式求值器设计与实现
本文设计并实现了基于Spring SpEL的`MethodBasedExpressionEvaluator`,支持方法参数自动映射、占位符解析、Bean引用、自定义变量注入及表达式缓存,具备类型安全、线程安全与高扩展性,适用于权限控制、日志模板、缓存Key生成等场景。(239字)
143 2