一、故障现象：批量回收任务把“已交付”写成“变更中”
配置管理服务接收一次批量回收请求，任务调度组件按资源ID拆成200个子任务，下发到多云适配层。某个资源在适配层实际回收成功，但回调响应超时；任务调度组件按指数退避重试该子任务。同一时间，另一个扩容任务也操作该资源，读取到的状态仍是“已交付”。两个子任务分别把资源状态写为“回收中”和“变更中”，后写覆盖前写。审计日志链路在2秒内记录到三条状态迁移事件，顺序为“已交付→回收中”“已交付→变更中”“变更中→已回收”。最终资源已被回收，但计量计费模块按“变更中”继续计费，预算管控模块发出错误预警。
这个故障的直接触发条件是回调超时后的重试，但根因是状态写入没有前置条件校验。状态机允许任意写入方基于旧状态覆盖新状态，批量变更只是把并发窗口放大。技术决策上，资源状态记录必须携带单调递增的版本号，任何状态迁移写入都要比较版本号；失败模式是适配层回调不带版本号时，配置管理服务拒绝写入并记录审计日志，而不是降级为无条件写入。该约束在单资源单任务串行执行时增加一次读操作，但在批量并发场景下是必要开销。
二、状态机定义：输入输出与迁移条件
资源实例的状态集合定义为：待审批、已批准、交付中、已交付、变更中、回收中、已回收、失败。输入是批量变更请求，包含租户ID、资源ID列表、操作类型和请求ID；输出是子任务列表、每个子任务的初始状态版本号以及状态迁移事件。配置管理服务在拆分子任务时生成幂等键，取值为请求ID、资源ID、操作类型的拼接结果，同时读取资源当前状态版本并写入子任务上下文。
状态迁移条件必须显式校验：只有当前状态为“已交付”且版本号等于子任务上下文中的版本号时，才允许迁移到“变更中”或“回收中”；版本不匹配时返回冲突，任务调度组件重新读取状态后决策是否继续。异常路径是适配层回调只返回资源ID和结果，不带版本号；配置管理服务此时拒绝更新状态，审计日志链路记录“回调缺少版本号”并触发告警。失败模式是资源状态记录初始化时版本号为空，条件更新永远不匹配，所有迁移失败；检查点要求状态迁移事件中同时记录前置版本和后置版本，监控采集器对版本号为空的资源计数。
三、批量变更的失败路径：并发写入与重试风暴
任务调度组件默认并发度为50。当适配层超时率上升时，重试策略为指数退避、最大重试3次。失败路径一：重试前未查询资源是否存在，适配层实际成功但回调丢失，重试重复创建资源，造成资源泄漏。失败路径二：多个子任务操作同一资源，例如回收任务与扩容任务并发，两个子任务都基于“已交付”状态写入，后写覆盖前写。异常路径是幂等键中包含时间戳或随机数，重试请求被当成新请求，幂等失效，重试放大比升高。
技术决策是幂等键只包含请求ID、资源ID和操作类型，不包含时间戳、随机数和重试次数；重试前由任务调度组件调用适配层查询资源状态，若已是目标状态则直接标记子任务成功。权衡是查询增加一次网络往返，但避免重复资源创建。不适用边界是适配层不提供资源查询接口时，重试前查询不可用，只能依赖幂等键和状态版本号，重复创建风险仍然存在。监控采集器采集重试放大比，即实际子任务执行次数除以原始请求子任务数；当该指标大于1.5时，说明重试未收敛，需要检查适配层回调丢失率和重试策略的退避上限。
四、幂等重试的两个方案取舍
方案A采用条件更新加状态版本号。配置管理服务在状态记录上执行比较并交换，写入条件为版本号等于读取值。优点是无需分布式锁，批量变更下吞吐较高；缺点是所有写入方必须携带版本号，跨云适配层回调格式不统一时，需要状态代理层补齐版本号。失败模式是代理层缓存旧版本号，导致条件更新连续冲突；检查点是条件更新冲突率，若大于10%，说明并发冲突高，需要降低批量并发度或扩大重试窗口。
方案B采用按资源ID的分布式锁，任务调度组件在锁内完成读、改、写。优点是对适配层无版本号要求，实现简单；缺点是批量变更下锁竞争严重，任务队列积压，锁租约过期后出现双写。两个方案的取舍点在于批量规模：子任务数超过500时，方案B的P99状态迁移耗时明显上升，因为锁等待时间随并发度线性增长；方案A需要额外代理层，代理层连接池上限成为新瓶颈，但可通过按资源池隔离连接池缓解。技术决策是采用方案A，代理层只做版本号注入和连接池隔离，不缓存状态记录。不适用边界是适配层不支持原子比较写入且无法部署代理层时，方案A不可用；跨地域多活部署且锁服务跨域延迟超过100ms时，方案B不适用。
五、权限边界与审计日志链路的断点
批量接口使用服务账号调用配置管理服务。权限校验模块只校验服务账号是否具有“批量变更”权限，未逐资源校验租户归属。异常路径是租户A的批量请求中包含租户B的资源ID，权限校验模块放行，配置管理服务执行修改。审计日志链路记录操作者为服务账号，租户字段为空，追溯时无法定位请求来源。技术决策是配置管理服务在拆分子任务时，每个子任务携带租户ID和资源ID；权限校验模块对子任务逐条校验租户归属，校验失败则拒绝该子任务并记录审计事件。权衡是批量查询租户归属增加一次批量读操作，但避免越权修改。失败模式是拆分子任务时租户ID丢失，校验模块回退到服务账号权限，越权仍然存在；检查点是审计日志中租户ID为空的比例，该比例大于0即告警，监控采集器同时统计越权拦截次数。
六、检查点与指标：状态迁移是否健康
监控采集器每30秒聚合一次状态迁移指标，按资源池分组。状态翻转率统计同一资源在10分钟内状态迁移次数，阈值设为3次，超过则告警，因为正常交付或回收不应出现高频翻转。状态迁移耗时P99超过30秒时，检查适配层回调延迟和条件更新冲突率。审计日志时序偏差统计状态写入时间与任务调度记录时间之差，偏差超过5秒说明任务调度组件与配置管理服务之间存在时钟或队列积压问题。越权拦截率按子任务统计，若拦截率突增，检查批量请求中是否混入跨租户资源ID。
技术决策是批量变更前执行预检：读取所有目标资源的状态版本，若同一资源在预检窗口内版本发生变化，则拒绝整个批量任务并返回冲突资源列表。失败模式是资源基数小于100时，状态翻转率噪声大，固定阈值容易误报；不适用边界是小资源池不适合直接使用全局阈值，需要按资源池历史基线动态调整。检查点还包括重试放大比和条件更新冲突率，两者同时超过阈值时，优先降低任务调度组件的并发度，而不是增加重试次数。
七、机制拆解后的边界
状态机、幂等键、版本号、权限校验、审计日志链路是五个独立控制点。任意一个缺失，批量变更都会从“部分成功”退化为“状态不一致”：没有版本号，后写覆盖前写；没有幂等键，重试变成重复创建；没有子任务级权限校验，批量接口成为越权通道；没有审计日志链路，状态迁移顺序无法回溯。条件更新方案在适配层不支持原子写入时需要代理层，代理层增加P99延迟；分布式锁方案在批量规模大时队列积压，锁租约过期后出现双写。批量变更的失败通常不是重试次数不够，而是状态迁移缺少前置条件校验；重试策略只能处理瞬时故障，不能替代状态一致性约束。
