栏目说明
「Quick BI使用案例」系列短文都来源于用户遇到的真实问题。
文章聚焦使用过程中的高频误区与使用技巧,希望能帮助您更充分地发挥产品价值。
问题背景
在Quick BI独立部署环境中,基于StarRocks数据源的数据集设置凌晨1点自动清理查询结果缓存后,对应交叉表出现以下异常:
1.交叉表总计不生效,错误展示为0。
2.分页设置为20时无数据,但分页设置为 100 时有数据;且分页为 20 时,直接在底层数据库执行图表SQL可以查到数据。
3.交叉表缺少 9 月 16 日数据,但实际存在该日期数据,图表 SQL 也能正常查询到 9 月 16 日数据。
经排查,该问题并非数据缺失,而是由数据集自动清缓存时间与 StarRocks ETL 调度时间不匹配导致。
Quick BI 支持为数据集配置查询结果缓存,相同查询在设定间隔内会直接返回缓存结果;缓存可按全局策略或数据集自定义策略配置,并支持设置自动清除时间。 当数据集设置为凌晨 1 点自动清理缓存后,如果此时 StarRocks 昨日分区数据的 ETL 任务尚未完成,早间的定时查询、订阅或报表访问会先执行,并将“空 / 0 / 不完整”的查询结果写入缓存。
由于该缓存不感知底层数据是否已就绪,且在缓存有效期内会持续命中相同查询,因此即使后续 ETL 完成、数据已到位,报表仍可能继续返回旧的缓存结果,从而出现总计为 0、分页无数据、缺少当日数据等现象。
解决方案
需要将数据集的自动清缓存时间调整到所有依赖的 ETL 调度任务完成之后,避免在数据未就绪时生成脏缓存。具体操作步骤如下:
Step1. 确认所有ETL调度任务的最晚完成时间
在调度系统或数据开发平台中,查看该数据集依赖的 StarRocks ETL 任务执行记录,确认昨日分区数据的最终完成时间。例如,若最晚一个 ETL 任务在凌晨 3:30 完成,则以该时间作为参考。
Step2. 将数据集清理缓存时间调整到所有ETL调度任务完成后
在 Quick BI 中进入目标数据集的配置页面,将自动清理缓存时间调整到所有 ETL 任务完成之后。例如,ETL 最晚完成时间为 3:30,可将自动清缓存时间设置为 3:30 之后,如 4:00。
Step3. 验证效果
完成上述配置后,等待下一次自动清理缓存周期执行,再重新查看交叉表。若配置正确,总计、分页数据和当日数据应均可正常展示。
注意事项:
- 自动清缓存时间必须晚于所有相关 ETL 任务的最晚完成时间,并建议预留一定缓冲时间。
- 若存在多个 ETL 任务或分区任务,应以最晚完成的任务为准。
- 调整后建议观察 1~2 个调度周期,确认报表数据稳定更新。
如阅读后有任何问题,您可以点击Quick BI产品内右下角【帮助与反馈】按钮与我们取得联系。