开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

大佬 我这一直是增量同步,为什么数据量会下降呢?存储局势图是这个样子

2791问.png

展开
收起
游客3oewgrzrf6o5c 2022-08-09 14:03:33 296 0
1 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    几种原因导致数据量下降:

    删除数据:有可能在增量同步的过程中,源端的数据被删除了,因此同步到目标端的数据量也会随之减少。

    过滤数据:在增量同步任务中,有可能设置了过滤条件,过滤掉了一部分数据,导致同步到目标端的数据量减少。

    更新数据:在增量同步任务中,如果源端的数据被更新了,更新后的数据可能与之前同步到目标端的数据重复,因此同步到目标端的数据量会减少。

    此外,存储局势图的变化可能与数据量的变化有关,但不一定完全相同。存储局势图反映的是表在存储介质上的分布情况,包括数据分布、索引分布等,而数据量的变化可能与数据的增删改有关。

    2023-06-30 19:37:08
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关电子书

更多
智能设计的增量 立即下载
Flink中的两类新型状态存储 立即下载
图计算优化技术探索 立即下载