开发者社区> 问答> 正文

什么是流计算中的数据完整性?为什么流计算需要数据完整性?

什么是流计算中的数据完整性?为什么流计算需要数据完整性?

展开
收起
真的很搞笑 2024-06-17 20:06:46 17 0
1 条回答
写回答
取消 提交回答
  • 流计算中的数据完整性指的是将无界且无序的流数据转化为逻辑上的“当前分区”,以便对分区内确定性的数据片段进行分析。这种“当前分区”可以是过去的一段时间,如滑动窗口,也可以是过去的若干条记录。
    流计算需要数据完整性是因为无论是流计算还是批计算,要想得到正确的计算结果,最终都需要有确定性的输入数据集。流计算引擎被外界诟病“不够准”的原因,很大程度上是因为对无界无序流数据分区能力不够好。image.png

    2024-06-17 20:37:25
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载