问题一:流计算引擎中数据完整性推理的难点是什么?
流计算引擎中数据完整性推理的难点是什么?
参考回答:
在流计算中,数据完整性推理的难点在于如何实现一种完整性信号生成算法,能够给出尽可能精确的完整性估计。目前还不存在绝对正确的完整性推理算法,大多数方案都是启发式的。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/654076
问题二:MillWheel 和 Flink 如何实现数据流的同步处理?
MillWheel 和 Flink 如何实现数据流的同步处理?
参考回答:
MillWheel 和 Flink 使用了低水印去实现整个数据流拓扑处理进度的同步。低水印以特殊流元素或旁路传播的方式,让整个数据流拓扑中的每个算子都可以清晰地了解到当前数据处理的进度。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/654077
问题三:Spark Structured Streaming 和 Kafka 在数据完整性推理上有何不足?
Spark Structured Streaming 和 Kafka 在数据完整性推理上有何不足?
参考回答:
Spark Structured Streaming 和 Kafka Streams 采用了宽限时间方案,虽然简化了架构构建和维护的复杂性,降低了用户对完整性的理解成本,但在完整性推理功能上存在一些不足,如全局水印的设计可能导致不正确的聚合结果。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/654078