开发者社区> 问答> 正文

为什么要统一数据处理?

为什么要统一数据处理?

展开
收起
令人无语的八阿哥 2021-10-29 16:09:42 603 0
来自:华章出版社
1 条回答
写回答
取消 提交回答
  • 有界数据集和无界数据集只是一个相对的概念,主要根据时间的范围而定,可以认为一段时间内的无界数据集其实就是有界数据集,同时有界数据也可以通过一些方法转换为无界数据。例如系统一年的订单交易数据,其本质上应该是有界的数据集,可是当我们把它一条一条按照产生的顺序发送到流式系统,通过流式系统对数据进行处理,在这种情况下可以认为数据是相对无界的。对于无界数据也可以拆分成有界数据进行处理,例如将系统产生的数据接入到存储系统,按照年或月进行切割,切分成不同时间长度的有界数据集,然后就可以通过批处理方式对数据进行处理。从以上分析我们可以得出结论:有界数据和无界数据其实是可以相互转换的。有了这样的理论基础,对于不同的数据类型,业界也提出了不同的能够统一数据处理的计算框架。

    资料来源:《Flink原理、实战与性能优化》,文章链接:https://developer.aliyun.com/article/724685

    2021-10-29 16:19:22
    赞同 展开评论 打赏
问答分类:
问答地址:
来源圈子
更多
收录在圈子:
+ 订阅
问答排行榜
最热
最新

相关电子书

更多
凡普实时数据处理架构 立即下载
基于streaming构建统一的数据处理引擎的挑战与实践 立即下载
凡普实时数据处理 立即下载