开发者社区> 问答> 正文

统一的离线作业与准实时作业执行框架是怎样的?

统一的离线作业与准实时作业执行框架是怎样的?

展开
收起
曦情兮 2022-05-09 22:36:16 306 0
1 条回答
写回答
取消 提交回答
  • 首先我们来看平台上作业数占到绝大多数的 SQL 线离线作业 (batch job) 与准实时作业 (smode)。前面提到过,由于种种历史原因,之前 MaxCompompute SQL 线的这两种模式的资源管理和作业执行,是搭建在两套完全分开的代码实现上的。这除了导致两套代码和功能无法复用以外,两种计算模式的非黑即白,使得彼此在资源利用率和执行性能之间无法 tradeoff。而在 2.0 的 DAG 模型上,我们实现了这两种计算模式比较自然的融合和统一。

    2022-05-10 13:04:36
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Flink中的两类新型状态存储 立即下载
凡普实时数据处理架构 立即下载
基于streaming构建统一的数据处理引擎的挑战与实践 立即下载