开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

用户提交集成任务后将同步创建哪些任务?

已解决

用户提交集成任务后将同步创建哪些任务?

展开
收起
游客lmkkns5ck6auu 2022-08-31 10:31:15 250 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    • 增量任务 (流):增量任务将 DB 日志数据由 Kafka 同步至 Hive。由于采集组件都是按照集群粒度进行采 集,且集群数量有限,目前都是手动的方式将同步的任务在「实时计算平台」创建,集成任务创建时默 认假定同步任务已经 ready,待「数据同步平台」落地后可以同步做更多的自动化操作和校验。

    • 存量任务 (批):要想还原出快照数据则至少需要一份初始的快照数据,因此存量任务的目的是从业务数 据库拉取集成时数据的初始快照数据。

    • Merge 任务 (批):Merge 任务将存量数据和增量数据进行聚合以还原快照数据。还原后的快照数据可作为下一日的存量,因此「存量任务」只需调度执行一次,获取初始快照数据即可。

    以上内容摘自《Apache Flink 案例集(2022版)》电子书,点击https://developer.aliyun.com/ebook/download/7718 可下载完整版

    2022-08-31 12:09:12
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
阿里邮箱—安全高效集成 立即下载
集成智能接入网关APP:优化企业级移动办公网络 立即下载
云效助力企业集成安全到DevOps中 立即下载