开发者社区 > 大数据与机器学习 > 实时数仓 Hologres > 正文

Hologres升级时DataWorks实时写入任务需要特殊处理一下吗?

Hologres升级时DataWorks实时写入任务需要特殊处理一下吗?

展开
收起
真的很搞笑 2023-12-10 17:52:10 42 0
2 条回答
写回答
取消 提交回答
  • 不需要的 都会自己自动恢复 ,此回答整理自钉群“实时数仓Hologres交流群”

    2023-12-11 22:37:39
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在进行Hologres升级时,如果存在DataWorks实时写入任务,确实需要进行一些特殊处理来确保数据同步的稳定性和准确性。首先,建议您确认实时写入版本是否满足要求。例如,如果您正在使用的Blink版本低于3.7.9或Flink(VVR)版本低于3.0,那么在升级Hologres实例的过程中可能会造成数据丢失。在这种情况下,您需要将Blink版本升级到3.7.9及以上,并将Flink(VVR)版本升级到3.0及以上。

    其次,您可以利用DataWorks的可视化方式进行任务工作流的配置、周期性调度执行及元数据管理,以保障数据生产和管理的高效稳定。此外,DataWorks也支持一键实时同步至Hologres,可以实现全增量一体化同步,先进行全量数据迁移,然后再实时同步增量数据至目标端。

    最后,需要注意的是,在Hologres中,Fixed Plan是独有的执行引擎优化方式,它能够实现SQL执行效率的显著提升,特别是在Flink实时写入数据至Hologres和DataWorks数据集成实时写入数据至Hologres的场景下。因此,为了充分利用这些优化方法,您可能需要在升级过程中对相关配置进行调整。

    2023-12-11 13:17:23
    赞同 展开评论 打赏

本技术圈将为大家分析有关阿里云产品Hologres的最新产品动态、技术解读等,也欢迎大家加入钉钉群--实时数仓Hologres交流群32314975

相关产品

  • 实时数仓 Hologres
  • 相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载