开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks数据同步,什么时候支持写paimon呀,毕竟你们也有flink-cdc的?

DataWorks数据同步,什么时候支持写paimon呀,毕竟你们也有flink-cdc的?

展开
收起
真的很搞笑 2024-08-25 13:19:27 58 0
2 条回答
写回答
取消 提交回答
  • 应该是有在支持计划中 但是时间不太确定 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-08-25 14:29:56
    赞同 1 展开评论 打赏
  • 技术浪潮涌向前,学习脚步永绵绵。

    DataWorks本身作为一个数据集成和管理平台,支持多种数据同步方案,包括使用Flink CDC进行实时数据同步。至于支持Paimon作为目标存储的问题,这取决于DataWorks的产品路线图和技术支持情况。

    Paimon是一个高性能的湖仓一体存储层,它支持多种数据处理引擎,如Flink和Spark,并且被设计为兼容Apache Iceberg的元数据规范。由于Paimon与Flink有紧密的集成,并且DataWorks支持使用Flink CDC进行数据同步,理论上讲,DataWorks应该能够支持将数据同步到Paimon存储中。

    不过,根据目前的信息来看,DataWorks官方文档和社区讨论中并没有直接提及Paimon作为目标存储的支持情况。因此,如果DataWorks想要支持Paimon作为目标存储,可能需要满足以下条件之一:

    1. 官方支持:DataWorks官方更新其产品特性,明确支持Paimon作为数据同步的目标存储。
    2. 社区贡献:社区成员或者合作伙伴开发了相关的插件或适配器,使DataWorks能够支持Paimon。
    3. 定制开发:企业用户可以根据自身需求,通过定制开发的方式实现DataWorks到Paimon的数据同步。

    如果您希望DataWorks支持Paimon作为目标存储,建议采取以下行动:

    • 反馈需求:向DataWorks的官方社区或者技术支持反馈您的需求。这样可以增加官方考虑添加这一特性的可能性。
    • 关注更新:定期关注DataWorks的官方文档和更新日志,了解是否有新的特性发布。
    • 自行探索:如果您有一定的技术背景,也可以尝试自行探索使用Flink CDC或其他方式将数据同步到Paimon的可能性。

    如果需要具体的实现方案或者更多的技术支持,请提供更详细的信息,我会尽力帮助您解决问题。

    2024-08-25 13:54:48
    赞同 1 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载