Flink现在支持更改 'merge-engine' 模式吗?

Flink现在支持更改 'merge-engine' 模式吗? SQL validation failed. Unable to create a sink for writing table 'oss-paimon.ods.agg_price'.
The cause is following: Change 'merge-engine' is not supported yet. 云产品,全托管flink。

展开
收起
三分钟热度的鱼 2023-10-24 21:06:14 157 分享 版权
3 条回答
写回答
取消 提交回答
  • 根据Flink官方文档,目前Flink不支持更改'merge-engine'模式。因此,如果您在尝试更改'merge-engine'模式时遇到SQL验证失败的错误消息,那么这是预期的行为。

    该错误消息表明无法为表'oss-paimon.ods.agg_price'创建写入的sink,原因是因为更改'merge-engine'模式不受支持。

    2023-10-25 10:56:21
    赞同 展开评论
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    Flink目前似乎不支持更改为'merge-engine'模式。您遇到的错误提示表明在创建名为'oss-paimon.ods.agg_price'的表的写入器时出现了问题,原因是不支持更改为'merge-engine'模式。

    2023-10-24 23:41:36
    赞同 展开评论
  • 是的,Flink现在支持更改merge-engine模式。merge-engine模式用于控制如何将数据写入到Flink的表中。默认情况下,Flink使用deduplicate模式来写入表,这意味着它会删除重复的数据行。但是,你可以更改merge-engine模式为upsertinsert,以便在写入表时保留重复的数据行。
    在使用merge-engine模式更改时,你需要确保你的表和任务程序能够正确处理重复的数据行。如果表中包含重复的数据行,那么你需要确保你的任务程序能够正确地处理这些行,并在写入表时保留它们。
    在使用merge-engine模式更改时,你还需要注意以下几点:

    1. 在使用upsert模式时,你需要确保你的表的分区键和排序键设置正确,以便在写入表时正确地处理重复的数据行。
    2. 在使用insert模式时,你需要确保你的表的分区键设置正确,以便在写入表时正确地处理重复的数据行。
    3. 在使用merge-engine模式更改时,你可能需要更改你的任务程序,以便正确地处理重复的数据行。
    4. 在使用merge-engine模式更改时,你可能需要更改你的表的定义,以便正确地处理重复的数据行。
      总的来说,使用merge-engine模式更改需要仔细考虑和计划,以确保你的表和任务程序能够正确地处理重复的数据行。
    2023-10-24 21:40:36
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理