开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC里从mysql读数据写到hive报这个错,大家有什么解决方法吗?

Flink CDC里从mysql读数据写到hive报这个错,大家有什么解决方法吗?mysql-cdc的版本是2.3.0,cc7362e397996f2ea420d0e1b93693a0.png

展开
收起
小小鹿鹿鹿 2024-01-24 12:32:50 34 0
1 条回答
写回答
取消 提交回答
  • 这个错误信息表明你的 Flink SQL 作业试图将更新和删除操作写入到一个不支持这些操作的 Hive 表中。具体来说,错误信息显示表名是 myhive.ystentant hive defult.mysq_cdc_sink

    要解决这个问题,你可以尝试以下方法:

    1. 检查表类型:确保你的 Hive 表是外部表,并且使用了正确的存储格式(例如 ORC 或 Parquet),这些格式通常支持更新和删除操作。

    2. 更改表结构:如果你的 Hive 表不支持更新和删除操作,你可能需要创建一个新的表来接收来自 MySQL 的 CDC 数据。在创建新表时,请确保它支持更新和删除操作。

    3. 更改 Flink SQL 作业:检查你的 Flink SQL 作业代码,确保它没有尝试执行更新或删除操作。如果确实有此类操作,请修改作业以仅执行插入操作。

    2024-01-26 16:27:34
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Hive Bucketing in Apache Spark 立即下载
    spark替代HIVE实现ETL作业 立即下载
    2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载

    相关镜像