AI 助理
备案控制台
开发者社区 大数据与机器学习 实时计算 Flink 正文

flink cdc可以实时同步mysql8到1.1.0的hive么，hive不支持更新删除？

flink cdc可以实时同步mysql8到1.1.0的hive么，hive不支持更新删除？

展开
收起
真的很搞笑 2023-08-01 13:54:36 139 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 清风拂袖

    Flink CDC 可以实时同步 MySQL 8 到 Hive 1.1.0，但是 Hive 1.1.0 不支持更新和删除，所以 Flink CDC 不支持同步更新和删除的操作。

    要同步更新和删除的操作，可以使用 Flink CDC 的 Exactly-Once 语义。Exactly-Once 语义可以保证数据不会被重复写入或丢失，但是它需要额外的存储空间和计算时间。

    另外，也可以使用 Flink CDC 和 Kafka 结合起来来实现更新和删除的同步。Kafka 可以存储更新和删除的操作，Flink CDC 可以从 Kafka 中读取数据并同步到 Hive。

    2023-09-25 18:05:10
    赞同 展开评论
问答分类：
SQL HIVE 流计算 云数据库 RDS MySQL 版 实时计算 Flink版
问答标签：
实时计算 Flink版实时同步 实时计算 Flink版CDC cdc云数据库 RDS MySQL 版 flink云数据库 RDS MySQL 版 实时计算 Flink版cdc mysql
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关问答
实时计算 Flink版
AnalyticDB MySQL如何对Hive数据进行读写
42
1
0
Dataworks数据同步时（mysql->hive）报：Render 怎么办？
51
1
0
DataWorks现需要从mysql将数据同步至hive，需要怎么操作呢？
152
3
0
flinkcdc mysql 到kafka 到 hive 报这个错哪位知道是啥情况么？
77
1
0
flink CDC可以直接将mysql中的数据直接写入到hive中吗？ 有没有相关demo啊 ？
202
1
0
有用flink cdc同步mysql到hive这样搞过的源码吗?
41
0
0
在Flink CDC中， Flniksql 不支持MYSQL写入hive嘛？
46
1
0
AnalyticDB MySQL读取Hive TEXT格式数据
39
1
0
在Flink CDC中同步mysql数据到hive的分区表应该怎么做呢？
70
0
0
使用自建RDS的新建Hadoop集群Hive组件状态异常
39
1
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

相关文章

  • 【YashanDB知识库】列与存储过程中重名变量/别名问题
  • 【YashanDB知识库】如何远程连接、使用YashanDB？
  • 担心YashanDB异构数据库迁移踩“坑”？听听大咖们怎么说
  • 基于Flink CDC 开发，支持Web-UI的实时KingBase 连接器，三大模式无缝切换，效率翻倍！
  • 【YashanDB知识库】自关联外键插入数据时报错：YAS-02033 foreign key constraint violated parent key n

    • 热门讨论

    热门文章

  • Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题
  • flink cdc 有没得官方介绍文档？
  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
  • FlinkKafkaConsumer 1.11的clientId什么的看不到这个怎么解决吗？
  • flink大作业启动频繁报akka.pattern.AskTimeoutException 大家有
  • 请问下大家有没有遇到过这个错:Caused by: java.lang.ClassNotFoundE
  • web-ui 加载会非常慢是什么原因呢？
  • flinkcdc启动，怎么修改默认端口号，默认是8081。
  • 在Flink为什么遇到这个报错后，作业虽然RUNNING，但是却HANG死了？会有什么隐形的坑吗？
  • 请教下，finksql 这个statettl 哪里设置
    • 展开全部
  • 数据仓库介绍与实时数仓案例
  • 权威详解 | 阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算
  • 分布式Snapshot和Flink Checkpointing简介
  • Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示
  • 阿里云实时计算产品案例&解决方案汇总
  • 流计算精品翻译: The Dataflow Model
  • Flink SQL 功能解密系列 —— 流式 TopN 挑战与实现
  • 为什么说流处理即未来？
  • Flink Checkpoint 问题排查实用指南
  • 广告场景下的实时计算
    • 展开全部
    还有其他疑问?
    咨询AI助理