小小杳杳杳_个人页

个人头像照片 小小杳杳杳
个人头像照片
0
1991
0

个人介绍

暂无个人介绍

擅长的技术

获得更多能力
通用技术能力:

暂时未有相关通用技术能力~

云产品技术能力:

暂时未有相关云产品技术能力~

阿里云技能认证

详细说明
暂无更多信息
暂无更多信息
正在加载, 请稍后...
暂无更多信息
  • 回答了问题 2024-05-07

    Flink CDC里使用同步mysql数据时 无法指定需要的时区,只能按数据库本身的时区进行设置?

    建议是一个实例一个同步任务,不要放在一个job。作业失败修复的代价会很大。如果你的上游不统一,那就暂时适配下。也可以写到kafka,然后你统一拉kafka。source只管拉和时区处理,kafka才是你真正的处理层。时区是按照实例的,不是按照表。只需要处理实例就行 mysql ->kafka kafka ->flink-sink。不是。sourcebuilder .set时区就行,默认是utc。86ca342adc9583be72beac779090013b.png是的,mysql不是utc,你现在按照utc来匹配不对的,你要按照mysql的时区来拿数据。28800 seconds 刚好是8小时。4e6a6d31d448e0c34bbe37c8588f715e.png只需要针对下不是utc时区的改下代码就行,最简单也是最好的办法就是上游改时区。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-05-07

    Flink CDC里有没有实现过flink-sql-rabbitmq-connector的连接器啊?

    参考:
    https://github.com/apache/flink-connector-rabbitmq
    。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-05-07

    Flink CDC里为啥cp会被删除呢?

    pod删了,ckp如果保存的不是远程地址被删除是正常的。一般都是存对象服务里面。mysql的普通实例写入能力是有限的,你再加东西也不见得能变快。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-05-07

    flink cdc 1.17.2需求怎么实现?

    如果只是仅仅保证最新一条数据的话,我觉得还不如直接一个topic一个分区一个并行度,更新写,当然如果数据量大,可以并发写多个字段,每个并行度写一个,然后取多个字段的最新的数据再合并,这个只是我的思路,因为我不知道你具体想要做啥,但是有主键就可以,不过还是要看你们底层的数据库是啥,我们是doris 可以这么干。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-05-07

    Flink CDC里这个必须使用没有增量快照的模式进行同步吗?

    要开启checkpoint。ace104d9da103f6cb15736da335da4af.png此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-05-07

    flinkCDC api方式同步的时候配置这个参数是全量+增量吗?

    没有开启CK吧。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-05-07

    Flink CDC里mysql读到kafka,这么看到进来了多少条,这个监控界面看不到么?

    全量不是读的binlog,采用的无锁读取算法,可以看一下相关的文档。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-05-07

    flinkcdc支持pg库9.x版本的吗?

    参考图片:94e6f7ad881aa47e253b7d04f74e68c1.png此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-05-07

    flink cdc 3.0.1 +flink 1.18一直报这个错,设置了忽略也不行怎么办?

    表没主键。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-05-07

    请问下 FLINKCDC SQL 能获取到 数据的状态么?

    能啊,RowData数据的getRowKind()方法能得到操作类型。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-05-07

    Flink CDC3.0.1支持tables.exclude吗?

    3.1支持,你可以把代码复制到3.0.1然后重新打个mysql-pipeline包就行。自己开个3.0.1的分支,把相关pr的代码cv到3.0.1,重新打个jar就行。自己fork一下源仓库。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-05-07

    flink-cdc 运行一段时间就报错,是软件版本兼容性问题吗?

    看起来像是 pekko超时。3.1会修复,
    https://github.com/apache/flink-cdc/pull/3128
    。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-05-07

    Flink CDC里mysqlcdc ->doris删除数据没生效是什么原因?

    doris的没有primary表,unique相当于主键表。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-05-07

    Flink CDC里一般轨迹点数据用什么数据库存比较好?

    图数据库。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-05-07

    Flink CDC里 我指定A库的一张表,报错提示B库的元数据不存在是为什么?

    pipeline方式先拿所有schema然后过滤出a库的信息的。.是需要转义, a..246f7a9986e242c0cb6ac607e5e4b267.png此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-05-07

    flink cdc任务,突然断点的情况,flink重启后,任务还可以从cp重启的吗?

    自动重启从ckp,手动重启自己选择sp。ckp 是系统做的,sp是手动做的。手动也可以从ckp启动,前提是你保存了,默认不保存的。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-05-07

    Flink CDC里oraclecdc监听任务正常启动,监听不到oracle的数据变化,怎么排查?

    配置不对。90e92eff431217f4760deae62f761dae.png9d22d0060e2fe5b661fb7e0570800626.png09490d57c0c96574882f485e5477f0d7.png数据库是pdb还是cdb,这两种配置有点区别。还不行的话你只能去打断点调试了。b7a46c09d04b168c0eb2c5dd8279864f.png7286dfd7363c082d9496fa227664a0ca.png此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-05-01

    Flink CDC现在支持高斯db了么?大概什么时候支持呢?

    不是不支持,高斯db是基于pgsql魔改的,或许你试试魔改或者debezium什么时候支持。参考
    https://gitee.com/opengauss/debezium
    。此回答来自钉群Flink CDC 社区 。

    踩0 评论0
  • 回答了问题 2024-05-01

    请问flink cdc 支持从mysql到pg的表结构允许有几个字段不同的情况吗?

    flink cdc 不支持从mysql到pg的表结构同步。也不支持pipeline。结构不一样,请看下jdbc连接器对应的data type mapping。此回答来自钉群Flink CDC 社区 。

    踩0 评论0
  • 回答了问题 2024-05-01

    Flink CDC里大家有用oracle-cdc采集过达梦数据库吗?

    不支持。此回答来自钉群Flink CDC 社区 。

    踩0 评论0
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息