备案控制台
探索云世界

小小杳杳杳_个人页

个人头像照片 小小杳杳杳
个人头像照片
文章
0
问答
1920
视频
0

个人介绍

暂无个人介绍

擅长的技术

获得更多能力
通用技术能力：

暂时未有相关通用技术能力~

云产品技术能力：

暂时未有相关云产品技术能力~

阿里云技能认证

详细说明
暂无更多信息

2024年04月

正在加载, 请稍后...
暂无更多信息
  • 回答了问题 2024-04-26

    Flink cdc任务在同步过程中 新增同步表后选择全量初始化历史数据，什么时候开始增量？

    binlog从最初的位点开始，建议你新增大表走个单独的job。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-04-26

    Flink cdc任务运行中，日志出现这种情况，任务的checkpoint一直是成功状态然后咋办？

    由于内存不足引发了GC。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-04-26

    如果我要同步A库的所有表数据到目标B库，通过FlinkCDC会对目标库产生压力吗？

    会的。源头增量没啥影响。主要抽历史数据，还有带宽。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-04-26

    ClickHouse和Doris选哪个好？我们一般就一台机器，也不支持sse4.2指令。

    单机的话可以选clickhouse，集群选Doris。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-04-26

    使用 flink cdc 从 MySQL 同步数据到 StarRocks，现在要怎么做？

    可以指定savepoint。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-04-23

    Flink CDC里MySQL中，这是什么回事？

    d50831efc4a49c5c3a0720530f3f32a7.png我13位的就是毫秒呀。source里面的tm——ms。source里面的ts_ms是binlog时间，外层的ts_ms的是进入flink的时间。13位就是毫秒。eb495faa689a9d9556c59cba330a11de.png你多刷点数据。在MySQL的二进制日志（binlog）中，事件的时间戳默认精确到秒，而不是毫秒。这意味着事件的时间戳是以秒为单位进行记录，而没有记录毫秒级别的精度。
    在MySQL 5.6及更早版本中，二进制日志记录的时间戳精度确实仅限于秒。然而，从MySQL 5.7开始，MySQL引入了新的格式，称为“microsecond precision”，它允许时间戳精确到微秒级别（即百万分之一秒）。这个新的格式在记录时间戳时提供了更高的精度。
    你可以通过在MySQL配置文件中设置log_timestamps参数来控制二进制日志的时间戳格式。将log_timestamps设置为'ON'将启用微秒级精度，而设置为'OFF'将回到秒级精度。默认情况下，该参数设置为'ON'，从MySQL 5.7.23开始。
    无论是秒级精度还是微秒级精度，你都可以根据应用程序的需要来选择适当的精度级别。你可以看看相关资料确认下，这个是ai回答的结果。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-04-23

    Flink CDC里sqlserver CDC 到mysql 有没有办法搞？3.0吗？

    单表同步可以搞。不是，单表同步，你能力强可以ds一个任务就搞定。那你就sql，一个写一个对应。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-04-23

    Flink CDC里sqlserver 搞不懂这个报错，不知道为啥还扯上kafka了？

    这个问题，我们已经拿到最新的 SP 文件，从历史记录来看，应该是这个SP有问题，大小只有历史SP的四分之一，我们重做了一次全量处理，然后重新发布 task，生成新的 sp，就没问题。但是至于为啥通过这个SP启动不报错，就不知道原因了，可能是做 SP 的时候出问题了，CDC应该没问题。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-04-23

    Flink CDC里代码里设置了这个怎么办？

    这种一般都是放在properties配置类里面。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-04-23

    Flink CDC里这个问题有人碰到过吗？

    如果主键是id的是无符号数字，这个就会序列化失败，把无符号去掉。c9603e46af8c72a64c86da74f975d869.png这样解决。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-04-23

    Flink CDC里mysql cdc 正则匹配需要抽取的表 抽取任务启动后 怎么实现这个目标？

    pipeline目前不支持。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-04-23

    flink cdc去读sqlserver2016版本数据库的数据，可以使用什么版本的CDC连接器？

    首先你可以确认下你的新lib是不是已经生效了，其次如果仍然不行，可以尝试回调版本，不过官方给出的版本列表都是经过测试的，所以应该不会有问题的。用 sql client，我记得要上传包到 session lib ，然后要重启集群吧？很久没试过 sql 了，不太确定了。关于这个，你可以参考每个版本的 release note，我用 MySQL 和非RDB的比较多，MSSQL没用过，看下知道了。MySQL 之前是优化过全量阶段的锁表扫描的。其他的不确定。你用2.4.2就行，另外升级下flink集群吧，太低了，1.17也支持的。74f6525a347030e8690681d1fd34ce53.png5874ba0f184fa3426f2f747ab90351e1.png此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-04-23

    Flink CDC里flinksql 怎么设置uid？

    这个是运维平台。非要sql设置，也可以，SET 'execution.savepoint.path' = '/tmp/flink-savepoints/savepoint-cca7bc-bb1e257f0dab';看文档
    https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/dev/table/sqlclient/#sql-client-configuration
    002a446dc01d86c85284783ccaafdacf.pngfac189b1f0b2ed6d4b265706cadb9c76.png此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-04-23

    Flink CDC里提交两个任务读取sqlserver cdc怎么办？

    参考
    https://github.com/apache/flink-cdc/issues/709
    有相关issue。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-04-23

    Flink CDC里中文乱码是怎么回事？

    要么就是服务器的编码问题。要么是工程问题，有异常才会重头开始。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-04-23

    Flink CDC里我从一个kafka消费多种不同格式的json数据，接下来怎么办？

    不是bug 是你多个循环把flink的执行拓扑图搞乱了；导致后续根据uid查找cp找不到嘞。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-04-23

    flinkcdc是不是必须布置在flink集群的某一台机器上呢？

    其他服务器上需要flink运行的环境，yarn，k8s，stanalone。可以远程提交。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-04-23

    flink cdc2.3版本全量数据读取阿里云rds数据库，怎么减少全量读取的过程中数据库的压力呀？

    分批次。默认8096，要是有主键没影响。不会啊，一批才8096条，不要搞太多并行度就好了。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-04-23

    为啥看不到 flink cdc 支持数据库版本范围？为啥不维护？

    在github，Apache。有啊bc56122594c1d0b9a5887b79d2c4961f.jpg参考
    https://nightlies.apache.org/flink/flink-cdc-docs-master/zh/docs/connectors/overview/
    这个新的git没了，2.3.0的还有。此回答来自钉群Flink CDC 社区。

    踩0 评论0
  • 回答了问题 2024-04-23

    Flink CDC里并行度会任务会有什么影响？是-P这个参数吗？那-s呢？又是什么意思？

    历史数据会生效，多个条件并行执行此回答来自钉群Flink CDC 社区。

    踩0 评论0
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息