开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

oceanbase cdc能够连接上logproxy读不到数据是怎么回事 ,哪位遇到过这个问题

oceanbase cdc能够连接上logproxy读不到数据是怎么回事 ,哪位遇到过这个问题

展开
收起
游客3oewgrzrf6o5c 2022-08-30 14:26:43 621 0
7 条回答
写回答
取消 提交回答
  • OceanBase CDC(Change Data Capture)连接上了 LogProxy 却读不到数据,可能是由以下几个原因导致的:

    1. 配置问题:

      • 数据库实例或表未被正确配置在LogProxy的监控范围内,需要确保想要获取CDC数据的数据库和表在LogProxy的白名单中。
      • 用户权限不足,需要检查负责CDC读取的用户账号是否具备足够的权限访问目标数据库和表。
    2. CDC开启状态:

      • 确认OceanBase集群中CDC功能是否已正确启用,并且对应的数据库或表开启了CDC。
    3. LogProxy版本兼容性:

      • 使用的LogProxy版本可能与OceanBase数据库版本不完全兼容,需要确保两者是匹配的。
    4. 网络问题:

      • CDC服务与LogProxy、OceanBase集群之间的网络连接可能出现不稳定或断开,导致无法正常拉取数据。
    5. 系统状态异常:

      • OceanBase集群内部可能存在异常状态,如主备切换、节点故障等,导致LogProxy无法正常获取到CDC数据。
    6. 数据不存在或无变化:

      • 如果CDC任务开始时,目标表没有符合条件的增量数据,或者在CDC启动后这段时间内,目标表没有发生任何数据变动,那么CDC自然无法读取到任何数据。
    7. 日志堆积或未及时清理:

      • 如果LogProxy产生的日志堆积严重,或者是清理策略不当,可能导致CDC无法及时读取到最新数据。

    解决这类问题时,建议按照以下步骤进行排查:

    • 检查并验证LogProxy的配置文件。
    • 查看LogProxy的日志,查找是否有错误或警告信息。
    • 检查OceanBase集群的状态,包括但不限于CDC配置、网络连接、系统日志等。
    • 确认目标表的数据变动情况以及CDC任务启动的时间点。
    2024-01-09 16:28:40
    赞同 展开评论 打赏
  • 数据库实例或表没有开启CDC功能:确保在OceanBase数据库中需要同步的表开启了CDC(Change Data Capture)。

    2024-01-05 10:02:46
    赞同 展开评论 打赏
  • 十分耕耘,一定会有一分收获!

    楼主你好,连接上logproxy但无法读取数据可能有多种原因,先去检查logproxy的状态和运行日志,确保logproxy服务正常运行,没有错误或异常日志。

    然后再去检查CDC配置,确保CDC的配置正确,包括正确指定logproxy的地址和端口,检查CDC的配置文件是否正确,并确认连接字符串、用户名、密码等信息都是正确的。

    2024-01-03 19:27:09
    赞同 展开评论 打赏
  • 用下面的测试包,先用它来测一下 oblogproxy 能否正常工作,使用说明可以参考里面的 readme。

    https://github.com/oceanbase/oblogclient/releases/download/logclient-1.0.7/oblogclient-demo.zip
    

    image.png

    ——参考来源于OceanBase社区

    2024-01-02 20:27:19
    赞同 1 展开评论 打赏
  • 天下风云出我辈,一入江湖岁月催,皇图霸业谈笑中,不胜人生一场醉。

    连接配置错误:请确保您的连接配置正确。检查您的连接参数是否正确,如用户名、密码、主机名、端口等。
    数据源配置错误:请检查您的数据源配置是否正确。请确保您的数据源地址、端口、用户名、密码等配置正确。
    数据同步问题:如果您的数据源是数据库,可能需要等待数据同步完成。请检查您的数据同步设置是否正确。
    权限问题:请确保您的 oceanbase cdc 账户拥有读取数据的权限。

    2023-12-29 10:35:57
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    OceanBase CDC能够连接上LogProxy,但是读不到数据,可能是由以下几个原因导致的:

    1. LogProxy未启动或者配置有误:请确保LogProxy已经正确启动,并且配置了正确的日志路径和过滤规则。你可以在LogProxy的配置文件中检查这些设置。
    2. OceanBase CDC的配置有误:请检查OceanBase CDC的配置文件,确保连接参数、日志路径和过滤规则设置正确。你也可以在OceanBase CDC的日志文件中查找有关连接和读取数据的详细信息。
    3. 权限问题:请确保OceanBase CDC和LogProxy具有足够的权限来访问和读取日志文件。你可以在日志文件中查找有关权限不足的错误信息。
    4. 数据过滤问题:请检查OceanBase CDC的过滤规则,确保你正在读取正确的日志数据。你可以在OceanBase CDC的配置文件中修改过滤规则。
    5. 其他原因:如果以上几点都没有问题,可能是其他未知原因导致OceanBase CDC无法读取数据。你可以尝试查看OceanBase CDC和LogProxy的日志文件,以获取更多关于问题的详细信息。在这些日志文件中,你可能会找到有关故障的线索,从而解决问题。
    2023-12-27 20:39:47
    赞同 展开评论 打赏
  • 问题解决了,是因为之前做压力测试的时候,把租户级别的binlog的full模式关闭了,开启后同步就正常了。 Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others. Type ‘help;’ or ‘\h’ for help. Type ‘\c’ to clear the current input statement. MySQL [(none)]> MySQL [(none)]> MySQL [(none)]> show variables like ‘%bin%’; ±--------------…

    参考https://ask.oceanbase.com/t/topic/35603609

    image.png

    2023-12-27 11:50:11
    赞同 展开评论 打赏
滑动查看更多

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
开源HTAP OceanBase产品揭秘 立即下载
云数据库OceanBase 架构演进及在金融核心系统中的实践 立即下载
自研金融数据库OceanBase的创新之路 立即下载