开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flinkcdc postgreSQL支持指定时间戳消费吗,?大佬们

flinkcdc postgreSQL支持指定时间戳消费吗,大佬们

展开
收起
真的很搞笑 2023-07-02 17:18:33 70 0
3 条回答
写回答
取消 提交回答
  • 根据最新的信息,Flink CDC 的 PostgreSQL Connector 目前还不支持直接指定时间戳进行消费。目前只有 MySQL 和 MongoDB 支持通过指定时间戳来进行数据同步。

    如果您需要在 Flink CDC 中使用 PostgreSQL Connector 并指定时间戳进行消费,目前的解决方案是通过下游来处理。您可以在 Flink CDC 将数据写入 Kafka 或其他消息队列后,使用下游的应用程序从指定时间戳开始消费数据。

    如果您确实需要在 PostgreSQL Connector 中支持指定时间戳消费的功能,可以考虑向 Flink CDC 社区提交一个相关的 issue,并提出您的需求。社区的开发者们会根据需求评估和计划相关的功能更新,并在后续版本中进行安排。

    2023-07-30 11:02:25
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    是的,Flink CDC 的 PostgreSQL Connector 支持指定时间戳消费。
    在 Flink CDC 中,可以使用 startup-options 配置项指定 CDC 数据同步任务的启动选项,其中就包括指定的起始时间戳。具体配置方式可以参考 Flink CDC 官方文档。
    在 PostgreSQL Connector 中,可以使用 startup-offsets 或者 startup-options 配置项指定 CDC 数据同步任务的起始位置。其中,startup-offsets 配置项指定 CDC 日志中的偏移量作为起始位置;而 startup-options 配置项则可以指定起始的时间戳。下面是一个使用 startup-options 配置项指定起始时间戳的例子:
    sql
    Copy
    CREATE TABLE source_table (
    id INT PRIMARY KEY,
    name VARCHAR(32)
    ) WITH (
    'connector' = 'postgresql-cdc',
    'hostname' = 'localhost',
    'port' = '5432',
    'username' = 'postgres',
    'password' = 'postgres',
    'database-name' = 'test',
    'table-name' = 'source_table',
    'startup-options' = 'start_time=2022-01-01 00:00:00'
    );
    在上面的例子中,指定了起始时间戳为 2022-01-01 00:00:00。当 Flink CDC 启动时,会从该时间戳开始同步数据。

    2023-07-30 10:05:38
    赞同 展开评论 打赏
  • 好像不支持 我也想有这样的能力 现在是通过下游来解决的。现在还不支持,记得就mysql 和 mongo支持,可以去社区开个issue,后面版本安排上,此回答整理自钉群“Flink CDC 社区”

    2023-07-02 17:23:32
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
金融级 PostgreSQL监控及优化 立即下载
PostgreSQL在哈啰的实践-周飞 立即下载
PostgreSQL高并发数据库应用数据 立即下载