flinkcdc postgreSQL支持指定时间戳消费吗,大佬们
根据最新的信息,Flink CDC 的 PostgreSQL Connector 目前还不支持直接指定时间戳进行消费。目前只有 MySQL 和 MongoDB 支持通过指定时间戳来进行数据同步。
如果您需要在 Flink CDC 中使用 PostgreSQL Connector 并指定时间戳进行消费,目前的解决方案是通过下游来处理。您可以在 Flink CDC 将数据写入 Kafka 或其他消息队列后,使用下游的应用程序从指定时间戳开始消费数据。
如果您确实需要在 PostgreSQL Connector 中支持指定时间戳消费的功能,可以考虑向 Flink CDC 社区提交一个相关的 issue,并提出您的需求。社区的开发者们会根据需求评估和计划相关的功能更新,并在后续版本中进行安排。
是的,Flink CDC 的 PostgreSQL Connector 支持指定时间戳消费。
在 Flink CDC 中,可以使用 startup-options 配置项指定 CDC 数据同步任务的启动选项,其中就包括指定的起始时间戳。具体配置方式可以参考 Flink CDC 官方文档。
在 PostgreSQL Connector 中,可以使用 startup-offsets 或者 startup-options 配置项指定 CDC 数据同步任务的起始位置。其中,startup-offsets 配置项指定 CDC 日志中的偏移量作为起始位置;而 startup-options 配置项则可以指定起始的时间戳。下面是一个使用 startup-options 配置项指定起始时间戳的例子:
sql
Copy
CREATE TABLE source_table (
id INT PRIMARY KEY,
name VARCHAR(32)
) WITH (
'connector' = 'postgresql-cdc',
'hostname' = 'localhost',
'port' = '5432',
'username' = 'postgres',
'password' = 'postgres',
'database-name' = 'test',
'table-name' = 'source_table',
'startup-options' = 'start_time=2022-01-01 00:00:00'
);
在上面的例子中,指定了起始时间戳为 2022-01-01 00:00:00。当 Flink CDC 启动时,会从该时间戳开始同步数据。
好像不支持 我也想有这样的能力 现在是通过下游来解决的。现在还不支持,记得就mysql 和 mongo支持,可以去社区开个issue,后面版本安排上,此回答整理自钉群“Flink CDC 社区”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。