flink cdc 这边可以用于监测DDL的变动吗？

展开

收起

三分钟热度的鱼 2023-11-22 19:44:28 388 0

4 条回答

写回答

取消提交回答

sunrr

是的，Apache Flink的Change Data Capture (CDC)特性可以用于监听和消费数据库的DDL变更。Flink CDC可以捕获数据库上的所有数据更改，包括插入、更新和删除操作，以及DDL操作。然后，这些变更可以被进一步处理和应用，例如用于实时数据转换或者数据一致性检查等。

2023-11-28 10:58:16

赞同展开评论打赏
wljslmz

公众号：网络技术联盟站，InfoQ签约作者，阿里云社区签约作者，华为云云享专家，BOSS直聘创作王者，腾讯课堂创作领航员，博客+论坛：https://www.wljslmz.cn，工程师导航：https://www.wljslmz.com

对于监测数据库表结构的 DDL（Data Definition Language）变动，Flink CDC 并不直接支持。DDL 变动通常指的是对数据库表结构的变更，比如添加字段、修改字段类型等操作。Flink CDC 主要关注的是数据本身的变化，而不是表结构的变化。

如果您需要监测数据库表结构的变动，一种常见的做法是使用其他专门用于监测数据库 schema 变更的工具或服务。这些工具可以通过订阅数据库的元数据变更事件，来实时监测表结构的变化，并进行相应的处理。

2023-11-24 22:39:13

赞同展开评论打赏
小周sir

面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。
Apache Flink CDC (Change Data Capture) 是一项功能强大的技术，能够捕捉数据库中的更改并将这些更改转化为实时流数据，从而可以实现实时数据处理。然而，默认情况下，Flink CDC 并不能检测 DDL（数据定义语言）的更改，因为它主要是用来捕获数据层面的变化，例如表中数据的插入、更新和删除操作，而不是数据库结构层面的变化。
如果您想要使用 Flink CDC 捕获 DDL 变更，需要采取额外的措施，例如使用 Debezium 连接器，这是一个开源的分布式平台，可以用于捕获数据库变更事件并将其转换为流数据。您可以使用 Debezium 连接器连接到 Oracle 数据库，并配置 Debezium 以捕获 DDL 变更，如下所示：
```
    connector.name=io.debezium.connector.oracle.OracleConnector
    connector.class=io.debezium.connector.oracle.OracleConnector
    offset.storage.file.filename=/path/to/file
    offset.flush.interval.ms=60000
    offsets.topic.replication.factor=1
    database.hostname=<hostname>
    database.port=<port>
    database.user=<username>
    database.password=<password>
    database.server.id=18454
    database.dbname=<dbname>
    database.pdb.name=<pdb_name>
    table.whitelist=<schema>.<table>
    schema.history.kafka.bootstrap.servers=<bootstrap_servers>
    include.schema.changes=true
```
2023-11-22 22:01:52

赞同展开评论打赏
圆不溜秋的小猫猫

可以的哈，但是也要看下游的适配情况。https://help.aliyun.com/zh/flink/developer-reference/create-database-as-statement?spm=a2c4g.11174283.0.i1#section-6cg-tqj-k0s https://help.aliyun.com/zh/flink/developer-reference/create-table-as-statement?spm=a2c4g.11186623.0.0.6a0f642bCxTgvp#bfb235902bmel 此回答整理自钉群“实时计算Flink产品交流群”

2023-11-22 19:48:42

赞同展开评论打赏