问题一:Flink CDC可以指定时间消费吗?
Flink CDC可以指定时间消费吗?我指定时间消费就报错了
参考回答:
开启checkpoint
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/573684
问题二:Flink CDC多个不同的数据库同步,要共存于同一个flink中运行,需要注意什么?
Flink CDC多个不同的数据库同步,要共存于同一个flink中运行,需要注意什么,比如mysql、oracle、sqlserver要跑在一个flink内
我自己尝试放了多个不同数据库的依赖,就会报一些奇奇怪怪的错误?
参考回答:
这边建议一个db一个job,都是相同的cdc版本
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/573670
问题三:Flink CDC是1.4.4选择CDC那个版本相对稳定呢?
Flink CDC是1.4.4选择CDC那个版本相对稳定呢?
参考回答:
1.14最多2.x了。以后3.0不再支持1.14,建议升级下集群到1.17或者1.16
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/573665
问题四:Flink CDC中mysql的cdc开启binlog权限 这种权限能收缩么 怎么控制的?
Flink CDC中mysql的cdc开启binlog权限 分配一个用户比如叫demo 该用户可以看到全库所有的binlog数据 这种权限能收缩么 怎么控制的?
参考回答:
在 Flink CDC 中,如果您想为用户授予 binlog 权限,并且希望收缩该用户的权限,您可以通过在 MySQL 数据库上进行适当的权限配置来实现。
以下是一种可能的方式来控制用户对 binlog 的访问权限:
- 创建一个新用户:首先,您可以使用 MySQL 的管理员权限创建一个新的用户(例如
demo
),并为该用户分配一个密码。 - 为用户设置合适的权限:接下来,您可以为新用户
demo
授予读取 binlog 的权限。具体的权限可能因 MySQL 版本和要求而有所不同,但通常包括以下步骤:
- 创建一个新角色,并为该角色分配合适的权限。
- 将该角色授权给用户
demo
。
- 限制用户的访问范围:如果您只希望用户
demo
看到特定数据库的 binlog 数据,您可以进一步限制其访问范围。这可以通过将用户demo
限制在特定的数据库或表上来实现。您可以使用 MySQL 的 GRANT 语句来授予或撤销用户对特定数据库或表的访问权限。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/573662
问题五:Flink CDC把mysql的表迁移和同步到doris,为什么呢?
Flink CDC把mysql的表迁移和同步到doris,因为doris不支持doris类型,flink-connector-mysql-cdc 把blob类型变成了text类型了,而且blob中的数据同步到doris的text字段之后变成了base64编码了,为什么呢?
参考回答:
界面展示图片常用的就是解析Blob和base64,这是程序内部做保护了吧,要看下官网数据类型转换,BYTES类型试试,
https://ververica.github.io/flink-cdc-connectors/master/content/connectors/mysql-cdc%28ZH%29.html,写入的时候你cast as string试试
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/573661