问题一:用flink cdc取到的数据是这样的 , 如何去加工成需要的样式?
用flink cdc取到的数据是这样的 , 如何去加工成需要的样式?
参考答案:
你用flink streaming api去解析这个json数据就可以了啊,根据op类型去加rowkind ,
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/587190
问题二:请问flink cdc 能接华为gaussdb吗,有官方回答吗?
请问flink cdc 能接华为gaussdb吗,有官方回答吗?
参考答案:
Flink CDC可以连接到华为云的GaussDB,实现数据的同步和处理。使用Flink CDC和GaussDB可以实现实时数据同步,以支持实时数据分析和处理。
具体来说,Flink通过JDBC连接器来连接GaussDB。在实际操作中,需要下载并使用华为云DWS数据仓库服务的JDBC驱动包。此外,Flink Server对GaussDB(DWS)8.1.x及之后版本的支持也得到了确认。
需要注意的是,Apache Flink的CDC功能主要支持MySQL、PostgreSQL、Oracle、SQL Server等数据库。对于GaussDB(for MySQL),建议查阅Flink CDC的官方文档和发布说明,查看是否有特定版本支持GaussDB。同时,每种数据库可能需要一个特定的flink-connector来进行迁移。
总的来说,对接Flink CDC和GaussDB是可行的,但具体的步骤和配置可能因版本和需求而异,建议参考官方文档和相关实践案例进行操作。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/587189
问题三:Flink CDC这里传json,双引号会被去掉,怎么办?
Flink CDC这里传json,双引号会被去掉,怎么办?用这个拿参数:ParameterTool parameterTool = ParameterTool.fromArgs(args);
参考答案:
base64编码一下
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/587188
问题四:flinkcdc 设置并行度4的时候老出现不能跑,换成1现在才正常,有知道这个并行度和什么有关系吗?
mysql to doris ,flinkcdc 设置并行度4的时候老出现不能跑,换成1现在才正常,有知道这个并行度和什么有关系吗?
参考答案:
binlog只能单线程消费,你可以根据情况调整source之后的map和sink的并行度,把它们拆开
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/587187
问题五:请教下Flink CDC各位老师 ,百亿数据三张表关联 有什么好的方案?
请教下Flink CDC各位老师 ,百亿数据三张表关联 有什么好的方案?
参考答案:
加条件,关联要到位或者做成小表
关于本问题的更多回答可点击进行查看: