问题一:flink cdc 集群的mysql要怎么写呢?
flink cdc 集群的mysql要怎么写呢?mysql集群存储节点:
10.85.25.201 3213-3216
10.85.25.202 3213-3216
10.85.25.203 3213-3216
10.85.25.204 3213-3216
WITH (
'connector' = 'mysql-cdc',
'hostname' = '??',
'port' = '??',
'username' = 'test',
'password' = 'test',
'database-name' = 'SETL_DB',
'table-name' = 'acct');
参考答案:
在Flink CDC集群中,要配置MySQL集群存储节点,需要将hostname
和port
参数设置为相应的MySQL节点地址和端口。以下是配置示例:
WITH ( 'connector' = 'mysql-cdc', 'hostname' = '10.85.25.201', 'port' = '3213', 'username' = 'test', 'password' = 'test', 'database-name' = 'SETL_DB', 'table-name' = 'acct' )
请根据实际情况替换hostname
和port
的值。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/591620
问题二:请教一个问题,flink1.16.2 sink doris,有哪些参数可以调整优化呀?
请教一个问题,flink1.16.2 sink doris,使用table api字段数超过100个就会提示如下异常,有哪些参数可以调整优化呀?
错误日志报的是oom,但是没找到参数能优化
参考答案:
代码编译相关 建议调一下 metadata space 元数据区(Metaspace)
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/591619
问题三:Flink CDC里读取不到或读取不全消息 请问可能是什么原因?
Flink CDC里flink sql将消息写入upsert-kafka后,再通过upsert-kafka connector读取不到或读取不全消息 请问可能是什么原因?
参考答案:
可能情况:
1.从源头排查,打印数据看是否采集到了;
2.Flink内部过滤逻辑看看,有没有异常操作
3.kafka默认单条存储的限制是1M,可能数据大小引起的,调BATCH_SIZE_CONFIG这个配置。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/592277
问题四:Flink CDC里谁能发下3.0的包吗?公司上不了github怎么办?
Flink CDC里谁能发下3.0的包吗?公司上不了github怎么办?
参考答案:
参考这个:
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/592274
问题五:Flink CDC里阿里flink云服务,流代码访问有白名单策略的数据库,需要添加白名单吗?
Flink CDC里阿里flink云服务,流代码访问有白名单策略的数据库,需要添加白名单吗?
参考答案:
关于本问题的更多回答可点击进行查看: