问题一:在使用 Flink CDC 同步时,如何解决这个问题呢?
在使用 Flink CDC 同步 MySQL 数据到 Doris 的 unique key 表时,我能够同步更新操作,但删除操作却没有被同步。我不确定是不是我的代码配置有问题。以下是我的 source 端和 sink 端的配置。我使用的是版本2.0.1,目前在 unique key 和 duplicate 模型的表中都无法同步删除操作。如何解决这个问题呢?
参考答案:
doris 1.2.2 有 delete 不生效的问题。不知道是不是你这个版本。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/605813
问题二:现在flinkcdc 3.0 类型的值,sr与mysql 不一致, 是哪里出问题了么?
现在flinkcdc 3.0 mysql to starrocks, float 类型的值,sr与mysql 不一致, 是哪里出问题了么,还是现在不支持 float类型?
参考答案:
看官方文档下面的字段类型映射关系
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/605810
问题三:Flink CDC里 sink写入doris支持根据流里面的tableName自定义写入表吗?
Flink CDC 里flick sink写入doris支持根据流里面的tableName自定义写入表么?
参考答案:
需要写route,一个表一个。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/605805
问题四:Flink CDC 里 这个pr 支持首次全量写入kafka?
Flink CDC 里 这个pr 支持首次全量写入kafka? 直接jdbc 从数据库拉取数据,也是输出 debeium-json and canal-json ?
参考答案:
支持。但是只输出数据的json
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/605804
问题五:尝试在3台768G内存机器上跑1000个Flink任务,但面临配置问题导致任务无法正常运行怎么办?
尝试在3台768G内存机器上跑1000个Flink任务,但面临配置问题导致任务无法正常运行。尽管调整了Yarn虚拟内存至超过物理内存,配置JobManager为1024可以运行880个任务,仍然存在内存分配不均和Swap满载的问题。调整单个任务的TaskManager(默认1500)后仍出现内存溢出,有解决办法吗?
参考答案:
如果并行度是多个的话,一个任务会有多个tm,可以手动kill掉分布不均的机器上的tm,不会影响flink的任务运行,只要不全部杀死,会重新分配,只不过这种方式比较粗暴。tm可以先根据负载重的机器ip去找 会快些。
关于本问题的更多回答可点击进行查看: