开发者社区> 问答> 正文

Flink与MySQL对接相关的问题

大家好!

使用Flink与MySQL对接的过程中,遇到如下的问题:

1. MySQLCatalog目前未支持,对MySQL中的表进行读写需要先通过DDL进行声明,由于表中的字段比较多,操作起来会比较繁琐。搜查了一遍,发现目前社区对这个支持还没有列入计划。如果可以推动在1.13开发支持该Catalog,那就太好了。 https://issues.apache.org/jira/browse/FLINK-15352 https://issues.apache.org/jira/browse/FLINK-15350

2.不支持针对部分字段的插入更新; https://issues.apache.org/jira/browse/FLINK-18726

3.大表查询的时候非常慢,例如几百万条记录的表,可能是过滤下推的问题;

4.float类型的字段在UPSERT模式时无法更新。这应该是一个bug。

MySQL使用的范围比较广,如果解决上面的问题,对接Flink将容易很多。 大家有没有一些建议推动一下?

参考: https://cwiki.apache.org/confluence/display/FLINK/1.13+Release*来自志愿者整理的flink邮件归档

展开
收起
JACKJACK 2021-12-08 15:52:37 1384 0
1 条回答
写回答
取消 提交回答
  • 对的是我!

    下推的问题也有一个bug在跟踪: https://issues.apache.org/jira/browse/FLINK-18778*来自志愿者整理的flink邮件归档

    2021-12-08 16:49:27
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
搭建电商项目架构连接MySQL 立即下载
搭建4层电商项目架构,实战连接MySQL 立即下载
PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

相关镜像