大家好!
使用Flink与MySQL对接的过程中,遇到如下的问题:
1. MySQLCatalog目前未支持,对MySQL中的表进行读写需要先通过DDL进行声明,由于表中的字段比较多,操作起来会比较繁琐。搜查了一遍,发现目前社区对这个支持还没有列入计划。如果可以推动在1.13开发支持该Catalog,那就太好了。 https://issues.apache.org/jira/browse/FLINK-15352 https://issues.apache.org/jira/browse/FLINK-15350
2.不支持针对部分字段的插入更新; https://issues.apache.org/jira/browse/FLINK-18726
3.大表查询的时候非常慢,例如几百万条记录的表,可能是过滤下推的问题;
4.float类型的字段在UPSERT模式时无法更新。这应该是一个bug。
MySQL使用的范围比较广,如果解决上面的问题,对接Flink将容易很多。 大家有没有一些建议推动一下?
参考: https://cwiki.apache.org/confluence/display/FLINK/1.13+Release*来自志愿者整理的flink邮件归档
下推的问题也有一个bug在跟踪: https://issues.apache.org/jira/browse/FLINK-18778*来自志愿者整理的flink邮件归档
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。