正在通过flink cdc 做一张宽表。因为需要的字段都分散在很多表里面,所以join 很多。现在是每个表都给他建一个flink 表,然后在join。 我这样写合理吗?
根据您的描述,您正在使用 Flink CDC 进行宽表处理,并且需要将多个表连接在一起。在这种情况下,为每个表创建一个单独的 Flink 表并执行 join 操作是合理的。
然而,这种方法可能会导致一些问题,例如:
因此,建议您考虑以下解决方案:
INNER JOIN
、LEFT JOIN
等)来执行 join 操作。这样可以简化代码并提高可读性。你的查询语句看起来是合理的。你正在使用Flink CDC从多个表中获取数据,并进行了多次内连接和左连接操作。这种查询方式在处理大量数据时可能会遇到性能问题,因为每次连接都需要遍历所有的表。
然而,如果你的表非常大,或者你的查询非常复杂,那么这可能会导致内存不足的问题。在这种情况下,你可能需要优化你的查询,或者考虑使用更高效的数据处理工具,如Apache Spark或Hadoop。
此外,你的查询中有一些语法错误,例如在JOIN操作符和字段名之间没有空格,以及在WHERE子句中的LEFT JOIN关键字拼写错误。你需要修复这些错误才能使查询正确执行。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。