使用flink 做维表关联
hi 大家好： 最近有在调研使用flink做实时数仓，但是有个问题没弄清楚，就是明细表和维度表做join的时候，该采取什么的方案？目前的想到的就是明细表通过流消费进来，维度表放缓存。但是这种方案有弊端，就是维度表更新后，历史join过的数据无法再更新。不知道大家还有什么其他的方案？ps：目前有看到flink有支持join，这种需要两个表都是流的方式进入flink，然后会将历史的数据保存在state里面，这种对于量大的表会不会有问题？*来自志愿者整理的flink邮件归档
展开
收起
1
条回答
写回答
写回答
-
Flink l.9 SQL 中支持 HBase 作为维表，不过是没有缓存的，直接来一条，去HBase 查询一条，我们这边使用 HBase
，反正20000 QPS 能够处理到。
这种场景，应该能够 Cover 一些常见的场景的。
当然，如果你们公司有其他的存储，你可以在 SQL 中自定义维表即可。具体查看 LookupableTableSource。
*来自志愿者整理的flink邮件归档
2021-12-08 13:57:52赞同 展开评论 打赏
问答分类：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
