维度表 处理时间怎么做？
大佬们好，我们现在有个场景，是left join mysql维度表的，但是更新比较慢，大概10分钟更新一条，但是事实表速度比较快，每秒几万条。并且需要更新最新数据。如果采用mysql cdc形式，那水位对等就要较长延迟。有什么好方式能够join到最新数据吗，使用处理时间？*来自志愿者整理的flink邮件归档
展开
收起
1
条回答
写回答
写回答
-
只需要最新的维表数据，可以用处理时间，这样是事实表每条都实时去查mysql最新维表数据；
如果业务可以接受近似最新的维表数据，也可以将查询的维表结果通过缓存优化，减少访问mysql io访问，这两个参数：
lookup.cache.max-rows"
lookup.cache.ttl
祝好，
Leonard
[1] https://ci.apache.org/projects/flink/flink-docs-master/zh/docs/connectors/table/jdbc/#%E8%BF%9E%E6%8E%A5%E5%99%A8%E5%8F%82%E6%95%B0*来自志愿者整理的flink邮件归档
2021-12-01 17:38:05赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
