请教初始化系统缓存的问题
大家好，初学flink，版本1.8.1。想请教一个思路问题：在物联网系统中会实时处理一些设备上来的状态数据，但是设备元数据信息或者基础数据会存储在类似MySQL数据库中，当实时流数据上来的时候需要这些基础数据进行计算。但是因为性能问题，不能实时的去数据库获取，所以需要在系统启动的时候缓存起来，然后再开始收数据或者开始处理数据。数据来源kafka。 请教2个问题：
- 有什么方式能否保证数据开始处理的时候，基础数据已经缓存好了，可以在流处理中获取到（类似valueState），算子的open函数似乎不能写到valueState里面去，只能初始化state。
- 当基础数据在数据库中有变化的时候，如何实时的通知到处理流中，更新缓存？（广播流？）*来自志愿者整理的flink邮件归档
展开
收起
1
条回答
写回答
写回答
-
你好，可以考虑在open方法里启动一个定时的线程去取mysql里去数据和进行缓存更新。 当有新数据流入到你的系统中时，可以判断定时线程数据加载是否完成，当数据加载完成后再进行数据处理。 希望能有帮助~*来自志愿者整理的flink邮件归档
2021-12-08 19:22:44赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
