开发者社区 > 大数据与机器学习 > 正文

flink任务里面能用本地缓存吗(比如把数据存在HashMap里)?我把分库分表的表关系(如user

flink任务里面能用本地缓存吗(比如把数据存在HashMap里)?我把分库分表的表关系(如user0~user1000写到user表)缓存在HashMap里,把任务提交到集群环境后,HashMap打印出来发现是空的;在本地运行时是有值的

展开
收起
真的很搞笑 2023-04-26 15:37:53 105 0
1 条回答
写回答
取消 提交回答
  • 可以,使用的是堆内存,尽量不要用,这个应该不是写死的吧,是不是集群环境和数据源没有ping 通,弄个redis,也可以实现,你存在hashmap中的那个value,未必就存在于那个Task所在的TM所在的节点内存里,本地运行有值是因为你是用的本地模式,相当于只有一个节点,我也怀疑是这个原因,准备用redis,此回答整理自钉群“Flink CDC 社区”

    2023-04-27 16:06:39
    赞同 展开评论 打赏

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载