开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中给维表加ttl缓存的那个,他的缓存逻辑是什么?是会提前缓存好一批数据?

问题1:Flink CDC中给维表加ttl缓存的那个,他的缓存逻辑是什么?是会提前缓存好一批数据?还是只是把流表关联的时候用到过的查过来的数据缓存?
问题2:怎么感觉这个ttl设置不顶用呀?我只给他设置了30秒,没看出来他过期了,跑了四十多分钟后还是内存溢出崩掉了。

展开
收起
小易01 2023-07-26 08:33:04 76 0
4 条回答
写回答
取消 提交回答
  • 在 Flink CDC 中给维表加上 TTL 缓存的逻辑通常是通过使用 Flink 的 AsyncFunctionRichAsyncFunction 接口来实现。

    缓存逻辑一般分为两个步骤:

    1. 异步加载数据:在初始化时,使用异步方式从外部存储(如数据库)中加载维表数据,并将其缓存在内存中。这可能涉及到批量加载数据,也可以根据具体需求决定是否需要提前缓存一批数据。

    2. 查询缓存数据:在处理主要数据流时,每次遇到需要与维表进行关联操作时,首先检查缓存中是否存在对应的维表数据。若存在,则直接使用缓存中的数据进行关联;若不存在,则进行异步查询或加载维表数据,并将数据加入到缓存中以供后续使用。

    这种缓存逻辑的好处是能够减少对外部存储的访问次数,提高查询性能和吞吐量。同时,由于维表数据被缓存在内存中,可以更快地响应查询请求,减少对外部存储的依赖。

    值得注意的是,TTL 缓存的设计需要权衡内存资源和数据更新频率。如果维表数据经常发生变化,那么可能需要定期刷新缓存或使用其他机制来保证缓存的数据一致性。

    具体实现细节会因使用的异步函数库、缓存策略和业务需求而有所不同。因此,如果你具体关注某个特定工具或库中的缓存逻辑,请提供更多详细信息以便我能够给出更具体的帮助。

    希望以上信息对你有所帮助!如果还有其他问题,请随时提问。

    2023-07-31 22:28:12
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    在 Flink CDC 中,为维表添加 TTL 缓存的功能是通过 Flink 的状态后端来实现的。具体来说,Flink CDC 使用 Flink 的状态后端来缓存维表数据,并使用 TTL(Time-To-Live)机制来控制缓存数据的生命周期。
    在维表缓存中,TTL 机制通常是指在一定的时间段内,如果某个缓存条目没有被访问或更新,那么该条目就会被自动删除。这样可以避免过期或无用的缓存数据占用过多的存储空间。
    在 Flink CDC 中,维表缓存的具体实现方式依赖于所使用的状态后端,例如 RocksDB 状态后端、Memory 状态后端等。不同的状态后端可能会有不同的缓存逻辑,但通常都会采用类似的 TTL 机制来控制缓存数据的生命周期。
    在 Flink CDC 中,为维表添加 TTL 缓存通常是指在查询维表数据时,先从缓存中查找数据,如果缓存中不存在或已过期,则从数据库中查询数据并更新缓存。Flink CDC 可以通过设置缓存的过期时间和缓存的大小等参数来控制缓存的使用。

    2023-07-29 14:04:46
    赞同 展开评论 打赏
  • 存在即是合理

    给维表加TTL缓存,逻辑是会提前缓存好一批数据。如果维表数据量较大,或者维表变更频率较高,那么这种方式可能会导致内存溢出崩掉。

    问题2,TTL设置不顶用可能是因为设置的时间太短了。如果维表数据量较大,那么建议您可以适当增加TTL时间。

    2023-07-27 14:01:19
    赞同 展开评论 打赏
  • 意中人就是我呀!

    回答1:流计算没有设置ttl清理时间,会一直存储流中数据和中间计算结果数据,直到oom,设置ttl后会按照策略清理你在ttl参数设置的时间段没有使用到的缓存数据,以便防止内存撑爆。此回答整理至钉群“Flink CDC 社区”。

    2023-07-26 12:22:23
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    基于英特尔 SSD 的虚拟机缓存解决SSD 立即下载
    用户态高速块缓存方案 立即下载
    高性能Web架构之缓存体系 立即下载