开发者社区> 问答> 正文

请教个技术问题,flinksql 如何保证我的维度表是新的维度表呢?就是比如我的数据 #Flink

请教个技术问题,flinksql 如何保证我的维度表是新的维度表呢?就是比如我的数据源是 hive, 每天处理一次,flinkstreaming join 的表 就是 T-1 的维度表,运行到第T+1 天怎么确保,我join 的维度表是 T 天的维度表 #Flink

展开
收起
黄一刀 2020-06-03 20:31:55 788 0
2 条回答
写回答
取消 提交回答
  • 维度表放到hbase、mysql这些存储中,实时etl,相当于只存维度最新数据。需要历史数据的场景,每日同步一份到hive保持;不需要不做

    2021-07-16 13:49:20
    赞同 1 展开评论 打赏
  • ttl 设置数据失效时间

    2020-06-03 22:29:30
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载