文章目录
一、浅谈实时数仓
1.1 实时数仓体系
1.2 实时 & 离线
二、状态复用场景
2.1 问题
2.2 解决方案
2.2.1 方案一
2.2.2 方案二
一、浅谈实时数仓
整理自：【实时数仓篇】利用 Flink 实现实时状态复用场景
讲师：李晨（菜鸟 数据工程师）
1.1 实时数仓体系
1.2 实时 & 离线
TT 类似于Kafka ，选用 TT ，是因为既可以做离线计算的数据源，也可以做实时计算的数据源。
架构的亮点：connector 实现了离线计算的数据和实时计算的互通。
二、状态复用场景
2.1 问题
问题
场景一：job的operator变化（sql修改），checkpoint无法自动恢复，savepoint恢复机制无法满足，比如增加group by 和 join 。 集群或调度异常情况下导致job在恢复重启时路径 or 目录丢失，重新消费历史数据会依赖上游数据源存储失效。比如近一个月的数据，要将一个月甚至更长的消息存储在Kafka/TT里。
场景二：用户state生命周期（ttl）设置过小可能会导致一些长周期业务数据到期join不到丢失，retract 时产生NPE报错等。设置过大，资源消耗大。
2.2 解决方案
2.2.1 方案一
last_value: https://www.alibabacloud.com/help/zh/faq-detail/62791.htm
2.2.2 方案二
