数据架构演变:状态放在哪里,决定了你要维护几套系统

简介: 本文深度剖析数据架构五代演进本质:从单体到流批一体,核心驱动力并非技术升级,而是“状态存放位置”的持续下移与集中。状态越统一,重复计算越少,口径越一致。Flink 2.3通过物化表、START_MODE、原生S3等能力,真正实现“一套代码、一份状态、一份存储”,让实时与离线融合为自然选择。(239字)

2008 年,一家电商公司想知道「昨天卖了多少」。运维连上订单库,跑一条 GROUP BY,三秒出结果。

2026 年,同样的问题,答案要实时亮在大屏上。而这「三秒」背后站着 Kafka、Flink、Paimon 和对象存储。

数据没变,问题也没变。变的是这个问题被问了多少次、被多少人在等、被追问得多细。

所以「数据架构演变」这六个字,如果只理解成技术栈升级——MySQL 换成 Hive、Storm 换成 Flink——就把因果搞反了。真正的主线只有一条:

状态放在哪里,决定了这套架构要维护几套系统。

状态越集中,重复计算就越少;重复计算越少,口径就越不容易出错。五代的演进,本质上都是把状态往更靠底层、更共享的位置挪一格。

一、先看全景:目标态长什么样

在逐个拆解历史之前,先把「终局」摆出来。因为后面四代的所有妥协,都是为了绕开这张图里已经解决掉的问题。

在这里插入图片描述

这张图值得多看两眼,它把几个容易混淆的东西一次性摆清了:

接入层只管把变更变成事件。 业务库 CDC、日志埋点、第三方 API,进的都是同一条消息队列。

计算层只有一个枢纽。 流模式、批模式、物化表、状态后端——同一份作业,两种执行方式,而不是两套代码。

存储层只有一份。 ODS → DWD → DWS/ADS 四层建模,每层都是湖表。流读拿增量,批读拿快照,读的是同一批 LSM 文件。

治理层管的是口径,不是数据。 数据与口径审查、双写比对、发布门禁,全都长在这份共享存储上。

四层里没有「离线链路」这个词。不是它被删了,是它被合并了。

二、单体到微服务:状态先集中,再散开

最早的企业系统是单体的。订单、库存、会员、财务挤在一个应用里,数据存在同一个关系型数据库。

这种结构的好处被严重低估了:状态是唯一的。 查订单就查订单表,算总额就 SUM,不存在「两份数据对不上」这种事。

它的问题是规模。业务越加越多,代码越来越缠;更致命的是分析会打死生产——一个分析师跑个全表扫描,交易接口跟着超时。这不是段子,是十年前 DBA 的日常。

矛盾在这里第一次显形:交易要短事务、高并发、强一致;分析要大范围扫描、宽松一致性、吞吐优先。 一个库同时满足这两件事,越来越难。

解法是把系统拆开:一个服务一个库,各自演进,各自扩容。扩展性解决了,代价立刻出现——状态散落在几十个数据库里。

在这里插入图片描述

左边是「一份状态,两种用法争抢」;右边是「几十份状态,谁也看不见谁」。

用户想看的「我的订单 + 我的优惠券 + 我的积分」,在三个库里;老板想看的「各品类毛利」,在八个库里。于是 ETL 登场:定时任务从各业务库抽数,清洗、转换、装载到数据仓库,再统一建模。

注意这里的妥协:数据是「搬」过去的,所以永远滞后一个周期。T+1 的报表,本质上是架构决定的,不是技术不够好。

三、Lambda:一份指标,算了两遍

业务不满足于 T+1。运营要大屏,风控要秒级,老板开会时要看「现在」。

Lambda 的答案是分工:批处理层管准确,速度层管及时,服务层负责合并查询。 离线链路用 Hive/Spark 跑全量,保证最终正确;实时链路用 Storm/Flink 处理增量,保证分钟级可见。

在这里插入图片描述

这个思路在 2010 年代被大量采用,也确实解决了很多问题。但它埋了一个几乎无解的雷:同一个指标,被写了两遍。

离线链路一段 SQL,实时链路一段 Java 或者另一段 SQL。上线半年后,两边开始漂移:一个用 user_id 去重,一个用 device_id;一个过滤了退款单,一个没过滤。

结果是大屏显示 128 万,日报里写 121 万。运营问:哪个对?

我见过一个更典型的版本。实时链路为了压低延迟,只算了「已支付」;离线链路按财务口径,扣掉了「已退款」。上线三个月没人发现,直到财务对账差了 7%,两条链路的负责人各自拿着自己的 SQL 互相证明对方是错的——两段 SQL 都是对的,错的是「同一个指标有两段 SQL」这件事本身。

这不是技术 bug,是架构的必然产物。两套代码 = 两套逻辑 = 两个口径 = 一场没有赢家的会议。运维成本同样翻倍:两套集群、两套监控、两套值班、两种故障处理方式。

四、Kappa:只留一条流

2014 年,Jay Kreps 写了一篇《Questioning the Lambda Architecture》,提出另一个答案:既然流处理能算增量,那它能不能也负责重算历史?

能——只要消息队列存得下历史,重放一遍就是了。批处理不是另一种计算,只是「有界流的处理」。这就是 Kappa:只有一条流处理链路,需要重算时重新消费。

在这里插入图片描述

双份代码消失了,口径自然统一。但它把压力全转移到了两个地方:

一是留存成本。 想重算三个月,队列就得留三个月的数据。Kafka 的留存策略、分层存储、对象存储卸载,都是为这件事服务的。

二是流处理引擎的能力。 大表 join、全局排序、复杂的多路聚合,这些批处理的强项,用流的方式做要么成本高,要么根本做不好。

所以现实中的 Kappa,往往长成了「Kappa 的骨架 + 局部批处理」。理想很干净,落地要打折。

五、流批一体:三个「同一」

如果 Lambda 的问题是「算了两次」,Kappa 的问题是「只能算一次但很贵」,那真正的解法只有一个方向:

让流和批共用同一套代码、同一份状态、同一份存储。

注意这三个「同一」,少一个都不算成立:

  • 同一套代码,口径才不会漂移;
  • 同一份状态,切换执行模式才不用重建;
  • 同一份存储,数据才不会搬来搬去。

Flink 从 1.12 开始支持批执行模式,让 DataStream API 用同一段代码跑两种模式,这是「同一套代码 + 同一份状态」。而「同一份存储」这块,答案来自湖。

Apache Paimon(前身 Flink Table Store)把表做成了 LSM 结构:写入不断产生新文件,后台合并。妙处在于——同一份文件既是流的 changelog,也是批的表。流读拿到增量,批读拿到快照,读的是同一批文件。

在这里插入图片描述

于是分层可以这样长:ODS 接 CDC,DWD 做清洗打宽,DWS 做轻度聚合,ADS 直接服务报表。每一层都是 Paimon 表,上游流写、下游流读是实时的;同一张表被批任务读,就是离线视图。

数据不再需要「搬到」分析区,它本来就在那里。

六、Flink 2.3 把这个方向落成了什么

理念好听,落地要看具体机制。2.3 里跟这件事直接相关的有三样。

物化表:让引擎替你选流还是批

物化表(Materialized Table)从 1.20 引入,思路是:你只声明「这张表要多久新鲜一次」,引擎决定用流还是批去刷。

CREATE MATERIALIZED TABLE dws_order_1min (
  PRIMARY KEY (user_id) NOT ENFORCED
)
PARTITIONED BY (dt)
FRESHNESS = INTERVAL '1' MINUTE
AS
SELECT user_id, COUNT(*) AS order_cnt, SUM(amount) AS gmv
FROM dwd_order
GROUP BY user_id;

FRESHNESS 是关键参数。声明 1 分钟,引擎起一个常驻流作业持续刷新;声明 1 天,引擎交给调度器周期性跑批。同一句 SQL,两种执行方式,你不需要关心底层是哪一种。

如果业务明确知道该用哪种,也可以直接指定 REFRESH_MODE,它的优先级高于 FRESHNESS:

声明方式 引擎行为 适合什么
FRESHNESS 1 分钟 倾向 CONTINUOUS,起常驻流作业 大多数实时表
FRESHNESS 1 天 倾向 FULL,交给调度器跑批 日更报表、T+1 指标
REFRESH_MODE 连续 常驻流作业,持续刷新 需要秒级可见
REFRESH_MODE 全量 周期跑批,覆盖分区 全量重算成本可接受

这才是「流批一体」落到开发者手上的样子:不再是两个 API 之间的选择,而是一个时间参数的填写。

START_MODE:改逻辑不用重跑历史

物化表有个隐藏成本:改了定义查询,默认从源头重跑全部历史。一个跑了两年、状态几百 G 的作业,改一列就要重放两年数据,生产上几乎不可接受。

2.3 引入了 START_MODE,把「从哪开始处理」和「旧状态要不要留」拆成两个独立开关:

ALTER MATERIALIZED TABLE dws_order_1min
  SET START_MODE = RESUME_OR_FROM_NOW(INTERVAL '1' HOUR)
  SET STATE_RETENTION = ALL
AS
SELECT user_id, COUNT(*) AS order_cnt, SUM(amount) AS gmv
FROM dwd_order
WHERE amount > 0
GROUP BY user_id;

可选值很直白:FROM_BEGINNING(默认,全量重算)、FROM_NOW、FROM_TIMESTAMP,以及 RESUME_OR_* 系列——优先从上一个作业停下的位点续跑,拿不到位点再回退。

STATE_RETENTION 则决定旧状态是 ALL、NONE 还是 PTF_ONLY。

这两个参数看着是语法糖,实际影响的是架构演进的经济性。加一个可空列、改一处过滤条件,从此不用付重放全量历史的账单。

原生 S3:状态外置才谈得上便宜

2.x 最大的架构变化是分离式状态:状态常驻远端 DFS,本地盘退化成缓存。这个方案成立的前提是——远端存储要足够便宜、足够快。

2.3 交付了 flink-s3-fs-native,基于 AWS SDK v2 重写,甩掉整棵 Hadoop 依赖树,JAR 从 30–93 MB 降到约 13 MB。官方基准里 Checkpoint 平均耗时从 Presto 插件的 90.1 秒降到 48.8 秒。

看起来是连接器的事,其实是架构的事:状态存在对象存储上的成本,直接决定了你敢不敢做那份「一份存储」的承诺。

七、真要迁移,分三步走

如果现在就有一套 Lambda 在跑,别指望一次性推翻。比较稳的路径是三步。

第一步,先做双写校验,不动读链路。 用 Flink 起一条新链路,把实时结果写进湖表,同时保留原 Lambda 的两条老链路。每天跑一次比对任务,比对两边的差异,直到差异能收敛到 0 或者能解释清楚。

这一步的价值不是切换,是把口径漂移从「吵架」变成「数据」。差异在哪、差多少、为什么差,全部量化。

第二步,把读请求切到新表,老链路降级为影子。 关键在下游改造:报表、大屏、接口都要换数据源。建议按「先内部、后对外」「先非核心、后核心」的顺序切。

第三步,删掉旧链路。 最难的不是技术,是心理——总有人想留个「万一」。留三个月可以,留一年就是双份成本,等于没迁。

这三步里,最容易被跳过的是第一步,而它恰好是唯一能证明「新架构确实更准」的环节。

八、这套架构的真实代价

讲到这里,很容易得出「都该上流批一体」的结论。但代价必须说清楚。

组件更多,排障链路更长。 单体时代查一个问题看一个库,现在要看 Kafka 有没有积压、Flink 有没有背压、Paimon 小文件是不是太多、对象存储限流没有。链路里每个环节都能成为瓶颈。

小数据量是纯负担。 每天几百万条数据、延迟容忍十分钟的业务,上这套架构属于用航母送快递。Spark 定时跑一把,或者直接用数仓 SQL,成本可能只有十分之一。

它对团队有要求。 状态管理、水位线、Checkpoint 调优、小文件合并——这些东西不看文档就会踩坑,且踩了不好查。

什么情况下不该上:延迟容忍超过 5 分钟、状态规模在 10 GB 以内、团队没有专人维护流作业。三条中占两条,就别上。

什么情况下该上:多源实时关联、口径必须唯一、下游对延迟敏感、状态会持续增长到 TB 级。也是三条中占两条。

九、回头看这五代

把四代架构摆在一起看,抽象的层次其实很清楚:

阶段 状态在哪 算几次 主要代价
单体 一个关系库 一次(OLTP) 分析打爆交易
微服务 分散在多个库 抽出来再算 数据孤岛、T+1
Lambda 批层 + 速度层各一份 两次 口径漂移、双份运维
Kappa 消息队列 一次(可重放) 留存成本、批场景弱
流批一体 共享湖存储 一次(同代码) 组件复杂、团队门槛

每一代的进步,都是把「状态」往更靠底层、更共享的位置挪了一格:从应用内 → 独立库 → 各自的存储 → 统一的湖。

Flink 2.3 做的那些事——物化表补 DDL、START_MODE 控制重算、原生 S3 降低存储成本——本质都在降低「把状态放到共享层」的门槛。

技术选型从来不是选最强的,是选你能维护得住的那一层抽象。

你们现在这套链路,状态到底放在哪?是还在两套代码各算一遍,还是已经收拢到一份存储上了?评论区聊聊。

目录
相关文章
|
27天前
|
SQL Java API
Apache Flink 2.3 概述:一条流,两种边界,一套引擎
本文深度解析 Apache Flink 2.x 架构演进:从 2025 年 2.0 大版本(分离式状态、Java 17、API 彻底重构)到 2026 年 2.3(原生 S3、物化表 DDL 补全、SQL 变更流),厘清流批统一本质,拆解 JobManager/TaskManager、算子链、Checkpoint 四柱支撑,并直击升级痛点与生产落地场景。(239字)
242 0
|
27天前
|
人工智能 资源调度 测试技术
Qwen3.8抢先体验!大家注意了,不出意外,最新版即将发布并开源了?
2026年8月,阿里通义实验室开源Qwen3.8系列大模型:2.4万亿参数旗舰版性能比肩国际闭源模型;轻量版Qwen3.8-Flash训练成本降90%,6B参数即达前沿水平;全系列采用Apache 2.0协议,支持商用、定制与本地部署,开启国产大模型“普惠智能”新纪元。(239字)
303 0
|
27天前
|
人工智能 数据可视化 调度
用DeepSeek Harsen插件武装编码Agent!四款开源插件一站式补齐短板实战详解
断一个 Agent 架构好不好,有个简单标准——‌加一个新工具,你需要改几个文件?‌ 如果答案是"只加一个插件文件,主流程零改动",那这个架构就是健康的。 DSH 用"一切皆插件"的宣言,把耦合、不可测试、扩展成本高这三个大单体致命伤一一击破。而社区四款开源插件——ModLens 补齐视觉、dsh-web-ui-all 精装界面、deepseek-harness-app 原生体验——则证明了这套架构的生命力:‌底座稳如磐石,插件百花齐放‌。 如果你正在构建自己的 AI 工具链,或希望获得更强大的模型调度与多模态能力支持,强烈建议访问 ‌阿里云百炼大模型服务平台页面面**‌,探索从模型接入到
289 0
|
28天前
|
人工智能 JSON 自然语言处理
LangChain 六大使用场景:哪些值得做,哪些不值得,一张决策图说清
本文系统梳理LangChain六大核心场景(RAG、Agent、对话系统、结构化提取、内容生成、多模态),逐项解析痛点、机制、落地要点与适用边界,并附“不该用”的反向清单。强调“模型+外部世界”协同才是框架价值所在,助力AI工程化理性选型。
409 0
|
24天前
|
人工智能 中间件 Java
LangChain 到底是什么:从链式连接到 Agent 运行时,讲透 v1.0 的核心概念
LangChain 是大模型应用开发框架,非单纯API封装。v1.0聚焦Agent工程化:以`create_agent`为核心,基于LangGraph实现可持久化、可中断、可观测的智能体循环;统一模型接口、强化工具描述、分层记忆管理,并通过中间件支持人工介入、摘要压缩与隐私脱敏,推动AI从“能跑”走向“可靠生产”。(239字)
327 1
|
28天前
|
SQL 存储 分布式计算
一篇文章搞懂 Hive:从数仓定位到架构、表设计与数据倾斜治理
Hive是基于Hadoop的SQL数据仓库工具,不存数据、不算数据,仅作“胶水层”:元数据存MySQL,数据落HDFS,计算交YARN。支持内外表、分区/分桶、ORC/Parquet列存及丰富优化策略,专为海量离线分析而生,是企业级数仓十五年事实标准。(239字)
657 1
|
22天前
|
人工智能 自然语言处理 安全
Qwen3.8抢先体验!大家要心理准备了,最新版即将发布并开源了?
阿里通义实验室正式开源Qwen3.8全系列:旗舰版Qwen3.8-Max达2.4万亿参数,性能全球前三;轻量版Qwen3.8-27B单卡可跑,Flash版推理成本低至百万Tokens仅1元。全系采用Apache 2.0协议,支持原生多模态与CoT++自验证,推动AI民主化。(239字)
347 0
|
1月前
|
弹性计算 小程序 测试技术
2026 年阿里云最便宜服务器新版测评:38 元 / 年、99 元、199 元三款实例性能、限制与选购全解析
综合本次性能测评,三款阿里云低价服务器各自拥有清晰定位,不存在绝对最好的机型,只有最匹配业务需求的选择。38元 阿里云轻量应用服务器 是短期项目的极致低价选择,适合一年期的个人项目、毕业设计,但是续费成本很高,存在算力带宽限流;99元 阿里云ECS云服务器 经济型实例,兼顾价格、灵活性与续费稳定性,是个人开发者长期上云的性价比首选;199元2核4G ECS实例,更大内存与带宽,适合中小企业、小程序后端这类需要多服务并发运行的业务。
450 1
|
1月前
|
人工智能 自然语言处理 监控
LangChain深度解析:模型、链、Agent三大核心,解锁大模型落地的正确姿势
本文系统解析LangChain——大模型应用开发的事实标准框架。从核心架构、Model I/O、RAG检索、Chains编排、Agents智能体到LCEL表达式语言,结合Java/大数据工程师视角,拆解其模块化设计、模型无关性与生产级能力(流式、异步、可观测性),助力高效构建RAG、AI Agent等落地应用。(239字)
256 0
|
1月前
|
人工智能 弹性计算 运维
2026年阿里云服务器收费与优惠全指南:新购、续费、升级及代理渠道决策
本文由阿里云旗舰级代理商重庆典名科技撰写,详解2026年阿里云全新优惠体系:覆盖新购三档价格锚点(38/99/199元)、续费同价锁成本、升级梯度折扣、GPU与AI产品特惠,并揭示代理渠道在折扣、服务、代金券叠加等方面的独特价值,助力企业精准选型、降本增效。
330 0

热门文章

最新文章