报表搬到湖里,第二天被问昨天的数呢

简介: 报表从业务库搬到湖里,第二天早上被问"昨天的数怎么还没出来"。文章把数据分成事务库、列存分析、湖仓三层,讲清表格式解决了什么没解决什么,用延迟、更新频率、数据量、成本四个判据做分层判断,并给出常见错配的修法。

大家好,我是数据库小学妹👋 我踩过的坑,你别再踩。

九月做了一次报表改造。几张明细表从业务库搬到湖上,理由是主库被报表压得喘不过气。搬完负载降了一半,我挺得意。结果第二天早上八点半,老板问我"昨天的日报怎么还没出来"。我打开调度一看,链路正常,它本来就是 T+1 的。而我从没问过业务,这份日报几点要。

一、三层各管一段

先说清三层。事务库是事实来源,负责写入、事务、一致性。它的强项是毫秒级点查和高并发小事务。行存为主的库在超大范围扫描上不占优,这是存储结构决定的,不是能力问题。

列存分析层按列存储、批量压缩。扫几千万行做聚合很快。弱项是单行更新和点查。湖仓建在对象存储上,管历史和多源,容量便宜、格式开放。列存为什么快,我在 ClickHouse 那篇里拆过原理。

三层不是替代,是分工。事务库存正在发生的事。分析层回答"这个月卖得怎么样"。湖仓存"三年前的每一笔原始记录"。混成一件事,就会出我那种局面。这三层是逻辑分层,不是产品清单,融合型数据库可以把前两层放进一个产品里。

数据搬对了地方,时效对不上业务。技术没错,判断错在起点。这件事之后,我才去补时效这一课。补课比改代码难。

层 主要负载 强项 弱项
事务库 写入、点查、事务 毫秒级响应、强一致 超大范围扫描不占优(行存结构)
列存分析层 聚合、宽表扫描 大批量扫描快、压缩比高 单行更新弱、点查延迟高
湖仓 历史明细、多源汇聚 容量便宜、格式开放、可回溯 端到端延迟高,秒级可见难

二、表格式解决了什么

湖仓这两年热,核心是表格式。Iceberg、Hudi、Delta 都算这一类。它们给对象存储加了一层元数据。让一批文件具备提交、回溯、schema 演进的能力。

说白了,以前往对象存储写文件,读到一半可能读到半成品。有了表格式,读的人只看到已提交的快照。这一层解决了"数据湖不可靠"的老问题。但可靠不等于实时。

但它没解决的东西同样明确。第一是低延迟点查。对象存储的请求延迟摆在那里,再优化也追不上本地盘的 B 树。第二是高并发小事务,一百个人同时改一行,不是它的场景。第三是秒级可见。从业务库变更到湖上可查,中间要过好几步。采集、传输、落文件、提交元数据,每一步都有延迟。这几步的耗时,要分别量一次。

业务库 --(变更采集)--> 消息/缓冲 --(写入)--> 湖上文件 --(提交元数据)--> 可查
   毫秒级                秒级累积            分钟级文件           快照可见

这条链路的总延迟,决定了湖上能做多实时。要 T+0 看板,就别把主链路放湖上。要 T+1 报表、要历史回溯、要多源拼宽表,湖仓就很合适。

三、四个判据,把"放哪"变成算术

判断放哪一层,我一般问四个问题。数据量多大。延迟要求多少。更新频率多高。成本能接受多少。四个答案都能落到数上。

千万行以内、要求秒级、更新频繁,留在事务库。加只读副本扛读就行。上亿行、要复杂聚合、更新不频繁,进列存分析层。

百亿行原始明细、要长期保留、要跨源拼表,进湖仓。四种情况交叠时用冷热分层。热数据留库,冷数据下沉。

判据 倾向事务库 倾向分析层 倾向湖仓
数据量 千万行以内 亿级宽表 百亿级明细
延迟要求 毫秒到秒 秒到分钟 分钟到小时
更新频率 高频小事务 批量覆盖 追加为主
成本敏感度 低(量小) 中 高(量大)

四、三种常见错配

第一种是把明细流水搬进湖里做实时看板。看板要求三秒刷新。链路是分钟级落文件。结果看板永远慢半拍,运营以为数据丢了。

修法是把实时指标留在库或流上算。湖只负责存明细和出 T+1 报表。两条链路各干各的,别硬凑成一条。

第二种是把三年历史塞回业务库。理由是"查起来方便"。代价是备份变大、DDL 变慢、缓冲池被冷数据挤占。最后连主键都快用完。

修法是按时间分区加归档。冷数据放湖,需要时回灌到临时实例。别为了让一句 SQL 好写,把整个库拖慢。

第三种是把湖当备份。时间旅行能回到某个快照,前提是文件还在、元数据还在。有人误删了桶,或者元数据服务出问题,回不去。备份要有独立副本和独立恢复流程。

五、口径要在分层之前定死

数据一跨层,口径就会分叉。库里的订单金额含不含运费。宽表里含不含退款。湖上明细怎么处理取消单。三处定义不一致,报表会自己跟自己打架。

这问题不是技术能兜的。只能在分层前把定义写下来。落到一处,三层都引用它。做法很土,但有效。

每个指标写一句定义,加一个负责人,加一份校验 SQL。上了层之后每天跑一次。三层数对不上就报警。

我现在的习惯是,只要跨层就先花半天写口径表。比事后对数省事得多。

六、避坑清单

先问"谁在几点要这个数",再决定放哪层。这句话听着像废话。但它是唯一能避免"搬对地方、错了时效"的问法。

湖不是更便宜的库。单位存储便宜,不等于总成本低。链路运维、延迟带来的返工、口径分叉带来的对数,都要算进去。

最后一条是我自己踩的。报表搬完那天,我验证的是数据对不对。抽样比了行数和金额,全对。我没验证业务什么时候能看到,也没问日报的截止时间。后来我们补了一条规则:任何数据搬迁,验收单上必须有一行"业务可见时间"。填不上就不许上线。

写在最后

分层不是技术选型,是把业务的时效要求翻译成数据的存放位置。翻译错了,技术再漂亮也不解决问题。

给一句判断口诀。更新的留在库里,聚合的进分析层,历史的沉到湖里。三层各干各的,别让一层去干三层的活。文中的链路延迟与耗时都是示意值,说明的是量级关系。

你们的报表现在是 T+1 还是实时?有没有哪张表搬走之后,业务反而更不方便?这两个问题决定分层对不对。评论区说说,我帮你看看该放哪层。

我是数据库小学妹,帮你少走弯路少踩坑,咱们下篇见👋

相关文章
|
18天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
7681 57
|
3天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
1443 0
|
5天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
18天前
|
JavaScript API iOS开发
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(DSH)是DeepSeek于2026年开源的MIT协议AI Agent框架,支持插件化组装模型、工具、沙箱与UI,兼容主流大模型。本文提供免Node.js的桌面端安装包(Win/macOS),含详细图文教程及热门插件推荐。
5672 68
|
6天前
|
云安全 人工智能 安全
|
13天前
|
Linux 开发工具 iOS开发
2026最新codex下载安装保姆级使用教程(下载+安装+登录+使用,含所有历史版本)
本文详解OpenAI Codex国内快速上手指南:提供Win/macOS/Linux全平台免安装包、npm/Homebrew等多方式安装、账号/API Key双登录、简体中文切换,覆盖下载、安装、汉化、使用及高频避坑(如微软商店失败、npm超时等),10分钟即可跑通。
2898 9
|
5天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
3天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
1859 0
|
10天前
|
人工智能 安全 API
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(dsh)是DeepSeek AI于2026年开源的轻量级Agent运行框架,基于Cordis内核,践行“一切皆插件”理念。支持Web/桌面双端,开箱即用;内置多模型接入、丰富插件生态(超3.5万),适配编程、办公、创作等场景。(239字)
1869 1

热门文章

最新文章