ODS、DWD、DWS、ADS已经不够用了?AI时代的数仓该怎么分层

简介: AI时代,经典ODS-DWD-DWS-ADS数仓架构仍是数据基石,但需增强语义理解、知识融合、上下文感知与AI安全调用能力。核心升级方向:让数据不仅“可查”,更要“可懂、可组合、可解释、可执行”,支撑人机协同决策。(239字)

过去十几年,企业数仓基本沿用同一套分层:ODS接入原始数据,DWD统一业务明细,DWS沉淀主题模型,ADS服务报表与应用。 这套架构并没有过时,但到了AI时代,仅仅做到数据可查询、可展示已经不够。

大模型即使能生成SQL,也未必知道“收入”应该按下单、开票还是确认收入统计,更不知道退款如何处理、有效客户如何定义,以及一个经营问题应该调用哪些指标和分析路径。

传统数仓解决的是数据如何接入、加工、汇总和交付;AI应用还要求数据能够被理解、组合、解释,并在权限范围内安全调用。所以,AI时代真正需要讨论的,不是要不要推翻ODS、DWD、DWS、ADS,而是:在经典数仓分层之上,还要补上哪些面向AI的新能力?

image.png

一、先说结论:经典四层仍然是地基,但终点不能再只是ADS

ODS、DWD、DWS、ADS解决的是企业数据从分散走向统一的过程。AI不会替企业自动完成数据同步、数据清洗、主数据映射和指标统一。恰恰相反,AI越深入经营、财务和供应链场景,对底层数据质量的要求越高。

如果ERP中的客户编码与CRM不一致,MES中的产品编码与库存系统无法对应,财务收入又无法追溯到具体订单,那么大模型能力再强,也很难输出可靠结论。因此,AI时代的数仓并不是少做数据集成,而是要把底层数据链路做得更加稳定。

image.png

只有底层数据链路稳定,后面的数仓分层、指标建设、BI分析和AI应用才有可靠基础。但问题在于,传统数仓通常默认数据最终由人通过SQL、报表或者看板使用。当使用者从人变成AI Agent时,ADS就不再是数据架构的唯一终点。AI时代的数仓需要同时支持:BI Serving、Semantic Serving、Knowledge Serving和AI Serving。

image.png

二、经典四层数仓,分别解决了什么问题?

ODS:让分散的数据稳定进入数仓

ODS负责承接ERP、CRM、财务、电商、物联网、日志及外部接口等原始数据。它的难点不只是建表,而是保证不同系统的数据能够完整、及时、稳定地进入数仓,并在同步失败时支持监控、告警和追溯。

ODS主要回答:数据从哪里来、何时进入、是否完整、出现异常能否追溯? 没有稳定的数据接入,后面的数仓分层再完整,也只能停留在架构图上。
image.png

DWD:把原始记录变成统一业务事实

不同系统对客户、商品、订单等业务对象的编码和定义往往不一致。DWD需要通过去重、标准化、主数据映射、状态统一和历史保留,将原始数据整理成统一的业务明细。

image.png

不过需要注意:工具可以完成数据加工,但不能替企业决定业务规则。 取消订单是否计入销量、跨月退款如何调整收入等口径,仍需要业务、财务和数据团队共同定义。DWD回答的是:企业内部同一件业务事实,应该如何统一记录?

DWS:将重复分析逻辑沉淀成公共能力

如果每张报表都从明细层重新关联和计算,很容易产生大量重复SQL和多套指标口径。DWS围绕客户、商品、订单、财务、库存、项目和设备等主题,将常用分析逻辑沉淀为可复用的数据模型。

DWS主要解决:企业反复使用的分析逻辑,如何只建设一次、长期复用? 否则,BI报表、经营看板和AI Agent可能会重复计算同一指标,最终形成口径冲突。

image.png

ADS:为确定性应用准备数据

ADS面向总经理驾驶舱、销售看板、利润分析、库存预警、生产运营和监管报送等固定场景,提前准备应用所需的数据集,提高查询效率和结果稳定性。ADS回答的是:为了支撑一个确定性应用,需要提前准备哪些数据?

但AI提出的问题往往具有动态性和连续性,例如从“利润为什么下降”继续追问到客户、价格、成本和改善动作。这类问题很难全部提前加工成ADS表。因此,ADS依然需要保留,但不能承担所有AI分析任务。

image.png

三、为什么AI时代仅靠经典四层不够?

1. 有字段,不等于有业务语义

传统数仓能够描述表名、字段、类型、来源和关联关系,但AI还需要理解指标定义、计算口径、时间范围、适用场景和分析维度。

例如,“收入”可能指销售额、开票金额、确认收入或净收入。缺少统一语义时,AI很容易选错字段,生成逻辑通顺、口径错误的答案。数据库描述数据结构,语义层解释业务含义。

image.png

2. 有数据,不等于有分析路径

传统数仓擅长回答“本月收入是多少”“哪个区域销量最高”等确定性问题。但AI面对的往往是:为什么利润下降? 哪些项目可能延期? 哪些库存应该优先处理?

这类问题需要完成任务拆解、指标选择、维度分析和原因归因。因此,AI需要的不只是一张宽表,还需要指标关系、分析方法和业务上下文。

image.png

3. 有数据权限,不等于有AI调用边界

传统权限主要控制表、字段、数据行和报表页面。但AI Agent不仅能查数,还可能组合信息、调用工具、生成文件,甚至触发业务动作。

因此,企业还要明确:AI能查什么;能看到多细;哪些数据需要脱敏;能调用哪些工具;哪些操作必须人工确认。AI权限既要控制“能看什么”,也要控制“能做什么”。

image.png

4. 有ADS,不等于能支持动态分析

ADS通常围绕固定报表和确定场景设计,而AI分析具有连续追问和动态组合的特点。用户可能先问“华东收入为什么下降”,再继续追问产品、价格、客户和改善建议。

传统ADS并不负责保存上下文,也不会自动规划分析路径。因此,AI时代需要在ADS之上补充语义、上下文和AI Serving能力。

image.png

四、AI时代,数仓还要补上哪些能力?

更务实的做法,不是推翻ODS、DWD、DWS、ADS,而是在经典四层之上补充面向AI的能力,这些能力不一定需要建设四套独立平台,关键是明确各自解决什么问题。

image.png

语义层:让AI听懂企业语言

语义层负责把表名、字段和技术模型,转化成AI能够理解的业务语言,主要包括:客户、订单、产品、项目等业务实体及其关系;指标含义、计算公式、时间口径和适用范围;集团—区域—公司、品类—品牌—SKU等维度层级;取消订单不计销量、库龄超过180天定义为呆滞等业务规则。它解决的是:同一个指标到底是什么意思,应该在什么场景下使用。

image.png

知识层:补齐数据之外的规则与经验

数仓主要保存结构化数据,但企业还有大量制度、合同、产品手册、历史报告、会议纪要和专家经验。结构化数据可以告诉AI“库存周转变慢了”,知识层则进一步说明:什么情况下需要预警;哪类产品允许长期备货;历史上类似问题如何处理。

知识层的重点不是简单建设向量库,而是保证知识准确、及时、可追溯,并能与客户、产品、指标等数据实体关联。

image.png

上下文层:为每个问题准备正确的信息

上下文层负责根据当前任务,动态组装AI真正需要的信息。例如用户询问“华南区域本月利润为什么下降”,系统需要同时提供:用户身份和数据权限;华南区域与本月的具体范围;企业统一的利润口径;收入、成本、费用等相关指标;可用分析维度、数据更新时间和已知异常;可调用的工具及输出要求。它不是把整个数仓都交给大模型,而是选择最相关、最可信、最符合权限要求的上下文。

image.png

AI Serving层:把数据能力封装成受控服务

AI Serving层连接数仓与智能问数、Data Agent,但不应让大模型自由连接数据库,而应把经过治理的能力封装成工具,例如:指标查询:查询收入、毛利率、库存周转和预算差异;维度分析:按区域、产品、客户、渠道和项目切分;异常检测:识别同比、环比、趋势和预算异常;归因分析:将利润变化拆成价格、销量、结构、成本和费用影响;权限审计:记录谁查询了什么数据、调用了哪些工具、生成了什么结果。

这样,AI负责理解问题和组织分析,服务层负责保证口径正确、权限可控、过程可追溯。归根结底,四层能力分别解决四个问题:语义层让AI看懂数据,知识层帮助AI理解规则,上下文层决定本次任务需要什么,AI Serving层保证AI安全、可靠地调用数据。

image.png

五、FineDataLink在这套架构里处于什么位置?

底层数据集成、数据同步和数据加工链路,主要覆盖:数据源层 → ODS → DWD → DWS → ADS具体来说,可以发挥四类作用。

打通异构数据源

将ERP、CRM、MES、WMS、财务系统以及数据库、接口和文件数据统一接入数据平台。

image.png

支撑批量和实时同步

根据业务场景选择定时同步或实时同步。例如:财务结算数据可以按日处理;订单、库存和设备数据可以提高同步频率;经营预警场景可以使用更及时的数据链路。

image.png

完成清洗、转换和主题加工

将原始字段进行标准化、关联和汇总,逐步形成DWD明细层、DWS主题层和ADS应用层。

image.png

保障数据任务稳定运行

通过任务调度、运行监控和异常处理,保证AI与BI使用的是持续更新的数据,而不是临时导出的Excel。语义层和AI Serving层决定AI是否理解和正确使用数据。
image.png

六、AI时代要不要取消ADS?

不需要。ADS仍然具有不可替代的价值。

固定场景需要稳定性能

经营驾驶舱、监管报表、日常业务看板的结构相对固定,使用ADS可以获得更稳定的查询效率。

核心指标需要提前验证

收入、利润、成本和库存等关键指标,不能每次让AI临时计算。

高频分析应该沉淀复用

如果一个问题每天都被提问,就应该把它沉淀成指标、数据集或看板,而不是让AI每次从头分析。所以,更合理的关系是:ADS负责稳定交付,AI Serving负责动态组合。 AI发现的高频分析逻辑,还可以重新沉淀成ADS或者固定看板。

image.png

七、企业应该如何升级现有数仓?

不建议一上来就重新设计一套复杂的八层或十层架构。更务实的方式,是从一个具体AI场景开始。

第一步:选择高价值场景

例如:自动经营分析;利润归因;库存预警;项目风险;客户流失分析;供应链异常识别。

image.png

第二步:打通所需数据链路

通过连接相关业务系统,确认数据能否完整、及时地进入数仓。重点检查:数据是否缺失;更新是否及时;主数据是否一致;同步任务是否稳定;数据异常能否被及时发现。

image.png

第三步:补齐DWD和DWS

如果客户、产品、组织和订单口径还没有统一,应先补齐基础数仓,而不是直接让大模型查询原始系统。

第四步:建设最小语义资产

围绕一个场景先整理:核心业务实体;关键指标;分析维度;业务规则;权限要求。不需要一开始就描述整个企业。

image.png

第五步:将复杂分析封装成工具

把指标查询、趋势比较、异常检测和归因分析封装成受控工具,由AI负责选择和组合。

第六步:把有效分析重新沉淀

经过验证的AI分析结果,可以沉淀成:指标;ADS数据集;分析模板;经营看板;预警规则;标准工作流。这样,AI才能从一次性问答,逐步转化为企业可复用的数据能力。

image.png

写在最后

ODS、DWD、DWS、ADS并没有过时。它们仍然负责把分散、混乱的业务数据,变成统一、可靠、可复用的数据基础。把各业务系统的数据稳定接进来,按照统一规则加工,并持续输送给数仓、BI和AI应用。 但到了AI时代,数据做到可同步、可查询、可展示还不够。

企业还需要让数据做到:可理解、可组合、可控制、可解释、可执行。 因此,下一代数仓需要完成三次升级:从数据接入升级为稳定的数据供应链; 从数据表升级为可理解的业务语义; 从固定报表升级为AI可以安全调用的分析服务。

真正的问题从来不是:ODS、DWD、DWS、ADS还要不要? 而是:这套为报表时代设计的数据架构,能不能继续支撑一个由人和AI共同分析、决策和执行的企业。

相关文章
|
5月前
|
SQL 人工智能 数据可视化
数据血缘是什么?怎么建设数据血缘?
本文直击AI落地困局:数据混乱致AI失效。提出数据血缘建设“七步法”——从目标聚焦、范围圈定、架构设计,到采集实施、知识构建、可视化应用及长效运营,强调小切口启动、业务驱动、人机协同,助力企业夯实AI根基。
|
SQL 存储 数据采集
【技术分享】元数据与数据血缘实现思路
【技术分享】元数据与数据血缘实现思路
8559 0
|
13天前
|
缓存 JSON API
通义千问Qwen3.7-Plus保姆级教程:多模态Agent能力拆解、架构详解与代码调用实操
综合来看,Qwen3.7-Plus凭借均衡的多模态能力、百万级上下文、原生Agent工具调用能力,在兼顾性能的同时控制调用成本,是搭建视觉智能体、文档处理、代码自动化应用的优选基座。开发者通过简单API代码,即可快速将模型能力集成到业务系统,落地各类AI自动化项目。
132 3
|
12天前
|
人工智能 缓存 程序员
开通就送千万 tokens?我把百炼和千问 API 翻了个底朝天
每个程序员都有个没做完的 AI 梦。这次我把百炼跑通了:开通领额度、拿 Key、改 base_url,账单也算明白了。
162 2
|
27天前
|
弹性计算 运维 安全
上云该选轻量还是阿里云ECS云服务器?轻量应用服务器与ECS完整选型指南:新老用户、小微企业上云决策与运维实操与故障防范指南
很多初次采购云计算资源的使用者都会陷入一个普遍的困惑:面对轻量应用服务器和ECS两款主流计算产品,很难判断哪一款更契合自身业务。大量用户简单将二者理解成低配和高配的关系,事实上虽然底层均基于虚拟化计算底座,但二者在产品定位、网络架构、计费逻辑、扩展能力、运维体系上存在本质的不同。选型失误不仅带来预算浪费,还会引发业务卡顿、架构无法迭代、后期迁移成本居高不下等一系列麻烦。不管是毫无云服务器经验的新手、拥有服务器实操经历的老用户,还是承载正式业务的企业,都应当结合业务规模、运维人力储备、中长期业务规划综合做出判断。本文将对两款产品做全方位拆解,分人群给出选型思路,附带可直接复制的运维命令,梳理高频
142 2
|
13天前
|
供应链 安全 BI
数据安全到底怎么做?权限、脱敏、水印、防泄漏、审计全讲明白
企业数据安全不止于权限管控,需构建覆盖“访问—使用—导出—流转—追溯”全链路的闭环体系:精准权限(资源/数据/字段/操作四层)、动态脱敏、可溯源水印、智能防泄漏(行为+出口双控)及实时审计。五维协同,方能在保障业务可用前提下守住安全边界。(239字)
|
1月前
|
JavaScript 流计算
用 TypeScript 实现贷款 IRR:从还款现金流计算年化利率
本文详解如何用 TypeScript 实现贷款真实年化利率(IRR)计算:基于实际到账金额与各期还款现金流,通过二分法求解月度 IRR,并换算为复利年化利率((1+r)¹²−1),强调手续费、时间价值与监管口径(央行〔2021〕3号文),避免常见误算。
|
2月前
|
人工智能
AI 对话怎么导出成 Word/PDF/Excel?用DS随心转一键留存为办公文档
本文详解大模型对话导出办公文档的排版丢失问题,提供免费三法:Markdown转Word、浏览器打印存PDF、分列导入Excel,并附验收清单;批量场景推荐DS随心转,一键按类型生成保真.docx/.pdf/.xlsx,省时稳准。
459 2
|
2月前
|
弹性计算 安全 Linux
ZBlog博客网站安装部署全流程——阿里云99元服务器新手教程
本教程详解如何在阿里云99元ECS服务器(CentOS 7.9)上,通过宝塔Linux面板一键部署Z-BlogPHP博客系统,涵盖远程连接、安装面板、开放端口、配置LNMP及部署全流程,操作简单,附代金券领取入口。阿里云服务器ECS官网:https://t.aliyun.com/U/AZBUsA
866 2
|
Java 项目管理 Maven
Maven项目管理与构建自动化完全指南
Maven彻底改变了Java项目管理方式,通过POM模型、依赖管理和标准化构建流程,大幅提升开发效率。本文深入解析其核心概念、多模块管理、私服搭建及与Spring Boot、Docker等现代技术栈的集成实践,助力开发者实现高效、规范的项目构建与团队协作。
1484 156
Maven项目管理与构建自动化完全指南