很多企业第一次做数仓分层,都会先画出这样一张架构图:源系统 → ODS → DWD → DWS → ADS。 图看起来很标准,真正落地以后却经常变成另一回事:ODS里已经做了大量业务加工,DWD只是换个表名;DWS围着报表不断建表,同一个“销售额”出现三四套算法;半年以后,谁也说不清一张表为什么放在这一层。
所以,数仓分层真正要解决的,从来不是“多建几层表”。而是三个问题:原始数据在哪里保留?业务事实在哪里统一?公共口径在哪里复用?

一、先别急着建表,先把每一层的职责划清楚
数仓分层最重要的不是层数,而是边界。可以先记住一句话:ODS保留原始记录,DWD统一业务事实,DWS组织公共汇总。
ODS回答的是:源系统当时记录了什么? DWD回答的是:按照企业统一规则,这件事到底应该怎么理解? DWS回答的是:哪些高频分析结果值得提前计算并重复使用?
比如订单状态为“已支付”,这是源系统产生的事实,应该尽量原样进入ODS。但“已支付订单是不是有效订单”,已经属于业务规则,更适合在DWD统一。
再往后,按照天、门店、区域汇总销售额、订单量、客户数,才逐渐进入DWS的职责范围。真正做项目时,前面通常还不止一套系统。
ERP、CRM、MES、电商平台、数据库、API、Excel文件的数据结构、更新频率甚至编码方式都不一样。这个阶段用FineDataLink 5.0去连接不同数据源,再根据全量、增量或者实时需求把数据送进数仓,会比较贴合实际建设过程。前面的数据接入方式统一以后,后面团队才有精力真正讨论“数据进入数仓以后该怎么分层”,而不是长期陷在接口和同步脚本里。
二、ODS:重点不是“干净”,而是完整、稳定、可追溯
ODS是最接近业务系统的一层。假设订单系统里有:order_info order_detail``customer三张表。进入ODS以后,通常仍然保持接近源表的结构,只增加一些必要的技术字段,比如:采集时间、批次号、分区日期、来源系统。
这一层不要急着判断客户等级、订单有效性、净销售额,更不要因为后面某张报表使用方便,就提前把十几张表Join成一张宽表。因为ODS最重要的价值,是留下:未经业务解释的原始记录。这里至少要提前考虑三个问题。
第一,全量还是增量?
几千行的地区编码表,每天全量覆盖一次没有太大问题。但几十亿行的订单表,如果每天为了几百万条变化重新扫描全表,同步时间、数据库IO和网络压力都会持续增加。所以真正应该判断的是:数据量有多大、变化有多频繁、业务需要多快看到变化。
第二,要不要保留历史?
库存、余额、组织归属、客户等级这类字段都可能变化。如果数仓永远只保留最新值,就很难再回答:“8月31日当天,这个客户当时属于哪个等级?” 因此,有的数据适合覆盖,有的数据需要每日快照,还有的数据需要保留完整变更历史。
第三,删除和修改怎么处理?
源系统修改了一笔历史订单,数仓是直接覆盖,还是保留修改前后的版本?源系统删除一条数据,下游是物理删除、逻辑删除,还是继续保留?
这些问题如果一开始没有定义,后面就很容易出现:源系统已经变了,数仓却还停留在旧状态。 所以ODS并不是简单的数据中转站。它更像是整个数仓的“原始证据层”:以后数据算错了,你至少还有机会重新回到最初的记录。

三、DWD:真正决定数仓质量的一层
如果说ODS解决的是:“数据有没有?” 那么DWD真正解决的是:“这些数据到底算什么?” 还是订单场景。源系统里可能同时存在订单主表、订单明细、退款表、商品表、客户表。
如果分析人员直接拿这些表做分析,每个人都要重新判断:取消订单算不算销售?退款在哪一天冲减?优惠券算收入折扣还是营销费用?同一家客户在CRM和ERP里有两个编码,到底是不是同一个客户?DWD要做的,就是把这些分散在不同报表、不同SQL里的判断,变成统一的业务规则。

例如建立:dwd_trade_order_detail 第一件事不是选字段,而是先确定:一行到底代表什么。 假设规定:一行代表一个订单中的一个商品明细。 后面订单金额、优惠金额、商品数量、退款金额都必须遵守这个粒度。
为什么粒度这么重要?假设一个订单包含3件商品,总金额1000元。如果把订单总金额1000元直接复制到3条商品明细中,后面执行一次SUM,销售额就会变成3000元。看起来是SQL写错了,实际上根因往往是:事实表粒度从一开始就没有定义清楚。
退款也一样。订单发生在8月,9月才退款。如果简单把退款结果覆盖回8月订单,就可能导致已经出过月报的数据持续变化。
所以DWD真正处理的,从来不只是“脏数据”。它至少包括:去重、字段标准化、主键统一、状态映射、维度补充、异常处理和业务规则统一。
这一步恰恰也是数仓建设里数据加工最集中的地方。ODS里的原始数据进入FineDataLink 5.0后,可以继续做字段转换、关联、过滤和清洗,再按照既定粒度整理成DWD明细。尤其当一个业务事实同时来自订单、客户、商品甚至退款等多张表时,把这部分加工规则集中管理,会比大量逻辑散落在独立脚本里更容易维护,后面规则变化时也不至于到处找SQL。

四、DWS:不是给报表做缓存,而是建立可复用的公共结果
很多企业做着做着,DWS最后会变成:“报表中间表集中营。” 老板要销售日报,建一张销售日报表。业务要区域分析,再建一张区域汇总表。运营要渠道分析,又建一张渠道表。半年以后,几十张表都在重复计算销售额、订单数、客户数,只是维度略有不同。这说明DWS并没有真正形成公共层。更合理的设计方式应该是:主题域 + 固定粒度。

比如交易主题可以有:dws_trade_shop_day一行代表:一家门店一天。 再建立:dws_trade_customer_month一行代表:一个客户一个月。
这样门店经营、区域经营、客户价值分析,都可以继续复用这些公共结果,而不是每增加一张报表,就从明细数据重新计算一遍。但DWS还有一个经常被忽略的问题:指标到底能不能直接相加。
销售额、订单数一般可以跨时间累加。库存余额却不能。1号库存100件,2号库存120件,并不意味着两天库存是220件。
毛利率、转化率、客单价也类似。它们本质上属于派生指标。假设一天10个订单销售1000元,另一天100个订单销售5000元。两天客单价分别是100元和50元。

如果直接平均:(100+50)÷2=75元。 但真正两天整体客单价应该是:6000÷110≈54.5元。 所以DWS绝不是把DWD简单GROUP BY一下。
它真正需要提前组织的是:稳定、高频、复用率高,并且聚合规则明确的公共结果。 当公共表越来越多以后,另一个问题也会随之出现:任务之间开始形成复杂依赖。
DWD还没更新完成,DWS就不能先跑;商品数据失败了,依赖商品分类的下游统计也不能继续。任务只有几十个时,人还能靠经验记住。
等到数仓里有几百甚至上千个任务,真正棘手的就不是某张表怎么算,而是:谁先跑、谁后跑、哪一步失败以后哪些任务必须停止。
这时候可以借助FineDataLink 5.0把同步、加工任务按照实际的数据依赖关系组织起来,让上下游执行顺序跟数仓分层保持一致。否则很容易出现一种非常隐蔽的问题:每个任务看起来都成功了,但ODS是今天的数据,DWD停在昨天,DWS却已经生成了结果。 数字有了,数据周期却已经错了。

五、一笔订单,从ODS走到DWS到底发生了什么?
假设9月1日,客户A在上海门店购买商品X:原价1000元,优惠100元,实际支付900元。
第一步:进入ODS
订单主表记录:谁下了单、什么时候下单、订单状态是什么。订单明细记录:买了什么商品、数量是多少。客户表、门店表又分别保存客户和组织信息。这一阶段关注的是:业务系统到底记录了什么。

第二步:进入DWD
进入DWD以后,开始按照统一规则解释这笔交易:订单是不是有效?优惠100元如何计算?客户A对应哪个统一客户ID?上海门店属于哪个区域?后面有没有发生退款?
最后可能形成这样一条标准交易事实:客户A|上海门店|商品X|原价1000|优惠100|实付900|有效订单=1。 这时候数据已经从“系统记录”变成:企业统一认可的业务事实。
第三步:进入DWS
这条订单明细继续参与不同粒度的公共汇总:上海门店9月1日销售额;上海区域9月销售额;商品X月销量;客户A月消费金额。
于是,不管后面销售部门还是财务部门分析这笔订单,都不需要重新解释一次“什么叫有效销售”。这才是数仓分层最大的价值之一:同一笔业务事实尽量只被解释一次,后面的分析重复使用统一结果。
如果业务要求更高的数据时效,这条链路也不一定只能每天凌晨批量运行。订单变化产生以后,可以借助CDC捕获变化,再由FineDataLink 5.0的实时任务继续向下传递,让最新变化更快进入后续数据处理环节。

但一定要分清:实时解决的是“数据多久到”,分层解决的是“数据到了以后怎么算”。 即使数据秒级同步,如果有效订单、退款、客户归属这些规则本身没有统一,最终得到的也只是:一套更新很快、但互相对不上的数据。
六、真正落地,还要守住5条规则
不要为了分层而分层
不是所有企业都必须机械复制五六层。业务简单、数据规模不大时,每增加一层,就意味着增加一份存储、一组任务和一套维护成本。所以分层应该解决真实问题,而不是为了让架构图更完整。
DWD尽量保留原子事实
越靠近明细层,粒度越应该细。如果过早把订单、商品、客户聚合成结果,后续一旦增加新的分析维度,很可能只能重新回到ODS加工。

公共业务规则尽量只定义一次
有效订单、净销售额、活跃客户,如果分别在DWD、DWS、BI报表里计算一次,出现口径冲突只是时间问题。更合理的原则是:底层统一事实,上层尽量复用。
一定要考虑迟到数据
凌晨2点任务执行完成,并不意味着昨天的数据已经全部到齐。退款、物流更新、门店补录、第三方平台数据,都可能晚几个小时甚至几天到达。
因此真正的数仓任务还要考虑:回补窗口、历史分区重跑、数据修订以及重新汇总。 否则今天查询“昨天销售额”和三天以后重新查询“昨天销售额”,可能完全不是一个数字。
每张表都要说得清粒度、来源、口径和去向
数仓最怕出现一种表:大家都在用,但没人敢改。因为没有人知道它到底被哪些任务和报表依赖。所以至少应该让后来接手的人能够快速回答:
一行代表什么?数据来自哪里?经过哪些加工?最终被哪些指标和场景使用?这些信息越清楚,后面的数据治理、影响分析和问题定位才越容易真正落地。

结语
ODS、DWD、DWS看起来只是三个技术缩写。真正落地以后,其实对应着数据发生的三次变化:从源系统记录,变成标准业务事实,再变成可以重复使用的分析结果。
所以判断一套数仓分层设计好不好,不应该只看架构图上有没有这几层。更应该继续追问:ODS能不能还原源数据?DWD有没有统一事实粒度和业务口径?DWS是不是真的减少了重复计算?上游发生变化以后,能不能快速找到受影响的数据链路?
真正好的数仓分层,不是层越多越专业。而是:每一层只做自己该做的事,业务逻辑只在合适的位置出现,数据从进入数仓到最终被使用,全程都能解释、能追溯、能复用。