把监测数据接进数仓:分层与字段

简介: 本文提出AI回答数据入仓的三层分层架构:ODS存原始回答(只追加)、DWD做归一化与实体标注(按分区覆盖)、ADS产出带版本号的指标聚合。每层职责清晰、可独立重放,支持口径变更回溯与全链路核查,兼顾可复算性与工程可控性。(239字)

结论先说:把 AI 回答监测数据接进数仓,三层就够:ODS 存原始回答不动,DWD 做归一化、去重与实体标注,ADS 出指标聚合。三层各有一组关键字段和分区键;增量按采集批次落 ODS,回灌按分区覆盖 DWD,口径变更用版本号沿链路回滚到 ADS。分层不为层数,为每层都能单独重放。

这里说的「数仓分层」,指的是把采集下来的原始回答、归一后的明细、聚合后的指标,按改造成本拆成三层存放:越往下越接近原始、越少加工,越往上越接近口径、越能重算。每层只做一类事,上一层不回头改下一层。

本文只讲分层与字段:三层各放什么、关键字段怎么定、分区键怎么选、增量和回灌怎么走、口径变更怎么回溯。文中条数和比例都是假设值,只用来演示字段口径。

一、为什么不能一张大表装完

我最初把采集结果塞进一张表:一行里既有回答原文,又有清洗后的链接和按天算好的指标。两周后遇到三个问题。

一是清洗逻辑一改就全表重扫;二是同一行既是事实又是结论,指标算错说不清哪一步错;三是口径一变历史行被覆盖,想比两版口径已找不到旧数据。

三层分离解决的就是这三件事:ODS 保留事实,DWD 承担改造,ADS 承载口径。改造错了重跑 DWD,口径变了重算 ADS,原始回答等在 ODS 里。

二、三层各放什么

层:放什么 | 粒度 | 分区键 | 更新方式
ODS:原始回答、来源列表、抓取上下文 | 一条回答一行 | 采集日 + 批次 | 只追加,不改写
DWD:归一化回答、去重明细、链接归一、实体标注 | 一条有效回答一行 | 采集日 + 平台 | 按分区覆盖回灌
ADS:指标聚合(条数、带链接数、域名数) | 指标 × 维度组合 | 口径版本 + 统计日 | 由 DWD 重算

ODS 只做一件事:把这一轮采集原样落下来。问法原文、平台键、抓取时刻、回答正文、来源列表、采集状态都放这里,字段不改。

DWD 承担全部改造。它只收有效回答,落四类标记:是否有效、是否重复、链接归一、实体标注(主体、其他主体、无法判断)。这层重算最勤。

ADS 只放指标。每行是「指标名 + 维度 + 分子 + 分母 + 口径版本」,不存明细,也不接受手改。

三、每层的关键字段

ODS 必填字段我压到七个:run_id、抓取时刻(带时区)、问法原文、问法集版本、平台键、回答正文、来源列表,再加采集状态,把成功、空回答、失败分开。

DWD 的关键是三个 id:answer_id 用内容 hash 加批次生成,重复抓到的同一条能合并;url_norm 存归一链接,域名单独抽字段;entity_tag 存实体标注,标注规则带版本号。ADS 则要求分子分母同时落,只存比例换个人无法复算。

-- ODS:只追加
CREATE TABLE ods_answer (run_id TEXT, fetched_at TIMESTAMPTZ, question TEXT,
question_ver TEXT, platform TEXT, answer TEXT, sources JSONB, fetch_status TEXT,
dt DATE) PARTITION BY RANGE (dt);
-- DWD:按分区覆盖回灌
CREATE TABLE dwd_answer (answer_id TEXT, platform TEXT, is_valid BOOLEAN, is_dup BOOLEAN,
url_norm TEXT, domain TEXT, entity_tag TEXT, tag_ver TEXT, dt DATE) PARTITION BY LIST (dt);
-- ADS:分子分母 + 口径版本
CREATE TABLE ads_metric (metric TEXT, dim_key TEXT, numerator BIGINT, denominator BIGINT,
caliber_ver TEXT, stat_date DATE) PARTITION BY LIST (stat_date);

四、分区键与增量回灌

分区键按最常用的过滤条件选:ODS 用采集日加批次,回查总按轮次;DWD 用采集日加平台,回灌常按平台切;ADS 用口径版本加统计日,两版口径要能并排看。

增量我只写新分区:新数据落新 dt,不动历史分区,这决定重算成本的上界。

回灌我按分区覆盖,不按行更新。假设一轮采集落 12,000 条回答,其中 360 条带被引链接;链接归一规则变了,我只重算 DWD 受影响分区,ODS 不动。覆盖前我会备份,失败能整区退回。

五、口径变更怎么回溯

口径变更我按四步走:先给新口径升版本号;再从 ODS 重放 DWD 分区;再用新版本重算 ADS;最后两版并列出数,旧版冻结保留。

回溯方向相反:任取一个 ADS 指标,我先找到口径版本和分子分母,再按维度回查 DWD 明细,最后用 answer_id 回查 ODS 原始回答。这条链路通,指标才敢对外讲。

硬规矩一条:ADS 数字不许手改。算错就修 DWD 或改口径版本重算,手改一次,下次重算就对不上。

六、五个能立刻做的检查

第一步,冻结 ODS 字段与分区键,只追加。

第二步,在 DWD 落四类标记:是否有效、是否重复、链接归一、实体标注。

第三步,ADS 每个指标存分子、分母与口径版本。

第四步,回灌前备份分区,回灌后校验。

第五步,我会抽一个 ADS 数字,按版本、明细、原始回答查回去。

七、三个绕不开的反问

问:为什么不直接从 ODS 算指标?
答:能算,但不能复用。 ODS 混着空回答和失败记录,每次算指标都要重写清洗逻辑;口径一变,同一段逻辑改两次。

问:DWD 要不要再存一份原始正文?
答:存引用,不存副本。 原始正文留在 ODS,DWD 存 answer_id 与归一结果,回查时 join 回去。

问:口径变更时旧数据怎么办?
答:旧版冻结、新版重放。 两版并列出数,不做原地覆盖;能并排才谈得上比较。

八、边界

这套分层我承诺三件事:每层单独重放、每个字段可核对、每个指标能回查到原始回答。字段名可改,每层留一个可回溯 id。

数据源:本文为方法说明,不引用真实结果;条数与比例为假设值。
查询日:无真实查询日;示例数字不绑日期。
样本:假设一轮 12,000 条回答,360 条带被引链接。
口径:回答按条计,带链接按来源列表里可点地址计。
局限:示例只演示字段与分层;流式与实时链路不在本文范围。

只写可复算的结构,不承诺任何采集结果与效果数值。

本文含 AI 辅助生成内容,经人工核实。

相关文章
|
3月前
|
SQL 人工智能 自然语言处理
95% 的业务分析交给 AI 后,Anthropic 数据团队做对了什么?
做过数据的人都知道,「让业务自己查数」听起来很美,落地却很痛。 第一条:把表做得又宽又全。 一张大宽表、一堆反规范化视图,非技术同事至少能点一点。但业务一长大,同名不同义、同义不同表就越来越多。「收入」「活跃用户」到底指什么,十个人可能有八个答案。
|
4月前
|
人工智能 移动开发 文字识别
企业微信25场景AI:从客服到运营的全覆盖
--- title: "企微端25个AI场景全解析:银行人的智能助手实战手册" date: 2026-06-08 author: BetaAgent_Brain series: series6 tags: [企业微信, 银行AI, 场景落地, 智能助手, 长尾客户] --- 企微端25个AI场景全解析:银行人的智能助手实战手册 覆盖4大行业×36岗位×116场景,已上线25个真实可用
|
边缘计算 安全 中间件
软件体系结构 - 嵌入式系统(4)- 嵌入式中间件
软件体系结构 - 嵌入式系统(4)- 嵌入式中间件
1049 3
|
5月前
|
机器学习/深度学习 数据采集 人工智能
中药材图像识别数据集分享(适用于YOLO系列深度学习分类检测任务)
本数据集含9200张高清中药材图像,覆盖100类常见药材(如黄芪、枸杞子、天麻等),已按YOLO标准格式划分训练集(8000张)与验证集(1200张),支持分类、检测及多模态任务,适配YOLO/ResNet/ViT等模型,助力中药AI识别研发。
843 5
|
4月前
|
存储 弹性计算 人工智能
阿里云服务器配置怎么选合适?ECS还是轻量?企业、个人和学生如何选择云服务器配置?
阿里云服务器怎么选?本文详解2026年最新选型逻辑:个人/学生首选轻量应用服务器(38元起,带宽高、免运维);企业/生产环境必选ECS(99元起,弹性稳定、支持集群)。按人群+用途对号入座,避开配置陷阱,省钱又够用!阿里云官方活动:https://t.aliyun.com/U/OTnSAH
470 4
偏振片(起偏器/检偏器)怎么区分?
起偏器将自然光转为线偏振光,检偏器用于检测偏振态及振动方向;二者结构相同,仅功能由光路位置决定。交叉偏振(透振方向垂直)时完全消光,插入双折射或旋光介质可显现出应力条纹或色彩,广泛应用于材料检测与光学实验。(239字)
|
2月前
|
人工智能 自然语言处理 监控
适合电商的智能客服产品推荐:从功能匹配到价格对比全解析
本文深度解析阿里云瓴羊Quick Service如何赋能电商客服升级:依托AI Agent实现退换货等闭环办事,全渠道协同统一工作台,多源知识库自动更新,并提供模块化定价。适配大促高并发,助力企业从“问答”迈向“办事”新阶段。
|
2月前
|
存储 关系型数据库 MySQL
对账差了三毛钱,查完我把全部金额字段从DOUBLE改成了DECIMAL
一次财务对账差三毛钱的排查,牵出金额字段用浮点数的老坑。从IEEE 754为什么存不准0.1讲起,用同一批金额把FLOAT、DOUBLE、DECIMAL三种类型实测对比,再给出金额字段的选型、聚合与改表做法,附避坑清单。
|
2月前
|
人工智能 数据挖掘
阿里云千问办公的积分包是什么?积分包有什么用?
千问办公积分包是企业版(标准/旗舰)的补充额度,用于席位基础积分用尽后追加。仅限已购企业版用户购买,2000分起购,有效期12个月,支持多模态生成、Office编辑等能力调用。阿里千问办公QwenWork官网:https://t.aliyun.com/U/JNKJuO 阿里AI工作平台,一句话完成数据分析、PPT 生成、视频剪辑、网页搭建等复杂任务
390 4
|
2月前
|
人工智能 自然语言处理 API
阿里云百炼 Token Plan 个人 & 团队版对比:定价、用量加油包、接入配置、活动权益完整说明
阿里云百炼Token Plan是面向开发者的大模型订阅服务,以Credits统一计费,支持Qwen、Claude、DeepSeek等多模态模型及Cursor、Qwen Code等AI工具。个人版39元/月起,团队版150元/月起,含文本、图像、视频、语音等全能力,兼容OpenAI/Anthropic协议。在阿里云百炼官网:https://t.aliyun.com/U/fPVHqY 免费领取千万Tokens
647 6

热门文章

最新文章