简介：
AI回答采集系统从API调用到指标输出，需要经过多个数据处理环节。本文介绍完整的数据链路设计，包括采集、清洗、归一化、计算和输出各环节的实现方案。
一、背景与问题
调用AI接口只是采集系统的第一步。
从API返回的原始文本到可用的指标数据，中间还需要经过清洗、解析、归一化、计算等多个环节。
任何一个环节出问题，最终结果都会失真。
二、整体方案
数据链路：
API调用 → 原始数据存储 → 数据清洗 → 实体识别 → 别名归一化 → 指标计算 → 结果输出
三、环境准备
| 项目 | 说明 |
|---|---|
| 运行环境 | Python / Node.js |
| 数据库 | PostgreSQL |
| 任务调度 | 定时任务 / 消息队列 |
四、核心实现
4.1 原始数据存储
CREATE TABLE raw_answers (
id BIGSERIAL PRIMARY KEY,
platform VARCHAR(50) NOT NULL,
question TEXT NOT NULL,
answer TEXT NOT NULL,
created_at TIMESTAMP DEFAULT NOW()
);
4.2 数据清洗
剔除无效样本：拒答、不相关、过于笼统。
4.3 品牌识别与归一化
从回答中提取品牌名称，将别名映射到标准名称。
4.4 指标计算
基于清洗和归一化后的数据计算提及率、推荐率。
五、结果验证
- 原始数据是否完整保存
- 清洗逻辑是否正确
- 别名归一化是否完整
- 指标是否在合理范围内
六、总结
AI回答采集系统的核心能力不在于“能调用API”，而在于“能建立从原始数据到可用指标的完整、可靠的数据链路”。
