“数据不干净，AI 再聪明也白搭”——聊聊生成式 AI 的数据质量评估与去重那些坑
这两年生成式 AI 火得不行，大模型、RAG、Agent、Copilot，名字一个比一个响。
但说句可能不太讨喜的话：很多生成式 AI 项目，死得不是因为模型不行，而是数据太烂。
我见过不少团队，一上来就问：
要不要换个更大的模型？
要不要再多喂点数据？
但真正该先问的是：
你现在的数据，到底配不配得上生成式 AI？
今天这篇文章，咱不讲太虚的理论，就专门聊两个“脏活累活”，但决定成败的事情：
- 数据质量评估
- 数据去重（尤其是语义级去重）
一、先说个扎心的现实：生成式 AI 是“放大器”
生成式 AI 本质上是个概率放大器。
- 好数据 → 放大你的优势
- 烂数据 → 放大你的缺陷
很多人以为模型会“自动学会甄别垃圾”，但现实是：
模型比你更老实，你喂什么，它就信什么。
举个真实到不能再真实的例子：
- FAQ 文档里同一个问题，10 种说法
- 历史工单里，答案前后自相矛盾
- Wiki 文档三年没更新，但还在被喂给模型
结果就是：
模型回答得“看起来都对”，但每次都不一样
这不是模型“幻觉”，这是数据在打架。
二、数据质量评估：别再只看“有没有数据”
很多团队做数据检查，停留在这个阶段：
- 有没有空值
- 行数够不够多
- 字段齐不齐
说句不好听的：
这叫 ETL 检查，不叫生成式 AI 的数据质量评估。
1️⃣ 生成式 AI 更关心什么样的质量？
我一般从四个维度看：
✅ 可读性（Readable）
- 是否是自然语言
- 是否有大量乱码、日志、HTML 垃圾
✅ 一致性（Consistent）
- 同一问题是否出现多种冲突答案
- 同一术语是否多种叫法
✅ 信息密度（Information Density）
- 是“废话文学”，还是“一句顶十句”
- 有没有大量无意义客套话
✅ 时效性（Freshness）
- 是否过期
- 是否和当前业务状态匹配
2️⃣ 一个接地气的数据质量打分示例
下面这段代码不是为了“算法多高级”，而是为了让你敢给数据打分。
import re
def quality_score(text: str) -> float:
score = 1.0
# 1. 过短内容直接扣分
if len(text) < 30:
score -= 0.3
# 2. 垃圾符号过多
noise_ratio = len(re.findall(r"[^\u4e00-\u9fa5a-zA-Z0-9，。！？]", text)) / max(len(text), 1)
if noise_ratio > 0.2:
score -= 0.3
# 3. 口水话过多（非常粗暴但有效）
filler_words = ["你好", "谢谢", "请问", "麻烦", "不好意思"]
if sum(text.count(w) for w in filler_words) > 3:
score -= 0.2
return max(score, 0.0)
你会发现一个事实：
这玩意儿一点都不“AI”，但非常有用。
很多团队不是不会用模型，而是不敢给数据下结论。
三、去重：不是删掉重复行这么简单
说到去重，很多人第一反应是：
select distinct *
我只能说：
这对生成式 AI 来说，基本等于没做。
1️⃣ 真正要命的是“语义重复”
举几个你肯定见过的例子：
- “如何重置密码？”
- “忘记密码怎么办？”
- “账号密码找回流程”
从数据库角度看：
👉 完全不一样
从模型角度看：
👉 一模一样
你如果全喂进去，模型会学到什么？
同一个问题，有三种不同“措辞权重”。
2️⃣ 用 embedding 做语义去重（实战版）
别怕，我不整复杂的论文公式，就一个实用思路。
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
def deduplicate_by_embedding(texts, embeddings, threshold=0.9):
kept = []
kept_embeddings = []
for text, emb in zip(texts, embeddings):
if not kept_embeddings:
kept.append(text)
kept_embeddings.append(emb)
continue
sims = cosine_similarity([emb], kept_embeddings)[0]
if max(sims) < threshold:
kept.append(text)
kept_embeddings.append(emb)
return kept
这段代码的精髓只有一句话：
不要问“像不像”，而是问“像到值不值得再留一条”。
四、一个我强烈推荐的组合拳流程
如果你问我：
真正在项目里，怎么把这事落地？
我一般推荐一个“土但稳”的流程：
🧩 Step 1：规则过滤
- 明显垃圾
- 超短文本
- 日志、报错堆栈
🧩 Step 2：质量打分
- 低于阈值直接淘汰
- 中间区间人工抽样
🧩 Step 3：语义去重
- embedding + cosine
- 同问题只留一个“最干净”的版本
🧩 Step 4：抽样回看
- 别全自动
- 每周看 50 条，比你想象中值钱
五、一点个人感受：这是“反 KPI”的工作
说点掏心窝子的。
数据质量治理，是最不讨喜的生成式 AI 工作之一。
- 不炫技
- 不好汇报
- 看不到立竿见影的效果
但你会发现一个神奇现象：
只要数据一干净，
Prompt 变简单了，
模型看起来“突然聪明了”。
这时候，很多人会以为：
是模型调得好
其实真相是：
数据终于不再互相扯后腿了。
六、写在最后
如果你只记住一句话，我希望是这句：
生成式 AI 的上限，不在模型参数量，而在你敢不敢删数据。
数据不嫌少，
垃圾才嫌多。
