语料清洗流水线的实现:启发式过滤、MinHash去重与质量分级

简介: 本文详解预训练语料清洗流水线:语言识别→精确去重→启发式过滤→模糊去重(MinHash)→质量分级。强调规则可验证、去重防交叉污染、分级避体裁偏差,并指出各环节失效模式与调参依据,破除“一键清洗”迷思。

预训练语料的清洗决定模型的上限,而这门手艺没有神奇的单一算法——它是一条流水线:语言识别、启发式过滤、精确去重、模糊去重、质量分级。这篇文章实现每一级的核心算法,并指出各级的失效模式与调参依据。

一、启发式过滤:规则快而糙,适合当第一道闸

第一级用规则把明显垃圾筛掉,每条规则对应一类可命名的垃圾:

import re
from collections import Counter

HEURISTICS = [
("too_short",      lambda d: len(d) < 200),
("symbol_ratio",   lambda d: sum(not c.isalnum() and not c.isspace()
for c in d) / len(d) > 0.3),
("alpha_ratio",    lambda d: sum(c.isalpha() for c in d) /
max(len(d), 1) < 0.6),
("line_bullets",   lambda d: len(re.findall(r"^\s*[•▪●—]\s", d, re.M)) >
max(10, 0.3 * d.count("\n"))),
("repeat_ngram",   None),   # 见下方独立检查
("word_elong",     lambda d: len(re.findall(r"\b\w*(\w)\1{4,}\w*\b", d)) > 5),
]

def heuristic_filter(doc):
for name, fn in HEURISTICS:
if fn and fn(doc):
return name
# 重复 n-gram 检查: 段落级复读检测
paras = [p for p in doc.split("\n") if len(p) > 20]
c = Counter(paras)
if c and c.most_common(1)[0][1] >= 3:
return "repeat_para"
return None

设计原则:规则要能被数据反证。每条规则上线前,抽样 100 个被判杀的文档人工看一遍——"杀对率"低于 95% 就该收紧条件;同时记录每条规则的命中率,命中率异常地高(比如某条规则杀了 30% 的语料)通常意味着规则写错了而不是语料烂。这个人工抽检环节是启发式清洗的唯一质量保障,跳过它的团队会在几个月后发现语料里还躺着成吨的垃圾而不知是哪条规则失守。

二、精确与模糊去重:从哈希到 MinHash

去重分两级。精确级用全文哈希(sha1)——零误杀、便宜,先杀掉完全相同的副本。模糊级才是主战场:网络语料里大量"改了几个字的转载""模板化页面",需要近似匹配。MinHash 的思路:把文档表示成 n-gram 集合,用 k 个哈希函数各取集合的最小哈希值,两个文档的 MinHash 签名相似度无偏估计它们的 Jaccard 相似度:

from datasketch import MinHash, MinHashLSH

def minhash_sig(text, num_perm=128, k=13):
shingles = {
   text[i:i+k] for i in range(len(text) - k + 1)}
m = MinHash(num_perm=num_perm)
for s in shingles:
m.update(s.encode("utf8"))
return m

def fuzzy_dedup(docs, threshold=0.8):
lsh = MinHashLSH(threshold=threshold, num_perm=128)
keep = []
for did, text in enumerate(docs):
sig = minhash_sig(text)
if lsh.query(sig):                    # 与已有文档近似 => 丢弃
continue
lsh.insert(did, sig)
keep.append(did)
return keep

实现要点:k(n-gram 长度)控制灵敏度——k 太小会把巧合的常见短语当重复,k 太大漏掉拼接式抄袭,13 字节窗口是常见取值;LSH 带宽参数(MinHashLSH 内部按签名前 b 段分桶)控制查全与查全的权衡,threshold 给定后自动算出;顺序效应——LSH 流式去重时"保留谁"取决于处理顺序,按长度或质量分排序处理(先处理高质量文档)能让保留集偏向优质版本。训练与测试集的交叉污染是去重的另一个隐蔽动机:评估集若在训练语料里有近似副本,基准分数全靠背题——这是去重必须做到评估语料的原因。

三、质量分级:从二分类到基于模型的打分

启发式只能杀垃圾,区分"平庸"与"优质"需要模型。主流做法两级:分类器级——用人工标注的正负样例(如精选文集作正例、随机网页作负例)训练一个小型 fastText,给全语料打分后按分位数截取;困惑度级——用一个小语言模型给文档打困惑度,异常高(乱码)与异常低(模板化复读)都标记。分级实现的真正难点在标注对的构建:正负例的分布差异要对应"质量"这个目标而不是"来源"这个代理——用维基百科当正例训出的分类器学到的可能是"维基语体"而非"高质量",于是论坛里的干货被杀、营销号的维基腔通过。缓解办法是把正例扩展到多体裁的精选集,并保留一个"人工抽检留出集"贯穿整个流水线。

四、流水线的组装与审计

各环节的顺序与守恒核算同样重要:语言识别 → 精确去重 → 启发式过滤 → 模糊去重 → 质量分级,每级记录输入/输出文档数与字节量——各级的存活率本身就是最重要的监控指标:某级存活率骤降说明规则或阈值出了问题,总量守恒对不上说明管线有静默丢数据的 bug。最终语料按质量分位数分层保存(高质量层可重复采样),这是后续训练配方的一部分。一个诚实的收尾:语料清洗的投资回报极不均匀——精确去重与基础启发式消灭的是 80% 的灾难,它们便宜且必做;质量分级打磨的是最后 10% 的质量,昂贵且边际递减。预算有限时,把精力砸在前者,后者做到"分类器 + 一次人工校准"就该收手——清洗的完美主义是预训练里最昂贵的陷阱之一。

相关文章
|
4天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
1701 2
|
6天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
6天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
4天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
3606 0
|
19天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
8634 58
|
13天前
|
Linux 开发工具 iOS开发
2026最新codex下载安装保姆级使用教程(下载+安装+登录+使用,含所有历史版本)
本文详解OpenAI Codex国内快速上手指南:提供Win/macOS/Linux全平台免安装包、npm/Homebrew等多方式安装、账号/API Key双登录、简体中文切换,覆盖下载、安装、汉化、使用及高频避坑(如微软商店失败、npm超时等),10分钟即可跑通。
3070 9
|
19天前
|
JavaScript API iOS开发
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(DSH)是DeepSeek于2026年开源的MIT协议AI Agent框架,支持插件化组装模型、工具、沙箱与UI,兼容主流大模型。本文提供免Node.js的桌面端安装包(Win/macOS),含详细图文教程及热门插件推荐。
5843 69
|
7天前
|
云安全 人工智能 安全
|
11天前
|
人工智能 安全 API
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(dsh)是DeepSeek AI于2026年开源的轻量级Agent运行框架,基于Cordis内核,践行“一切皆插件”理念。支持Web/桌面双端,开箱即用;内置多模型接入、丰富插件生态(超3.5万),适配编程、办公、创作等场景。(239字)
1946 1