🔤 分词器详解

简介: 分词器将文本转为模型可处理的数字序列,主流算法如BPE、WordPiece和SentencePiece各有特点:BPE高效但中文支持弱;WordPiece用于BERT,适合英文;SentencePiece语言无关,支持多语言。选择时需权衡粒度、速度与模型需求,中文推荐SentencePiece。

分词器(Tokenizers)是将文本转换为模型可理解的数字序列的关键组件,直接影响模型的性能和效率。
🏗️ 主流分词算法
1️⃣ BPE (Byte Pair Encoding)
原理:通过合并高频字符对来构建词汇表
优点:
有效处理未登录词
词汇量可控
多语言支持好
缺点:
可能产生不完整的词
对中文支持有限
实现示例:
2️⃣ WordPiece
原理:基于最大似然估计逐步合并词片段
特点:
Google开发,用于BERT
在词前添加##标记子词
更适合英文
示例:
3️⃣ SentencePiece
原理:将文本视为Unicode序列,不依赖空格分词
优势:
语言无关性
支持中文、日文等无空格语言
可逆转换
配置示例:
📊 算法对比
特性
BPE
WordPiece
SentencePiece
分词粒度
子词
子词
子词/字符
语言支持
英文为主
英文为主
多语言
空格处理
依赖空格
依赖空格
不依赖空格
训练速度
快
中等
慢
模型大小
小
中等
大
🎯 实战应用
中文分词最佳实践
英文分词示例
1
2
3
4
5
6

使用Hugging Face Tokenizers

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained('bert-base-uncased')
tokens = tokenizer.tokenize("transformer architecture")
print(tokens) # ['transform', '##er', 'arch', '##itecture']
🔍 技术细节
词汇表构建流程
预处理:清洗文本,标准化
训练:基于语料库学习分词规则
验证:检查分词质量
优化:调整超参数
特殊标记处理
[PAD]:填充标记
[UNK]:未知词标记
[CLS]:分类标记
[SEP]:分隔标记
[MASK]:掩码标记(用于MLM)
📚 深入阅读
注意力机制详解
主流大模型结构
🎯 面试重点
BPE和WordPiece的区别?
如何处理中文分词?
词汇表大小如何选择?
OOV(未登录词)问题如何解决?

相关文章
|
数据采集 机器学习/深度学习 资源调度
归一化和标准化
归一化和标准化
|
6月前
|
数据采集 算法 量子技术
大模型应用:隐私优先的大模型应用:同态加密与大模型结合的完整实践.101
本文深入浅出解析“同态加密+大模型”技术:以全同态加密(FHE)为核心,实现敏感数据(如金融、医疗信息)在密文状态下完成大模型推理,全程不暴露明文,兼顾隐私与智能。涵盖原理、流程、数学基础及Python简易实现。
617 6
|
10月前
|
存储 弹性计算 固态存储
云服务器租用价格多少钱一年?2026年看看阿里云收费贵不贵?也忒优惠了
2026年阿里云服务器优惠来袭!轻量服务器38元/年起,ECS经济型2核2G仅99元/年,企业级2核4G 199元/年,续费同价。香港轻量服务器25元/月起,4核16G、8核32G高配机型限时特惠,全地域覆盖,带宽与存储灵活配置,性价比极高,速抢!
1076 0
|
6月前
|
机器学习/深度学习 IDE 数据挖掘
2026最新Jupyter Notebook安装使用保姆级教程(附安装包+图文步骤)
Jupyter Notebook是基于网页的交互式编程工具,支持Python、R等数十种语言。以单元格为单位执行代码,即时显示结果,融合代码、文字与图表,适合数据分析、教学及报告编写。推荐通过Anaconda一键安装。
|
机器学习/深度学习 人工智能 自然语言处理
Step-Audio2 声音克隆 详细介绍
Step-Audio2是StepFun于2024年推出的中文语音克隆大模型,支持“一句话克隆+情感可控+实时流式”一体化生成,参数总量300M,首包延迟低至120ms,MOS达4.4+,采用Apache-2.0协议开源,适配商业应用,是当前中文TTS领域开源落地门槛最低的方案之一。
|
11月前
|
人工智能 JSON 算法
多模态LLM视觉提示实战指南:四层结构框架 + 三大行业场景落地案例
本文系统阐述了如何为视觉大模型设计高效的测试指令。通过四层提示框架(目标定位、任务定义、约束条件、输出规范),结合UI测试、工业质检、文档处理三大实战场景,指导工程师从笼统提问转向精准交互。文章强调明确性、结构化和可迭代性,将Vision-LLM视为需精确引导的协作工具,帮助团队实现可靠的多模态自动化测试。
|
11月前
|
机器学习/深度学习 存储 边缘计算
物联网平台实战:从设备接入到数据分析的端到端架构演进
本文系统阐述物联网平台从设备接入到数据分析的架构演进路径,涵盖多协议接入、边缘计算、实时处理与AI集成等关键技术,分享高并发优化、分层存储、安全认证等实战经验,助力企业构建高效、可扩展的IoT平台,推动数字化转型与智能决策。
|
机器学习/深度学习 人工智能 自然语言处理
AI Compass前沿速览:Qwen3-Max、Mixboard、Qwen3-VL、Audio2Face、Vidu Q2 AI视频生成模型、Qwen3-LiveTranslate-全模态同传大模型
AI Compass前沿速览:Qwen3-Max、Mixboard、Qwen3-VL、Audio2Face、Vidu Q2 AI视频生成模型、Qwen3-LiveTranslate-全模态同传大模型
1523 13
AI Compass前沿速览:Qwen3-Max、Mixboard、Qwen3-VL、Audio2Face、Vidu Q2 AI视频生成模型、Qwen3-LiveTranslate-全模态同传大模型
|
11月前
|
人工智能 算法 数据可视化
别卷手工测试了!这6个大模型应用场景让你身价翻倍
大语言模型正重塑软件测试:从AI生成用例、智能代码审查到需求深度解析,推动测试自动化、智能化升级。测试工程师需掌握AI协同技能,聚焦高阶质量设计,实现职业跃迁。
|
机器学习/深度学习 人工智能 API
大模型推理服务全景图
推理性能的提升涉及底层硬件、模型层,以及其他各个软件中间件层的相互协同,因此了解大模型技术架构的全局视角,有助于我们对推理性能的优化方案进行评估和选型。
2283 89