在前端开发大模型应用的时候,处理和分割文本是常见需求,毕竟现在的大模型输入输出都有限-嵌入等也是有token限制的,合理的文本分割能显著提高模型的表现。Langchain提供了多种文本分割方式,本文将对比五种文本分割器:CharacterTextSplitter
、RecursiveCharacterTextSplitter
、TokenTextSplitter
、MarkdownTextSplitter
和LatexTextSplitter
,从原理、优缺点和适用场景等多个维度进行分析,帮助你选出最合适当前续期的文本分割器。
如果你没有阅读过之前的文章,推荐看看前端大模型入门:编码(Tokenizer)和嵌入(Embedding)解析 - llm的输入,以了解本文的作用和文本切割发生时机。
准备工作
准备好nodejs20+,yarn,安装依赖"@langchain/textsplitters" 或者 "langchain/text_splitter"; 具体的代码实现,可以参考本文绑定的资源,可以在nodejs或者web页面测试。
1. CharacterTextSplitter
原理
CharacterTextSplitter通过简单地按字符进行分割。用户可以指定分割的字符数,以便将文本切分为固定长度的片段。
分词示例
这个分割器按字符分割文本,每个chunk包含30个字符,相邻chunk之间有5个字符的重叠。中间可能被截断
CharacterTextSplitter 结果:
[
Document {
pageContent: '人工智能(AI)是计算机科学的一个分支,致力于创造智能机器。',
},
Document {
pageContent: '智能机器。它已经在多个领域取得了重大突破,如自然语言处理、计',
},
Document {
pageContent: '言处理、计算机视觉和机器学习等。\n\n近年来,深度学习技术的发',
}
]
优缺点
优点:
实现简单,易于理解和使用。
适用于需要快速分割的简单文本场景。
缺点:
无法识别文本中的语义结构,可能导致信息碎片化。
对于长句子或段落,可能会导致上下文缺失。
适用场景
适用于对文本分割要求不高、上下文关系不强的情况,比如简单的日志文件处理或非结构化数据的初步处理。
2. RecursiveCharacterTextSplitter
原理
RecursiveCharacterTextSplitter在CharacterTextSplitter
的基础上,使用递归算法来分割文本。首先按指定字符数分割,然后尝试合并相邻的片段,直到满足某些条件。
分词示例
这个分割器递归地分割文本,使用了多个分隔符(换行符、句号、逗号等),每个chunk最多50个字符,相邻chunk之间有10个字符的重叠。
RecursiveCharacterTextSplitter 结果:
[
Document {
pageContent: '人工智能(AI)是计算机科学的一个分支,致力于创造智能机器',
},
Document {
pageContent: '。它已经在多个领域取得了重大突破,如自然语言处理、计算机视觉和机器学习等。',
},
Document {
pageContent: '近年来,深度学习技术的发展使得AI的能力大幅提升',
},
...
]
优缺点
优点:
保留了更多的上下文信息,尤其在长段落中。
更加灵活,适合处理多样化的文本。
缺点:
实现复杂,可能导致性能开销增加。
需要调节更多参数以适应不同文本类型。
适用场景
适用于对上下文保留有较高要求的场景,例如长篇文章或报告的处理。
3. TokenTextSplitter
原理
TokenTextSplitter基于词元(Token)进行分割,通常与语言模型的输入结构相结合。用户可以指定每个片段的最大Token数。
分词示例
这个分割器使用适合中文的cl100k_base编码,每个chunk包含20个token,相邻chunk之间有5个token的重叠。
[
Document {
pageContent: '人工智能(AI)是计算机科学的一个分支,�',
},
Document {
pageContent: '一个分支,致力于创造智能机器。它已',
},
Document {
pageContent: '器。它已经在多个领域取得了重大突',
},
Document {
pageContent: '了重大突破,如自然语言处理、计算机视',
},
...
]
优缺点
优点:
适合大多数自然语言处理任务,可以有效保留上下文信息。
分割后的片段大小更符合模型的输入要求。
缺点:
对于非英语文本或特定领域文本,Token化效果可能不佳。
需要根据模型的Token限制进行调整。
适用场景
适合与大语言模型配合使用的场景,特别是需要高保真度的语义解析时。
4. MarkdownTextSplitter
原理
MarkdownTextSplitter针对Markdown格式文本进行优化,按照Markdown语法规则分割文本,确保分割后的片段在结构上仍然保持有效性。
分词示例
这个分割器专门用于处理Markdown格式的文本,保留了Markdown的结构。
MarkdownTextSplitter 结果:
[
Document {
pageContent: '# 人工智能简介',
},
Document {
pageContent: '## 发展现状\n\n人工智能技术已经在多个领域取得突破:',
},
Document {
pageContent: '- 自然语言处理\n- 计算机视觉\n- 机器学习',
},
Document {
pageContent: '## 未来挑战\n\n1. 隐私保护\n2. 算法偏见\n3. 就业影响',
},
Document {
pageContent: '需要在技术创新和伦理考量之间取得平衡。',
}
]
优缺点
优点:
保留了Markdown的语法结构,适合处理文档和笔记。
使得分割后的片段可以直接用于渲染。
缺点:
只适用于Markdown格式的文本,通用性较差。
对于复杂的Markdown文档,可能需要更复杂的逻辑来处理。
适用场景
适合处理Markdown文档的场景,比如技术文档、博客文章等。
5. LatexTextSplitter
原理
LatexTextSplitter专为处理LaTeX文档设计,遵循LaTeX的语法规则,确保数学公式和其他特性不会在分割时被破坏。
分词示例
LatexTextSplitter 被配置为每个 chunk 最多包含 100 个字符,相邻 chunk 之间有 20 个字符的重叠。
LatexTextSplitter 结果:
[
Document {
pageContent: '\\documentclass{article}\n \\usepackage{CJKutf8}\n \\usepackage{amsmath}',
},
Document {
pageContent: '\\begin{document}\n \\begin{CJK*}{UTF8}{gbsn}\n\n \\section{人工智能简介}',
},
Document {
pageContent: '\\section{人工智能简介}\n' +
'\n' +
' 人工智能(AI)是计算机科学的一个分支,致力于创造智能机器。\n' +
'\n' +
' \\subsection{发展现状}\n' +
'\n' +
' 近年来,AI在多个领域取得了重大突破:',
},
优缺点
优点:
专门针对LaTeX,适合处理学术论文和技术文档。
能够有效保留复杂公式和排版。
缺点:
仅限于LaTeX格式,不具备通用性。
学习曲线较陡,对于不熟悉LaTeX的用户可能不友好。
适用场景
适合处理学术论文、技术报告和需要精确排版的文档。
最佳实践推荐
在实际应用中,选择合适的文本分割器应根据具体需求进行。例如:
对于简单文本,可以选择
CharacterTextSplitter
。处理长文本或需要上下文信息的场合,推荐使用
RecursiveCharacterTextSplitter
或TokenTextSplitter
。中文文章推荐用
RecursiveCharacterTextSplitter
处理Markdown文档时,
MarkdownTextSplitter
是最佳选择,而对于LaTeX文档,则应使用LatexTextSplitter
。
综合考虑文本类型、上下文需求和输出质量,合理选用文本分割方式,将有助于提高模型的处理能力和效果。