为什么文档切分如此重要
检索增强生成（RAG）技术在过去一年中获得了广泛的关注和应用。RAG的核心思想是在模型生成答案之前，先从知识库中检索相关的信息，然后将检索到的信息作为上下文提供给模型，从而提高回答的准确性和可信度。RAG技术使得大语言模型能够访问企业私有的知识资产，而无需进行昂贵的模型微调。然而，在实际应用中，很多开发者发现RAG系统的效果并不理想，检索到的内容要么不相关，要么不完整，最终生成的答案质量也无法令人满意。
造成RAG效果不佳的原因是多方面的，其中最容易被忽视但影响最大的是文档切分问题。文档切分是将长文档分割成小块文本的过程，这些小块文本将被向量化并存储在向量数据库中。切分的质量直接决定了检索的质量——如果切分块包含的信息不完整，检索结果就会遗漏关键内容；如果切分块包含的信息过于宽泛，检索结果就会引入大量无关信息。简单来说，文档切分决定了知识库中每个信息单元的边界，直接影响模型能否获取到回答问题所需的完整信息。
很多开发者在构建RAG系统时，往往将大部分精力放在模型选择、向量数据库配置等环节，而对文档切分不够重视。他们使用最简单的固定长度切分方法，将文档切成500字或1000字的小块，然后直接进行向量化。这种做法的问题在于，它完全忽略了文档的语义结构和内容完整性。一个完整的想法可能被切成两半，分散在两个不同的切分块中；当检索到其中一个切分块时，由于缺少上下文的支撑，模型可能无法正确理解其含义，导致回答不准确或产生幻觉。
固定长度切分与语义切分
固定长度切分是最简单的文档切分方法，它按照预设的字符数或token数对文档进行等长分割。这种方法的优点是实现简单、计算速度快、不需要额外的模型支持。常见的固定长度切分策略包括按字符数切分（如每500个字符一块）和按token数切分（如每256个token一块）。然而，固定长度切分的缺点同样明显，它不考虑文档的语义结构，可能在句子中间、段落中间甚至关键词中间进行切割，破坏内容的完整性。
举一个具体的例子来说明固定长度切分的问题。假设我们有一段关于技术方案的文档，描述了某个系统的架构设计、接口定义和部署流程。如果按照固定长度进行切分，架构设计的描述可能被切成两半，一半在第一个切分块中，另一半在第二个切分块中。当用户询问系统架构时，检索结果可能只返回包含部分架构信息的切分块，缺少了完整的设计描述，模型就无法给出准确的答案。更糟糕的是，切分块可能被赋予了错误的上下文——比如接口定义的描述被归到了架构设计部分，导致检索结果张冠李戴。
语义切分是解决上述问题的有效方法。语义切分的核心思想是识别文档中的语义边界，确保每个切分块包含一个相对完整的语义单元。实现语义切分有多种技术路线。一种是基于句子边界的切分，首先使用句子分割工具将文档拆分成句子，然后根据句子组合成适当大小的切分块。这种方法比固定长度切分更好地保留了句子完整性，但仍然可能在一个段落包含多个主题时出现问题。
更高级的语义切分方法是基于段落或章节的切分。这种方法首先识别文档中的段落结构，然后以段落为基本单位进行切分。如果单个段落太大，可以进一步使用Embedding模型计算段落之间的语义相似度，将语义相近的段落合并成一个切分块。这种方法能够更好地保持主题的一致性，每个切分块通常围绕一个明确的主题展开。LLaMA-Factory Online的知识库构建模块就采用了这种基于语义相似度的切分策略，能够自动识别文档结构并生成高质量的切分块。
高级切分策略与优化技巧
除了基本的切分策略外，还有一些高级技巧可以进一步提升切分质量和检索效果。重叠切分是最常用的优化技巧之一，它在相邻的切分块之间引入一定程度的重叠，确保重要信息不会因为切分边界而被遗漏。例如，如果设置重叠长度为100个token，那么第一个切分块包含token 1-500，第二个切分块就包含token 401-900，以此类推。重叠切分的缺点是会增加存储和检索的开销，因为相邻切分块之间存在重复内容。在实际应用中，需要根据文档的特点和检索需求来权衡重叠比例。
元数据增强是另一个重要的优化策略。每个切分块除了包含文本内容外，还可以附加元数据信息，如来源文档的标题、章节层级、关键词等。这些元数据可以在检索时用于过滤和排序，也可以作为上下文信息帮助模型更好地理解切分块的内容。例如，当用户询问某个特定章节的内容时，系统可以通过元数据快速定位相关的切分块，而不需要进行全文检索。此外，元数据还可以用于实现混合检索——先用元数据过滤候选集，再用向量相似度进行精细排序，提高检索效率。
结构化文档的切分需要特殊处理。对于Markdown、HTML等具有明确结构的文档格式，可以利用其结构信息进行更精准的切分。例如，Markdown文档中的标题节点天然就是内容划分的边界，以标题为根节点的子树通常包含一个完整的主题。基于结构信息的切分不仅能够保持内容的完整性，还可以保留文档的层次结构信息，这些信息本身就是有价值的元数据。LLaMA-Factory Online支持对PDF、Word、Markdown等多种格式的文档进行结构化解析，能够识别文档中的标题、表格、列表等元素，并据此生成高质量的切分块。
对于包含表格的文档，表格的切分是一个特殊的挑战。传统的按文本切分的方法可能会将一个完整的表格切成碎片，导致检索时无法获取完整的表格信息。更好的做法是将表格作为独立的单元进行处理，将表格的标题、说明文字和内容作为一个整体进行向量化。对于复杂的表格，可能需要将表格进行转置或展开，使其变成更易于检索的形式。此外，表格中的单元格内容可能被切分到不同的切分块中，这种情况下需要在检索后进行结果融合，将来自同一表格的不同部分重新组合。
切分效果的评估与迭代
文档切分的效果需要通过系统性的评估来确定，评估的指标主要包括召回率、准确率和完整性。召回率衡量的是检索结果覆盖问题答案的程度——对于每个测试问题，评估检索到的切分块是否包含了回答问题所需的全部信息。准确率衡量的是检索结果的相关程度——检索到的切分块中有多大比例是真正与问题相关的。完整性衡量的是信息是否被切分破坏——答案的各个部分是否分散在不同的切分块中，是否存在信息缺失。
构建评估数据集是评估切分效果的前提。评估数据集应该包含代表性的问题和对应的标准答案，以及支撑答案的文档片段。对于每个问题，需要标注出回答该问题需要哪些文档片段，这些文档片段应该位于同一个切分块中还是分散在多个切分块中。通过对比切分结果和标注信息，可以计算出召回率、完整性的具体数值，识别出切分策略的问题所在。
切分策略的优化是一个迭代的过程。通过分析评估结果，可以发现切分策略的薄弱环节，然后针对性地调整切分参数或更换切分策略。例如，如果发现某些长段落总是被切分到不同的切分块中，导致关键信息分散，可以尝试增大切分块的最大长度或使用语义合并策略；如果发现某些主题相近的段落被分到了不同的切分块中，可以尝试降低语义相似度的阈值或调整合并策略。每次调整后都需要重新进行评估，直到切分效果达到满意的水平。
LLaMA-Factory Online提供了可视化的切分效果评估工具，开发者可以在平台上上传文档、配置切分策略、查看切分结果，并进行检索测试。平台会自动计算切分块的大小分布、重叠比例、语义一致性等指标，帮助开发者快速评估和优化切分策略。此外，平台还提供了多种预置的切分模板，覆盖了常见文档类型的最佳实践，开发者可以直接使用这些模板，也可以基于模板进行定制化调整。
文档切分是RAG系统中至关重要但经常被忽视的环节。好的切分策略能够显著提升检索效果，进而提高RAG系统的整体质量；而不恰当的切分策略则可能导致检索失败、回答不准确等问题。通过理解不同切分策略的原理和适用场景，结合实际文档的特点进行选择和优化，开发者可以构建出高质量的RAG系统。LLaMA-Factory Online提供了从文档解析到切分优化的完整工具链，帮助开发者快速掌握文档切分技术，构建高效的RAG应用。
