训练好的文本分类模型，往往只在“老场景”里管用。一旦实际业务中的数据分布发生变化，或需要识别新的文本类别，原有模型便力不从心。增量学习技术虽能让模型持续吸收新知识，却始终面临一个棘手的矛盾——学新易忘旧，即“灾难性遗忘”。
在医疗、金融等高度强调数据隐私的行业，这一矛盾更为突出：原始训练数据因合规要求无法长期留存，依赖历史数据回放的传统增量路径被彻底封死。如何在“不记旧账”的前提下“不忘旧知”，成为文本分类持续优化的一道硬门槛。
日前，合肥高维数据技术有限公司在这一方向取得突破，其自主研发的“基于增量学习的文本分类模型训练方法及装置”获国家发明专利授权（授权公告号：CN 118568265 B）。该专利聚焦自然语言处理领域的增量学习场景，提出了一套无需保存原始文本即可持续更新分类能力的训练框架。
专利方案：无需保存原始文本的增量学习框架
该方法的训练流程包括三个核心阶段：
第一阶段，构建文本数据训练基座模型。 通过两个使用相同初始预训练语言模型的语义特征提取模型A1和A2，分别对初始训练文本和对应标签进行语义特征提取和相似度学习，使文本与标签的语义空间对齐。同时训练一个文本自编码器（AE），对文本的中间语义特征进行降维与重建，并为每个类别保留重建误差最小的代表性样本，形成文本编码库。
图1 文本数据训练基座模型训练方法的原理示意图
第二阶段，增量学习训练。 每次增量学习时，首先对语言模型A2进行训练，将新标签纳入语义空间；随后对语言模型A1进行训练，使其能够将新增文本的语义特征与新旧标签进行匹配；最后对自编码器进行更新，重新生成文本编码库。
图2 文本数据每次增量学习训练方法的原理示意图
第三阶段，文本分类推理。 将待分类文本输入训练好的模型，通过与全部分类标签的语义特征向量进行相似度比对，选择相似度最高的标签作为分类结果。
整个训练过程中，模型始终冻结浅层参数，专注于深层语义特征的提取。文本语义特征具有很高的维度，包含丰富的信息量，能够更好地适应新类别的学习。
技术优势：低成本、高保真、强隐私
该专利技术的主要优势体现在三个方面：
一是降低训练成本。 采用文本语义特征匹配方案和自编码器对训练数据进行重建，无需重复训练已训练过的数据，仅对包含新类别和旧类别新数据的增量部分进行训练，大幅降低了模型更新的训练成本。
二是保护数据隐私。 整个增量学习过程中无需保存原始文本数据，通过自编码器编码后的特征表示即可完成后续学习任务，解决了医疗、金融等场景中不便存储原始数据的痛点。
三是抗遗忘能力强。 通过自编码器持续更新文本编码库，保存已学习数据的语义特征，使模型在学习新知识的同时有效保留旧知识，缓解了灾难性遗忘问题。
应用场景
政务公文与公共信息处理。 政府公文、政策文件类别繁多且持续新增。该技术支持公文自动分发的持续优化，也适用于政务平台短文本信息的自动挖掘与归类。
金融风控与合规审查。 银行、证券等机构需处理海量合同、财报等文本，且金融产品与监管政策持续更新。该技术无需存储敏感原始数据即可持续学习新类别，适用于信贷材料自动分类和金融舆情预警。
医疗病历与健康信息分类。 电子病历、影像报告等涉及患者隐私，数据使用受严格法规限制。该技术可不保存原始文本即实现模型迭代，适用于医疗预授权审批和辅助诊断中的文本分类。
电商评论与用户反馈分析。 电商评论和反馈数据量巨大，商品品类及用户需求不断变化。该技术可动态新增分类标签，无需重新训练全量模型，适用于商品评价解析和情感倾向预测。
法律文书与案件卷宗分类。 法律概念和案件类型随法规更新而演变。该技术的增量学习能力使分类模型持续适应新案例类型，适用于法院电子卷宗的自动归档。
新闻资讯与舆情监测。 互联网热点和新闻主题实时变化，新类别层出不穷。该技术使分类模型能够动态增量训练，适用于科技新闻层次化分类和舆情预警中的文本自动归类。
随着文本数据在各行各业的持续爆发式增长，具备持续学习能力和隐私保护能力的文本分类模型将成为越来越多行业的刚需。高维数据该项专利技术的落地应用，有望为相关领域提供更加高效、安全的技术支撑。
