- 模型优化技术
为了能在各种设备上运行，云信团队对模型进行了大量优化，保证模型处理的高效，同时保持效果稳定。这些优化大量使用了模型剪枝技术来压缩模型参数量，用以减少推理时间。另外，优化还尝试了多种蒸馏方法。
- 设备优化技术
大量的计算发生在端侧，尤其是移动端，各种设备参差不齐，只靠轻量级的网络不能完全解决问题。云信团队针对移动端自研了自己的深度学习推理框架，自研推理框架大量使用 GPU 进行推理计算，同时对 CPU 进行了大量精细的 SIMD 优化。除了常规的优化外，云信团队还对视频处理的特点做了创新性的优化，使用 int16 量化和稀疏推理。基于上述技术优化，云信团队的深度学习算法在大量移动设备中得以应用，即使在一些较差的设备上也能运行视频超分等算法，有效地提升了用户视频的体验。
- 网络设计和训练方法优化
在目标检测、识别分割处理两大类任务上，云信团队通过网络设计优化、训练方法优化分别提升了上述任务的效果。在优化网络设计方面，云信团队将流行的 encoder-decoder 网络结构及其变体设计成为主干网络。为了进一步增大感受野，同时更高效地融合各层特征，加入类金字塔结构。除了图像数据外，在 loss 上加入各种特征信息提升学习效果。在训练方法上，云信团队标注了大量数据，同时采用了如下多种方法，包括数据增强扩充样本、随机更换、多尺度训练、难例挖掘等。驾驭AI加持下的客服机器人/自然语言对话技术自然语言对话技术要求系统具备从零学习的能力，快速领悟行业知识，并且针对业务场景进行多轮、有效的对话。在自然语言对话技术的支持下，智能客服机器人提供从文字咨询、智能外呼、业务办理等多维度的客户服务，从客户获取到订单管理实现了无人化、智能化，并越来越多地在金融、零售、房地产、物流等行业应用。自2016年以来，网易云商团队（以下简称「云商团队」）不断完善旗下的智能机器人产品网易七鱼，目前已有40万+企业客户正在使用云商提供的在线客服、云呼叫中心、客服机器人、工单系统等服务。云商团队非常重视对前沿自然语言对话技术的提升：通过优化客服的语义匹配算法和对话框架，云商团队高效解决了复杂场景下的访客需求；通过形成基于行业 know-how 的知识包，成功提高了场景的快速落地能力；通过分布式计算及去 GPU 化，实现了自然语言对话系统的低成本及高可用性。这些技术推动云商智能客服机器人的持续进化，提升客户的满意度。
- 构建高效解决访客需求、低成本、高可用的技术方案
为了不断优化机器人的应对能力，云商团队着力于提升基于大模型、多模型集成与知识蒸馏的语义匹配算法、 基于FAISS 语义搜索引擎的智能推荐方案和基于知识图谱的问答能力等三个方向。1.基于大模型，多模型集成与知识蒸馏的语义匹配算法云商智能客服机器人的基础功能是识别访客意图。云商团队采用当前主流的 Transformer 结构，同时使用蒸馏加上多模型集成思想，既提升了模型的推理速度，也提高了意图识别的精度。算法采用 sentence-bert 模型思想，并在此基础之上做了重点优化。2.基于 FAISS 语义搜索引擎的智能推荐方案为了方便 B 端客户配置自己的知识库，云商提供智能问法推荐功能。根据客户的问题和语义搜索引擎，系统会提供一系列语义相似但是表述不同的句子供选择，帮助客户快速完成配置工作。云商团队使用的算法是基于 FAISS 的语义搜索引擎。云商团队采用的模型是客服领域的专用模型，同时对向量长度执行 PCA 降维操作，进一步提升检索速度。3.基于知识图谱的问答能力云商还能提供表格知识图谱的功能，精确识别不同的商品型号，以及型号的不同属性。云商团队把销售领域表格分为实体、属性、答案三个部分。通过识别实体和属性，系统能够锁定唯一的一个单元格，把答案反馈到 C 端客户。在这个功能的基础之上，云商的表格知识图谱还支持上下文对话能力，具备反问和推荐的能力。
- 实现低成本及高可用
作为平台型应用，云商团队不断升级多种技术指标，确保服务业务场景的丰富性和持续反馈。在低成本及高可用的总目标下，云商团队的工作重点是白名单管理平台、计算降本增效（去GPU化）、模型多版本管理平台以及业务问题定位及效果监控。
- 实现快速冷启动
云商智能机器人的表现基于对行业知识和对话语境的理解，这就要求初始系统具备学习行业知识和极强的变通能力。为了实现快速冷启动，云商团队的技术重点是打造基于行业的知识包和构建冷启动助手。1.打造行业知识包：云商团队使用 FAISS 语义检索引擎，通过设定不同的阈值条件获得分层聚合的检索结果，并进一步通过DBSCAN完成余下内容的聚类合并。最后通过人工挑选，完成整个行业的知识沉淀。2.构建冷启动助手：云商团队从获得「近似问法」入手，使用 Paraphrase 生成模型，获得一批相似问法候选项，再通过排序模型，获得最后的相似问法集。另外，云商团队采用了称为「回译」的方法增加相似问法，该方法借助于翻译模型，将标准问法翻译成英、日、法、德等多国语言，再将翻译结果译回中文，以此获得近似问法。
- 获得AI能力的持续优化、发挥人机交互的协同优势，提高交互智能度
1.FAQ 知识库的持续构建：云商团队的研究重点是基于人工客服会话的问答提取方案和基于说明文档的问答提取方案。2.基于人工客服会话的问答提取方案：云商团队使用了一种基于客服会话自动构建 FAQ 的方法。首先，利用开源文本相似度语料（如ChineseSTS）训练 Sentence-BERT 模型，将与客户对话的句子向量化。向量化后的文本可利用余弦相似度来衡量文本之间的语义相似度。随后，利用相关规则提取会话中的问句。以语义相似度为权重构建无向连通图，通过改造 PageRank 算法对所有问句进行关键度排序，获取关键问句作为标准问句。最后，将标准问句后面客服的三句答复作为答案候选。通过答复和问句之间的主题相关度进行排序，得到最终答案。
3.基于说明文档的问答提取方案：云商团队还可以根据用户提供的文档提取问答内容，构建云商平台的 FAQ 知识库。云商团队使用一站式的方式，从文档中抽取问答对。这样能够同时提取问题和答案，使问题生成和答案抽取的过程相互影响，有效提升问答对抽取的准确率。问答提取模型采用的是基于 Transformer 的 seq2seq 架构，实践中使用 BART 模型，由双向编码器、自回归解码器构成。· 智能外呼交互体验智能度提升云商团队着手降低算法的不可控性。目前，外呼系统的实现方式采用流程图的形式进行对话状态跟踪（DST）、对话策略（DP）、自然语言生成（NLG）的规则配置。算法主要基于（NLP）技术识别用户意图，通过ASR纠错、噪声过滤、意图识别及实体抽取等环节提取实体信息。
1.ASR 纠错：ASR 基于端到端框架的流式语音识别系统，支持智能打断功能。ASR 纠错作为 ASR 模块的补充，用于纠正转写过程中出现的错误。纠错过程结合云商机器人的问题，构建出有效的上下文信息，理解用户的内容进行错误识别与纠正。这个补充能够缓解 ASR 转写存在的上下文依赖问题，降低专有名词、近音字的错字率。2.噪声过滤：在ASR纠错后，系统会进行语义检测，通过语义过滤掉无意义和不相关的回复。3.意图识别：系统会通过内置行业知识库和模型，根据用户所属行业领域进行识别。整体上，采取相似度匹配和分类相结合的方式：识别结果依旧优先采用自定义知识的匹配结果，保证用户的特殊配置需求；未匹配到时，依赖领域知识和内置分类模型给出的识别结果。4.实体抽取：提取出用户说话内容中的重要信息，如姓名、地址、时间等，方便后续的数据统计和分析。提取的对象包括内置常用实体和自定义实体两种。常用实体采用 BERT 预训练模型，具有较高的准确率；自定义实体通过配置规则和相似问的方式，具备较高的灵活度。
