AnalyticDB向量检索助力钉钉AI助理

2024-01-26 932

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

阿里云百炼推荐规格 ADB PostgreSQL，4核16GB 100GB 1个月

RDS PostgreSQL Serverless，0.5-4RCU 50GB 3个月

简介： 2024年1月9日钉钉发布人人可用的AI助理产品，用户点击钉钉首屏右上角的魔法棒，即可唤起AI助理进行对话式数据AI、信息摘要、写工作总结、写文档等工作。AnalyticDB for PostgreSQL (下文简称ADB-PG) 向量检索引擎提供了核心实体的向量召回，帮助AI助理在智能问数等场景中大幅提升模型输出准确性。

1、钉钉AI助理发布

2024年1月9日，在钉钉7.5产品发布会上正式发布了基于70万家企业需求共创的AI助理产品，推动AI的使用门槛进一步降低，让人人都能创造AI助理。钉钉总裁叶军在发布会现场演示了智能问答、智能问数等AI助理的典型能力。

智能问数在连接业务数据后，能跨应用查询与分析销售、差旅、人事等多个场景的经营数据。用户可以基于自己在钉钉沉淀的数据进行自由提问，官方预置的指令中心帮助用户低门槛快速上手正确的提问方式。通过对话式数据AI，结合知识图谱、自然语言理解等，为企业用户提供智能问答、智能推荐、预警归因等功能；帮助用户方便快捷的查找数据、简单直观的解读数据、智能深入的挖掘数据，实现人人都有自己的专属数据分析师，提高数据查询及分析的效率。

（AI助理智能问数场景）

2、ADB-PG 智能问数场景应用

2.1 向量召回提升模型输出准确率

在智能问数场景中，如何在问答过程中准确定位实体（如分公司名称、部门名称、专有名称等）是一个难点问题。比如，管理者通过自然语言输入“帮我查看华东区域xx产品第三季度业绩”，华东区域到底包含哪些分公司呢？又比如“查看产品部Q1绩效”，产品部在该企业内部全称是产品设计及管理部。又比如产品SKU在企业内部有特殊代号，大模型无法识别这些特殊的代号。总体而言，结合企业专属数据提供贴近企业需求的AI服务难度是非常大的。

因此，通过 AnayticDB for PostgreSQL 向量检索引擎对10亿+核心企业实体（企业名称、部门名称、员工名称、专有名词等）实现向量化，针对企业用户随意输入的问题通过向量检索召回最准确的企业实体，然后再结合大模型提供智能问答、智能问数等服务，大大提升了AI助理对实体的识别和大模型准确率。

2.2 构建企业专属实体知识库

大模型虽然能解答普适性的问题，但在一些垂直领域上无法覆盖企业专属知识以及无法保障数据更新时效性，导致大模型应用在企业中落地困难。企业可采用 AnayticDB for PostgreSQL 向量检索引擎构建企业专属知识库，对结构化、半结构化和非结构化数据通过 Embedding 向量化后存储到 AnayticDB for PostgreSQL 中。结合大模型推理服务，将企业私有数据融入到智能问答、智能问数、智能创造等大模型应用中。构建企业专属大模型知识库的步骤大致如下：

1）数据预处理：在向量化之前需要对非结构化的文档、图片进行预处理，包括文档/图片解析、切块；预处理会质量会对问答召回和准确率有非常大的影响

2）Embedding：通过大模型的Embedding算法对预处理后的数据块进行向量化，存储到向量数据库中

3）向量检索：大模型将用户的问题进行向量化后在向量数据库中进行向量检索和近似度计算，同时结合结构化的条件过滤进行权限和范围的限定

4）查询召回：大模型对向量检索的结果进行推理求解最终返回最接近问题的答案，因为语义检索的覆盖面可能不全，因此可以结合全文检索对答案进行补充。

（构建企业专属知识库）

3、ADB-PG 私域数据保护

企业可以在公共云上开启 AnayticDB for PostgreSQL 专属实例存储企业专属数据，同时也支持线下混合云输出，满足不同企业对数据安全的要求。结合 AnayticDB for PostgreSQL 行/列级权限控制、动态数据脱敏、数据加密、SQL审计等手段最大化保障企业数据安全。让企业在使用大模型应用服务带来的便捷性同时又无需担心私域数据安全性问题。