AnalyticDB向量检索助力钉钉AI助理

简介: 2024年1月9日钉钉发布人人可用的AI助理产品,用户点击钉钉首屏右上角的魔法棒,即可唤起AI助理进行对话式数据AI、信息摘要、写工作总结、写文档等工作。AnalyticDB for PostgreSQL (下文简称ADB-PG) 向量检索引擎提供了核心实体的向量召回,帮助AI助理在智能问数等场景中大幅提升模型输出准确性。

1、钉钉AI助理发布

2024年1月9日,在钉钉7.5产品发布会上正式发布了基于70万家企业需求共创的AI助理产品,推动AI的使用门槛进一步降低,让人人都能创造AI助理。钉钉总裁叶军在发布会现场演示了智能问答、智能问数等AI助理的典型能力。


智能问数在连接业务数据后,能跨应用查询与分析销售、差旅、人事等多个场景的经营数据。用户可以基于自己在钉钉沉淀的数据进行自由提问,官方预置的指令中心帮助用户低门槛快速上手正确的提问方式。通过对话式数据AI,结合知识图谱、自然语言理解等,为企业用户提供智能问答、智能推荐、预警归因等功能;帮助用户方便快捷的查找数据、简单直观的解读数据、智能深入的挖掘数据,实现人人都有自己的专属数据分析师,提高数据查询及分析的效率。



(AI助理智能问数场景)

2、ADB-PG 智能问数场景应用

2.1 向量召回提升模型输出准确率

在智能问数场景中,如何在问答过程中准确定位实体(如分公司名称、部门名称、专有名称等)是一个难点问题。比如,管理者通过自然语言输入“帮我查看华东区域xx产品第三季度业绩”,华东区域到底包含哪些分公司呢?又比如“查看产品部Q1绩效”,产品部在该企业内部全称是产品设计及管理部。又比如产品SKU在企业内部有特殊代号,大模型无法识别这些特殊的代号。总体而言,结合企业专属数据提供贴近企业需求的AI服务难度是非常大的。


因此,通过 AnayticDB for PostgreSQL 向量检索引擎对10亿+核心企业实体(企业名称、部门名称、员工名称、专有名词等)实现向量化,针对企业用户随意输入的问题通过向量检索召回最准确的企业实体,然后再结合大模型提供智能问答、智能问数等服务,大大提升了AI助理对实体的识别和大模型准确率。

2.2 构建企业专属实体知识库

大模型虽然能解答普适性的问题,但在一些垂直领域上无法覆盖企业专属知识以及无法保障数据更新时效性,导致大模型应用在企业中落地困难。企业可采用 AnayticDB for PostgreSQL 向量检索引擎构建企业专属知识库,对结构化、半结构化和非结构化数据通过 Embedding 向量化后存储到 AnayticDB for PostgreSQL 中。结合大模型推理服务,将企业私有数据融入到智能问答、智能问数、智能创造等大模型应用中。构建企业专属大模型知识库的步骤大致如下:

1)数据预处理:在向量化之前需要对非结构化的文档、图片进行预处理,包括文档/图片解析、切块;预处理会质量会对问答召回和准确率有非常大的影响

2)Embedding: 通过大模型的Embedding算法对预处理后的数据块进行向量化,存储到向量数据库中

3)向量检索: 大模型将用户的问题进行向量化后在向量数据库中进行向量检索和近似度计算,同时结合结构化的条件过滤进行权限和范围的限定

4)查询召回:大模型对向量检索的结果进行推理求解最终返回最接近问题的答案,因为语义检索的覆盖面可能不全,因此可以结合全文检索对答案进行补充。

(构建企业专属知识库)

3、ADB-PG 私域数据保护

企业可以在公共云上开启 AnayticDB for PostgreSQL 专属实例存储企业专属数据,同时也支持线下混合云输出,满足不同企业对数据安全的要求。结合 AnayticDB for PostgreSQL 行/列级权限控制、动态数据脱敏、数据加密、SQL审计等手段最大化保障企业数据安全。让企业在使用大模型应用服务带来的便捷性同时又无需担心私域数据安全性问题。

4、ADB-PG 优势特点

优势1 一站式融合分析

用户只需要通过一条SQL即可实现结构化数据分析、向量分析和全文检索三者融合,实现多路召回。

优势2 社区合作紧密

AnalyticDB for PostgreSQL 是国内云厂商中唯一被OpenAI和Langchain两个主流社区集成的向量数据库引擎;支持对接通义千问、ChatGpt、ChatGLM等国内外主流大模型。

优势3 功能完善,性能极致

1)支持向量数据流式导入,索引压缩,事务,和各类相似度算法。

2)较比同类产品有更高的写入吞吐和查询性能。

优势4 解决方案丰富

1)提供从文档解析、CHUNK、Embedding、向量近似度计算、检索全套OpenAPI服务,让用户快速落地。

2)提供计算巢一键部署方式,在30分钟内一键构建企业专属大模型和向量数据库,快速搭建企业级ChatBot。

3)支持构建图搜图、文搜图等产品化解决方案。

优势5 仓内智能

可在数据仓库中即可实现对大模型finetune,以及调用内置或外部模型实现AI增强分析。


AnalyticDB PostgreSQL 版向量能力介绍

向量能力介绍: https://help.aliyun.com/zh/analyticdb-for-postgresql/user-guide/vector-analysis/

RAG 一站式服务: https://help.aliyun.com/zh/analyticdb-for-postgresql/user-guide/rag-service/

钉钉群

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
3月前
|
存储 人工智能 OLAP
AI Agent越用越笨?阿里云AnalyticDB「AI上下文工程」一招破解!
AI上下文工程是优化大模型交互的系统化框架,通过管理指令、记忆、知识库等上下文要素,解决信息缺失、长度溢出与上下文失效等问题。依托AnalyticDB等技术,实现上下文的采集、存储、组装与调度,提升AI Agent的准确性与协同效率,助力企业构建高效、稳定的智能应用。
|
3月前
|
人工智能 定位技术 数据库
工具设计+动态检索:上下文工程如何让AI智能体像人类一样思考?
本文深入解析AI Agent时代的上下文工程,阐述其从提示工程的演进逻辑,剖析系统提示、工具设计与示例策划三大核心,并探讨长时程任务应对策略,揭示高效信息流管理对构建可靠Agent的关键作用。建议收藏细读。
397 0
|
4月前
|
人工智能 数据库 索引
超越幻觉:检索增强生成如何为AI大模型“装上”事实核查系统
超越幻觉:检索增强生成如何为AI大模型“装上”事实核查系统
318 107
|
4月前
|
存储 人工智能 关系型数据库
阿里云AnalyticDB for PostgreSQL 入选VLDB 2025:统一架构破局HTAP,Beam+Laser引擎赋能Data+AI融合新范式
在数据驱动与人工智能深度融合的时代,企业对数据仓库的需求早已超越“查得快”这一基础能力。面对传统数仓挑战,阿里云瑶池数据库AnalyticDB for PostgreSQL(简称ADB-PG)创新性地构建了统一架构下的Shared-Nothing与Shared-Storage双模融合体系,并自主研发Beam混合存储引擎与Laser向量化执行引擎,全面解决HTAP场景下性能、弹性、成本与实时性的矛盾。 近日,相关研究成果发表于在英国伦敦召开的数据库领域顶级会议 VLDB 2025,标志着中国自研云数仓技术再次登上国际舞台。
427 0
|
4月前
|
存储 机器学习/深度学习 人工智能
​​解锁AI检索的7大Embedding技术:从稀疏到多向量,一文掌握!​
本文系统解析七种主流文本嵌入技术,包括 Sparse、Dense、Quantized、Binary、Matryoshka 和 Multi-Vector 方法,结合适用场景提供实用选型建议,助你高效构建文本检索系统。
491 0
人工智能 自然语言处理 数据可视化
418 0
人工智能 关系型数据库 OLAP
509 0
|
5月前
|
存储 人工智能 分布式计算
数据不用搬,AI直接炼!阿里云AnalyticDB AI数据湖仓一站式融合AI+BI
阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL版(以下简称ADB)诞生于高性能实时数仓时代,实现了PB级结构化数据的高效处理和分析。在前几年,为拥抱大数据的浪潮,ADB从传统数仓拓展到数据湖仓,支持Paimon/Iceberg/Delta Lake/Hudi湖格式,为开放的数据湖提供数据库级别的性能、可靠性和管理能力,从而更好地服务以SQL为核心的大规模数据处理和BI分析,奠定了坚实的湖仓一体基础。