AnalyticDB向量检索助力钉钉AI助理

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
RDS PostgreSQL Serverless,0.5-4RCU 50GB 3个月
推荐场景:
对影评进行热评分析
简介: 2024年1月9日钉钉发布人人可用的AI助理产品,用户点击钉钉首屏右上角的魔法棒,即可唤起AI助理进行对话式数据AI、信息摘要、写工作总结、写文档等工作。AnalyticDB for PostgreSQL (下文简称ADB-PG) 向量检索引擎提供了核心实体的向量召回,帮助AI助理在智能问数等场景中大幅提升模型输出准确性。

1、钉钉AI助理发布

2024年1月9日,在钉钉7.5产品发布会上正式发布了基于70万家企业需求共创的AI助理产品,推动AI的使用门槛进一步降低,让人人都能创造AI助理。钉钉总裁叶军在发布会现场演示了智能问答、智能问数等AI助理的典型能力。


智能问数在连接业务数据后,能跨应用查询与分析销售、差旅、人事等多个场景的经营数据。用户可以基于自己在钉钉沉淀的数据进行自由提问,官方预置的指令中心帮助用户低门槛快速上手正确的提问方式。通过对话式数据AI,结合知识图谱、自然语言理解等,为企业用户提供智能问答、智能推荐、预警归因等功能;帮助用户方便快捷的查找数据、简单直观的解读数据、智能深入的挖掘数据,实现人人都有自己的专属数据分析师,提高数据查询及分析的效率。



(AI助理智能问数场景)

2、ADB-PG 智能问数场景应用

2.1 向量召回提升模型输出准确率

在智能问数场景中,如何在问答过程中准确定位实体(如分公司名称、部门名称、专有名称等)是一个难点问题。比如,管理者通过自然语言输入“帮我查看华东区域xx产品第三季度业绩”,华东区域到底包含哪些分公司呢?又比如“查看产品部Q1绩效”,产品部在该企业内部全称是产品设计及管理部。又比如产品SKU在企业内部有特殊代号,大模型无法识别这些特殊的代号。总体而言,结合企业专属数据提供贴近企业需求的AI服务难度是非常大的。


因此,通过 AnayticDB for PostgreSQL 向量检索引擎对10亿+核心企业实体(企业名称、部门名称、员工名称、专有名词等)实现向量化,针对企业用户随意输入的问题通过向量检索召回最准确的企业实体,然后再结合大模型提供智能问答、智能问数等服务,大大提升了AI助理对实体的识别和大模型准确率。

2.2 构建企业专属实体知识库

大模型虽然能解答普适性的问题,但在一些垂直领域上无法覆盖企业专属知识以及无法保障数据更新时效性,导致大模型应用在企业中落地困难。企业可采用 AnayticDB for PostgreSQL 向量检索引擎构建企业专属知识库,对结构化、半结构化和非结构化数据通过 Embedding 向量化后存储到 AnayticDB for PostgreSQL 中。结合大模型推理服务,将企业私有数据融入到智能问答、智能问数、智能创造等大模型应用中。构建企业专属大模型知识库的步骤大致如下:

1)数据预处理:在向量化之前需要对非结构化的文档、图片进行预处理,包括文档/图片解析、切块;预处理会质量会对问答召回和准确率有非常大的影响

2)Embedding: 通过大模型的Embedding算法对预处理后的数据块进行向量化,存储到向量数据库中

3)向量检索: 大模型将用户的问题进行向量化后在向量数据库中进行向量检索和近似度计算,同时结合结构化的条件过滤进行权限和范围的限定

4)查询召回:大模型对向量检索的结果进行推理求解最终返回最接近问题的答案,因为语义检索的覆盖面可能不全,因此可以结合全文检索对答案进行补充。

(构建企业专属知识库)

3、ADB-PG 私域数据保护

企业可以在公共云上开启 AnayticDB for PostgreSQL 专属实例存储企业专属数据,同时也支持线下混合云输出,满足不同企业对数据安全的要求。结合 AnayticDB for PostgreSQL 行/列级权限控制、动态数据脱敏、数据加密、SQL审计等手段最大化保障企业数据安全。让企业在使用大模型应用服务带来的便捷性同时又无需担心私域数据安全性问题。

4、ADB-PG 优势特点

优势1 一站式融合分析

用户只需要通过一条SQL即可实现结构化数据分析、向量分析和全文检索三者融合,实现多路召回。

优势2 社区合作紧密

AnalyticDB for PostgreSQL 是国内云厂商中唯一被OpenAI和Langchain两个主流社区集成的向量数据库引擎;支持对接通义千问、ChatGpt、ChatGLM等国内外主流大模型。

优势3 功能完善,性能极致

1)支持向量数据流式导入,索引压缩,事务,和各类相似度算法。

2)较比同类产品有更高的写入吞吐和查询性能。

优势4 解决方案丰富

1)提供从文档解析、CHUNK、Embedding、向量近似度计算、检索全套OpenAPI服务,让用户快速落地。

2)提供计算巢一键部署方式,在30分钟内一键构建企业专属大模型和向量数据库,快速搭建企业级ChatBot。

3)支持构建图搜图、文搜图等产品化解决方案。

优势5 仓内智能

可在数据仓库中即可实现对大模型finetune,以及调用内置或外部模型实现AI增强分析。


AnalyticDB PostgreSQL 版向量能力介绍

向量能力介绍: https://help.aliyun.com/zh/analyticdb-for-postgresql/user-guide/vector-analysis/

RAG 一站式服务: https://help.aliyun.com/zh/analyticdb-for-postgresql/user-guide/rag-service/

钉钉群

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
2月前
|
人工智能 自然语言处理 OLAP
体验AnalyticDB与通义千问搭建AI智能客服,赢取马克杯/卫衣等好礼!
体验AnalyticDB与通义千问搭建AI智能客服,赢取马克杯/卫衣等好礼!
|
2月前
|
人工智能 数据可视化 API
10 分钟构建 AI 客服并应用到网站、钉钉或微信中测试评
10 分钟构建 AI 客服并应用到网站、钉钉或微信中测试评
102 2
|
3月前
|
人工智能
10 分钟构建 AI 客服并应用到网站、钉钉或微信中简说
10 分钟构建 AI 客服并应用到网站、钉钉或微信
|
12天前
|
人工智能 数据挖掘 数据库
拥抱Data+AI|破解电商7大挑战,DMS+AnalyticDB助力企业智能决策
本文为数据库「拥抱Data+AI」系列连载第1篇,该系列是阿里云瑶池数据库面向各行业Data+AI应用场景,基于真实客户案例&最佳实践,展示Data+AI行业解决方案的连载文章。本篇内容针对电商行业痛点,将深入探讨如何利用数据与AI技术以及数据分析方法论,为电商行业注入新的活力与效能。
拥抱Data+AI|破解电商7大挑战,DMS+AnalyticDB助力企业智能决策
|
25天前
|
存储 人工智能 自然语言处理
高级 RAG 技术:提升生成式 AI 系统输出质量与性能鲁棒性【预检索、检索、检索后、生成优化等】
高级 RAG 技术:提升生成式 AI 系统输出质量与性能鲁棒性【预检索、检索、检索后、生成优化等】
高级 RAG 技术:提升生成式 AI 系统输出质量与性能鲁棒性【预检索、检索、检索后、生成优化等】
|
28天前
|
人工智能 供应链 搜索推荐
生成式 AI 与向量搜索如何扩大零售运营:巨大潜力尚待挖掘
唯有打破领域壁垒,让数据在整个系统中流转 方可实现 AI 驱动的自动化增长
|
2月前
|
人工智能 运维 负载均衡
10 分钟构建 AI 客服并应用到网站、钉钉或微信中
《10分钟构建AI客服并应用到网站、钉钉或微信中》的解决方案通过详尽的文档和示例代码,使具有一定编程基础的用户能够快速上手,顺利完成AI客服集成。方案涵盖高可用性、负载均衡及定制化选项,满足生产环境需求。然而,若文档不清晰或存在信息缺失,则可能导致部署障碍。实际部署中可能遇到网络、权限等问题,需逐一排查。云产品的功能、性能及操作配置便捷性直接影响解决方案效果,详尽的产品手册有助于快速解决问题。总体而言,该方案在各方面表现出色,值得推荐。
|
2月前
|
人工智能 自然语言处理 运维
钉钉x昇腾:用AI一体机撬动企业数字资产智能化
大模型在过去两年迅速崛起,正加速应用于各行各业。尤其在办公领域,其主要模态——文字和图片,成为了数字化办公的基础内容,催生了公文写作、表格生成、文本翻译等多种应用场景,显著提升了工作效率。然而,AI引入办公场景也带来了数据安全与成本等问题。为此,钉钉与昇腾联合推出的“钉钉专属AI一体机解决方案”,通过本地化部署解决了数据安全、成本高昂及落地难等痛点,实现了从硬件到软件的深度协同优化,为企业提供了开箱即用的AI服务,推动了办公场景的智能化升级。
134 11
|
3月前
|
人工智能 机器人 API
一键打造你的专属钉钉AI助手
【8月更文挑战第7天】一键打造你的专属钉钉AI助手
187 14
一键打造你的专属钉钉AI助手
|
2月前
|
算法 NoSQL 数据挖掘
表格存储低成本向量检索服务助力 AI 检索
本文阐述了阿里云表格存储(Tablestore)如何通过其向量检索服务应对大规模数据检索的需求,尤其是在成本、规模和召回率这三个关键挑战方面。