内容介绍：
一、大模型带来的行业变革
二、向量数据库驱动RAG服务化的探索
三、方案及优势、典型场景应用案例
四、方案涉及产品的选型配置简介
五、最新发布
本次分享的主题是通义百炼融合AnalyticDB，10分钟创建网站AI助手，由阿里云产品经理陈茏久（茏城）分享。
本课程主要介绍在方案中重要的技术背景、行业情况，帮助大家更好的了解这款解决方案。
本内容共涵盖五个章节：
1、介绍了当前大模型带来的行业变革，以及在数据结合大模型的情况下，对于数据的新要求。
2、AnalyticDB在向量数据库驱动RAG服务化的相关探索。
3、介绍AnalyticDB和阿里云百炼结合相较于整个行业的优势，以及目前行业里玩家的典型场景和应用案例。
4、介绍本次配套方案涉及的相关产品的选型和产品能力介绍。
5、预告在这个领域的最新发布，介绍在哪些方面会带来全新体验。
一、大模型带来的行业变革
随着模型的发展趋势，各行各业正在以不同的速率拥抱大模型。
第一，拥抱最快的是电商游戏和广告这类的互联网公司，在场景和人力成本上有极大的依托，可以通过大模型进行提效。比如电商场景里的售前、售后，将企业自身产品的相关知识结合大模型，实现用户支持的提效，通过交互方式帮助客户有更好的导购体验、售中知识体验、售后客服体验。对游戏广告这类生成类目，可在游戏NPC体验上升级，同时对于新游戏的发布、游戏中相关的服务器维护、客服高发场景上，通过大模型的方式进行更好的资源支撑，实现效率最优。
第二，教育、媒体、影视这类有海量的知识内容沉淀的企业可以快速拥抱大模型，以提升原来需要大量人力成本服务的编辑场景。比如教育、老师客服、老师教学、学习助手支持、用户自学习的相关场景，大模型与现有的教材间可实现非常好的契合。非常多的教育行业已经开始拥抱大模型，媒体、影视行业更多的是将多模态与大模型融合，实现更快速媒体资源创作、寻找，最后进行行业变革。
第三，一些重度和安全相关的企业和传统企业也在积极的寻找和大模型领域的相关结合。
综上，有以下的行业趋势：
首先，关于数据，将原来单纯的结构化数据即可驱动业务变成，需要更大范围、更多模态的数据支持在线业务，比如客服、销售，数据规模正在大幅增长。同时大模型创造的数据存储的规模也影响数据存储的覆盖范围，这是正向的飞轮的正在形成。
第二，对于数据质量的要求正在提升。数据的质量决定了大模型的回答、应用的质量，更好的数据质量、数据规范，更合理的数据建模，帮助一些企业能更快的拥抱大模型并形成极好的效果。
在增长的同时，更多的企业开始关注数据安全，对于整个企业核心资产的数据，如何保证数据在安全的情况下，使用大模型是企业非常关注的。需要在高度数据安全的环境下，有效使用大模型进行能力升级，是全域企业所需要的能力。现在全行业正在积极的拥抱AI、构建企业孪生应用。
二、向量数据库驱动RAG服务化的探索
为满足以上需求，AnalyticDB进行了一些相关的行业探索。首先将企业的大模型服务进行能力分层，自上而下分别是企业私有的服务，包括企业自身的知识库（企业核心的知识资产），企业希望通过大模型，以全新的方式进行知识的传递服务、传递效率，同时提升产品体验。对于有较明确的私域化场景、独特性场景的企业，需要提供自己的模型，进行模型的finetune。在模型服务侧，以阿里云为例，通义模型提供基本的LM大语言基础模型。与此同时，各行业有自己的行业知识、行业壁垒。为更好满足各行业和模型的适配，很多企业包括独立服务商或阿里云厂商，都在各行业提供了专有的行业模型，以满足该行业特有的相关场景。真正的企业落地是将企业内部的服务与模型厂商的服务进行结合。比如RAG，就是将知识库与下面模型服务商提供的模型进行在框架下的结合，完成企业相关的落地。
如图，这是RAG构建的体验链路。企业更关注下半部分，企业自身的知识是核心竞争力，这些知识包括之前处理的结构化文档，目前越来越多的多模态的数据，比如声纹、图片、视频等也开始进入企业知识构建的范畴。将这些知识进行企业知识的规划、结构化之后，通过向量算法将其存储到企业的向量湖仓中，湖仓可用于未来持续为企业提供与大模型集成的知识的基建和检索能力。关于用户，当提供交互式体验时，包括聊天历史和新问题，通过大语言模型可以将其进行长短记忆结合，形成单次独立问题。将该问题通过算法embedding，生成一段涵盖上下文语、词间语义的向量数，从而进入企业的知识库查找企业相关的知识，而这些知识则是与这个问题最相关的一些内容，将其通过多路召回即全文检索、向量以及其他结构化的方式。将多路召回的结果面向语义小模型精排，可提供该企业内面向此问题最相关的知识资产，将这些资产和问题一起拼凑成面向解决用户应用场景的crowd。例如如果是客服场景，那么请扮演一个客服，用以下企业的产品知识1、2、3、4、5进行回答，交替给大模型进行相关的推理求解，最终生成在场景下的答案。prompt可以基于不同的场景变化，如果是售前，可以对其进行语义语调、回答方式上的调整。这些独立、开放的prompt将面向企业提供灵活性，以满足不同场景下的对答体验。在大模型的加持下，原来对于结构化的数据之外需要处理海量非结构化的知识图片等，多模态的数据应用到大模型中，对应用的搭建、处理数据的规模、数据检索的质量和性能提供了更高的要求。
AnalyticDB是一款高度自研的向量数据库，在数据库能力上一直处于全球领先地位，在2019年自研了整体的销量能力，也在近些年进行了高度演进。目前在满足所有数据库能力的情况下，在开源产品的向量检索、全文检索的融合查询方面较有优势。
使用这款引擎，能更好的为企业提供长期核心知识构建的服务。ADB是MTP的数据库，可以随着企业数据规模不断增大、服务客户不断增多持续的延展，以线性的能力提供增量计算和存储。这样可以保证在业务持续增长、知识不断增多时，核心底层技术可以非常平滑的进行服务能力拓展。对于核心技术算法，将在每个节点上，提供向量检索、全文检索、条件过滤等，一个任务分布到多个节点上进行并行计算，同时查询整个结果，唯一性与事务性均可以保证。这种方式可以满足随着业务规模的不断增大、扩展期间，能力保持一致。对于数据存储的形态，除了结构化等传统能力之外，对于向量、半结构化、非结构化的数据均提供相关存储，也保证客户可以将更多的业务场景依托引擎进行相关服务。这款引擎已服务了数百客户，也完成了从小规模到大规模的全场景客户实践。
AnalyticDB 虽然是阿里云自研产品，但和开源的合作非常紧密。已从OpenAI社区即ChatGPT Retrieval plugin到lang chain 、Llmaindex和Dify&streamlit社区。AnalyticDB DB已经全面的提交相关框架适应代码，满足这些框架中所有和RAG相关的场景化应用，也会持续和开源深度合作，保证客户在未来面向开源的使用选择中，不会因为ADB缺少相关支持而被迫变化架构，这也是该产品比较靠前的原因。
三、方案及优势、典型场景应用案例
1.结合阿里云以及开源相关方案和典型客户落地场景
（1）阿里云百炼的默认向量
阿里云最主流的产品——商业化大模型AnalyticDB和百炼一起为企业提供了非常安全的、企业级的知识库及增强检索的服务架构。在这个架构中，AnalyticDB已经是阿里云百炼的默认引擎和向量引擎之一，支持海量的、多租户的数据安全隔离和访问。
（2）RAG检索优化
ADB和百炼引擎，在RAG检索链路上，构建相关竞争优势。相较于NaiveRAG, 使用fusion、长短查询、查询改写以及自研阿里云embedding的算法时，整体上做到了相较于开源算法有非常强的召回精度的提升。这也帮助企业做到真正面向客户服务的时候能够提供差异化的召回精度和推理精度的提升。
（3）保障企业数据安全
ADB对于企业的数据安全做了提前考虑。今天的企业非常关注知识部分的存储和知识使用的可监管。AnalyticDB支持用户构建在自己的云上、VPC内，也就是资源，是客户自己的数据库资源，可以将AnalyticDB的资源与百炼平台有限的打通，将百炼的服务能力与企业自身的数据能力进行支持。在每次RAG的查询过程中，仅返回企业认为可以透出的相关知识交予百炼，进行相关的模型推理和客户服务。这样可以最大程度监管企业内的信息流出，同时确保企业全域知识私域内的私密性。ADB在被百炼调用的过程中，可以做到所有使用量的监控、审计，同时进行相关的权限配置，确保企业可以有全局数据安全的掌控。这种合作方式影响未来选择ADB后，在阿里云上其他的RAG相关应用，比如灵码、点金、钉钉、析言等，均可使用这种方式，即ADB的一次单向的选择，可以帮助客户未来在阿里云上，使用RAG场景，从而做到核心知识库的复用，同时也能做到选型上更长久的判断。
使用自己私域的ADP结合通义百炼构建一个面向轻量级的网站，可以做到基于企业私域知识使用的AI助手。包括在百炼构建模型应用、搭建示例网站，同时引入AI助手，在第一次调用中，基于纯互联网的知识会怎么回答。在增加知识库后，基于企业自身私域知识在面向网络AI助手时能得到什么样的回答。
2.汽车行业的相关支撑
车载的车机实际上承担了非常重的交互体验，在相关的支架（如出行规划）、基于互联网知识的闲聊和基于企业私域知识的闲聊、陪护、讲故事，在车书上均有很好的落地案例。汽车作为重销售的场景，对于销售助手、企业有非常多的相关培训，包括销售培训、数字人、文案生成（金牌话术），同时包括研发效率上的企业办公、企业知识的问答，这些均可通过配套解决方案全域实现。
3. 教育行业的变革
企业教培的客户有数万客户，数万客户内每个企业都有自己的整套的权限管理和课程，以及有海量的学生。这均可通过一套ADB进行多个客户、多个组织架构、多套课程的全域教育SARS，让学生在自学、查课的过程以及教育知识助手的相关过程中均可通过RAG进行体验全新变更，满足对于海量客户服务过程中边际成本递减的方式。海量运用ADB多租户、数据库能力完备、支持强有力的向量检索和开源的框架打通能力。
4、游戏行业的客服
游戏行业的客服原来是基于单轮对话进行查找，现在可以基于RAG进行架构升级，通过大脑使用和游戏世界观的独立建立，做到数百款游戏同时的在线客服的服务。通过多轮对话的方式，经过安全滤网的评估策略，实现了从意图判断、知识召回、总结润色和排版优化的智能内容生成，实现游戏内、游戏外客服全链路的体验升级。
四、方案涉及产品的选型配置简介
1.方案及产品选型配置
（1）云原生数据仓库AnalyticDB PostgreSQL
云原生数据仓库AnalyticDB PostgreSQL，选用基础版的最低规格即可完成本次课程，即开启向量引擎，同时支持4C*单节点存储50G，这里可以开在北京，预估费用在三元左右。
（2）函数计算
函数计算主要用于帮助客户搭建网站，同时开放网站智能助手，提供相关的样例代码，进行快速的冷启动，完成网站和智能助手的应用层构建，本次对于新用户全免费。
（3）阿里云百炼产品
阿里云百炼产品主要用于模型调用、RAG应用的智能化应用搭建，目前新客户免费使用token。如果在1个小时内完成，体验不超过10元。
2、ADB的两种资源实力
（1）高性能版本，基本可以满足主流的业务使用，只需指定所有的计算资源和存储资源即可。
（2）对于企业未来在长期使用过程中，面向最核心、高可用的场景，推荐企业购买可用版本，相较于高性能版本上，可用性、容灾DR上有非常强的保障，也提供99.95的SRV保障，和购买逻辑和高系统版本一样，目前ADB只对计算和存储进行收费。
五、最新发布
1、ADB即将发布的相关内容
（1）企业内可能会使用灵码助手，AnalyticDB PostgreSQL服务目前已经支持了通义灵码企业标准版问答，即将在Q2开放企业的私域ADB作为私域的RAG引擎关联，完成和百炼一样的框架搭建。这样，企业可将自身的知识存储在本地，将自己的私域内容作为灵码生成的补充，确保生成的代码更符合企业的标准和企业的自身代码库的积淀。
（2）ADB成为析言推荐的NISQL数据分析引擎。ADB实际在数仓领域也有非常多的客户进行相关选择。作为企业核心的数据分析引擎。析言可以更好的将ADB的使用方式，从单纯面向分析师的SQL使用方式、面向BI对接的使用方式变成通过自然语言的交互式数据查询引擎。用户可以使用自然语言查询post在ADB上的核心数据资产，完成数据分析、数据运营等相关的工作。目前这个能力已经开放，并且ADB也会持续和阿里云主流大模型相关的应用进行整合、集成，帮助企业覆盖更多大型原生的构造场景。
