PAI+Hologres基于大模型搭建企业级知识库

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
简介: 本文为您介绍如何通过计算巢服务,一键完成Hologres与大规模问答知识库所需的硬件资源与软件资源部署,快速完成企业级问答知识库的搭建。

本文为您介绍如何通过计算巢服务,一键完成Hologres与大规模问答知识库所需的硬件资源与软件资源部署,快速完成企业级问答知识库的搭建。

背景信息

  • Hologres是阿里巴巴自研一站式实时数仓产品,不仅支持海量数据多维分析(OLAP)、高并发低延迟的在线数据服务(Serving),还与达摩院自研高性能向量计算软件库Proxima深度整合,支持高性能、低延时、简单易用的向量计算能力。关于Proxima在Hologres中的应用,请参见Proxima向量计算

  • PAI-EAS是阿里云的模型在线服务平台,支持用户将模型一键部署为在线推理服务或AI-Web应用,可以一键部署LLM推理、AIGC等热门服务应用。PAI-EAS适用于实时推理、近实时异步推理等多种AI推理场景,具备Serverless自动扩缩容和完整运维监控体系能力。详情请参见EAS产品架构

  • LangChain是一个开源框架,可以将大模型、向量数据库、定制语料结合,高效完成专属问答知识库的搭建。Hologres现已被LangChain作为向量数据库集成,详情请参见LangChain-Hologres。

  • 计算巢服务是一个开放给服务商和用户的服务管理PaaS平台,为服务商和用户提供了高效、便捷、安全的服务使用体验,服务商能更好地在阿里云上部署、交付和管理服务,用户能集中管理在阿里云上订阅的各类服务商提供的服务。通过计算巢,可以一键完成问答知识库所需的硬件资源拉起与软件资源部署。计算巢服务详情介绍,请参见什么是计算巢服务
    推荐产品:实时数仓Hologres(原交互式分析)

前提条件

若您使用RAM用户进行知识库搭建,请确认RAM用户已具备相应的权限。需要的权限和授权方式,请参见为用户侧RAM用户(子账号)授权

创建计算巢服务实例

1、访问计算巢服务市场页面,选择Hologres+PAI一键部署企业级问答知识库,并单击正式创建。
2、在创建服务实例页面,配置以下参数。

image.png

3、单击下一步:确认订单,在订单确认页面,确认依赖检查信息和授权信息,然后单击立即创建。

服务实例创建成功之后,在服务实例管理列表查看已创建的服务实例状态。

使用知识库

1、配置并连接知识库。

a、访问服务实例管理页面,单击已部署的实例ID,进入服务实例详情页面。

b、在实例信息区域,单击endpoint,进入Hologres+大模型WebUI。

image.png

c、在Hologres+大模型WebUI的设置页签,配置以下参数。

image.png

  • User:阿里云账号或RAM用户的AccessKey ID。您可以进入AccessKey管理页面获取AccessKey ID。

  • Password:AccessKey ID对应的AccessKey Secret。您可以进入AccessKey管理页面获取AccessKey Secret。

说明
Embedding模型、模型在线服务PAI-EAS连接信息与计算巢部署的Hologres实例的VPC Host、Port、Database(默认为:chatbot)信息已配置,无需修改。

d、单击连接Hologres。

在连接信息中返回连接Hologres成功内容,即说明连接成功。

在上传页签,选择您的专属语料数据文件,然后单击上传。本文以语料示例文件为例。

2、上传完成后在状态区域,返回成功上传 1 个文件 [ example_data.txt, ] ! 内容,即说明上传成功。

image.png

3、在聊天页签,配置问题反馈相关参数。

image.png

4、在提问框中输入您的问题,并单击提交。
image.png

说明
您可以进一步使用PAI-EAS部署的大模型的调用信息,将知识库接入实际业务场景进行使用,例如:接入钉钉聊天群聊,详情请参见使用Hologres和大模型免费定制专属聊天机器人。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
目录
相关文章
|
1月前
|
机器学习/深度学习 数据采集 人工智能
文档智能 & RAG 让AI大模型更懂业务 —— 阿里云LLM知识库解决方案评测
随着数字化转型的深入,企业对文档管理和知识提取的需求日益增长。阿里云推出的文档智能 & RAG(Retrieval-Augmented Generation)解决方案,通过高效的内容清洗、向量化处理、精准的问答召回和灵活的Prompt设计,帮助企业构建强大的LLM知识库,显著提升企业级文档管理的效率和准确性。
|
1月前
|
机器学习/深度学习 数据采集 自然语言处理
【机器学习】大模型驱动下的医疗诊断应用
摘要: 随着科技的不断发展,机器学习在医疗领域的应用日益广泛。特别是在大模型的驱动下,机器学习为医疗诊断带来了革命性的变化。本文详细探讨了机器学习在医疗诊断中的应用,包括疾病预测、图像识别、基因分析等方面,并结合实际案例进行分析。同时,还展示了部分相关的代码示例,以更好地理解其工作原理。
51 3
【机器学习】大模型驱动下的医疗诊断应用
|
1月前
|
机器学习/深度学习 算法 PyTorch
【机器学习】大模型环境下的应用:计算机视觉的探索与实践
【机器学习】大模型环境下的应用:计算机视觉的探索与实践
56 1
|
1月前
|
机器学习/深度学习 自然语言处理 前端开发
前端大模型入门:Transformer.js 和 Xenova-引领浏览器端的机器学习变革
除了调用API接口使用Transformer技术,你是否想过在浏览器中运行大模型?Xenova团队推出的Transformer.js,基于JavaScript,让开发者能在浏览器中本地加载和执行预训练模型,无需依赖服务器。该库利用WebAssembly和WebGPU技术,大幅提升性能,尤其适合隐私保护、离线应用和低延迟交互场景。无论是NLP任务还是实时文本生成,Transformer.js都提供了强大支持,成为构建浏览器AI应用的核心工具。
456 1
|
2月前
|
存储 人工智能 并行计算
Pai-Megatron-Patch:围绕Megatron-Core打造大模型训练加速生态
Pai-Megatron-Patch(https://github.com/alibaba/Pai-Megatron-Patch)是阿里云人工智能平台PAI研发的围绕Nvidia MegatronLM的大模型开发配套工具,旨在帮助开发者快速上手大模型,完成大模型(LLM)相关的高效分布式训练,有监督指令微调,下游任务评估等大模型开发链路。最近一年来,我们持续打磨Pai-Megatron-Patch的性能和扩展功能,围绕Megatron-Core(以下简称MCore)进一步打造大模型训练加速技术生态,推出更多的的训练加速、显存优化特性。
|
1月前
|
机器学习/深度学习 数据采集 人工智能
大模型体验报告:阿里云文档智能 & RAG结合构建LLM知识库
大模型体验报告:阿里云文档智能 & RAG结合构建LLM知识库
|
3月前
|
机器学习/深度学习 数据采集 物联网
【机器学习】Google开源大模型Gemma2:原理、微调训练及推理部署实战
【机器学习】Google开源大模型Gemma2:原理、微调训练及推理部署实战
130 0
|
3月前
|
机器学习/深度学习 编解码 API
【机器学习】FFmpeg+Whisper:二阶段法视频理解(video-to-text)大模型实战
【机器学习】FFmpeg+Whisper:二阶段法视频理解(video-to-text)大模型实战
55 0
|
3月前
|
机器学习/深度学习 人机交互 API
【机器学习】Whisper:开源语音转文本(speech-to-text)大模型实战
【机器学习】Whisper:开源语音转文本(speech-to-text)大模型实战
215 0
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
【机器学习】ChatTTS:开源文本转语音(text-to-speech)大模型天花板
【机器学习】ChatTTS:开源文本转语音(text-to-speech)大模型天花板
146 0
下一篇
无影云桌面