大语言模型一键转存到OSS并挂载PAI实现企业知识库

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 本文介绍如何实现一键转载主流的大语言模型到自己的对象存储OSS空间中,然后再挂载到PAI-DSW实现多种模型切换测试知识库的效果。

步骤一:通过《LLM模型库,专属知识库大模型惹你选》活动页面转存模型文件

  1. 如果您已经通过活动页面将SD模型库文件转存到了自己的OSS Bucket中,请跳过步骤一。

进入《LLM模型库,专属知识库大模型任你选》页面活动,在方案1:使用对象存储 OSS 作为模型库存储空间处单击一键复制

image.png

  1. 单击一键复制按钮后,将会弹出公共库转存信息对话框,输入新建对象存储OSS Bucket名称,此处示例填写osslibtestforllm;地域请从杭州,上海,北京,乌兰察布这四个Region选择,此处选择华东2(上海);选择大语言模型的来源,此处选择来自Huggingface;签署转存的授权协议;最后单击确认转存

image.png

  1. 确认转存后几秒钟,将会弹出文件框提示转存成功,记录对象存储OSS Bucket名称为 osslibtestforllm

image.png

  1. 前往对象存储OSS控制台,确认您刚才转存的模型文件。在Bucket列表找并单击osslibtestforllm

image.png

进入Bucket的文件管理-文件列表处,然后逐个单击文件夹,进入/data-oss/models的目录,可以看到模型文件已经转存进来。

image.png

步骤二:将OSS模型库挂载到PAI-DSW

您已经将LLM模型库转存至了自己的对象存储OSS中,该存储空间中的模型可以在LLM的WebUI中进行快速切换测试。

  1. 符合试用条件的新用户可领取PAI-DSW免费试用资源包,领取链接
  1. 【重要】:PAI-DSW免费资源包只适用于本教程中的PAI-DSW产品。如果您领取了PAI-DSW资源包后,使用了PAI-DSW及PAI的其他产品功能(如PAI-DLC、PAI-EAS等),PAI-DSW产品产生的费用由资源包抵扣,其他产品功能产生的费用无法抵扣,会产生对应的费用账单。
  1. 前往PAI控制台。开通机器学习PAI并创建默认工作空间。其中关键参数配置如下,更多详细内容,请参见开通并创建默认工作空间。如果您后续使用RAM用户来创建DSW实例进行开发,请先将RAM用户添加为默认工作空间的成员,并配置算法运维/管理员角色,详情请参见管理成员
  • 本教程地域选择:华东2(上海)
  • 组合开通:本教程无需使用其他产品,去除勾选其他产品即可。
  • 服务角色授权:单击去授权,完成服务角色授。

image.png

  1. 进入PAI管理控制台,确认区域为华东2(上海),确认进入了刚才创建的工作空间,单击数据集,进入数据集页面。
  • 创建方式选择从阿里云云产品
  • 数据集名称此处设置为huggingfacellm
  • 选择数据存储为阿里云对象存储(OSS)
  • 属性为文件夹
  • 选择对象存储Bucket名为osslibforllm,选择OSS目录为data-oss/LLM,最终地址会显示为oss://osslibforllm.oss-cn-shanghai.aliyuncs.com/data-oss/LLM/
  • 默认挂载路径为/mnt/data
  • 单击提交

image.png

  1. 查看基于LangChain的检索知识库问答WebUI案例,请注意此处备注不同规模的模型所需要的显卡资源规格要求,然后在右上角单击在阿里云DSW打开

image.png

  1. 单击后会弹出如下的页面,确认可用区为华东2(上海),如果您是新用户将不会有任何已有资源,请单击新建DSW实例。image.png
  2. 实例创建页面配置:
  1. 选择华东2(上海)区域,实例名称此处设置为langchainLLM,资源组选择公共资源组-按量付费image.png
  2. 本教程选择公共资源组-按量付费资源资源组:GPU规格,规格名称为ecs.gn6v-c8g1.2xlarge。【说明】:阿里云免费试用提供的资源类型包括以下几种类型:
  • ecs.gn7i-c8g1.2xlarge
  • ecs.g6.xlarge
  • ecs.gn6v-c8g1.2xlarg
  • image.png
  1. 存储配置:单击共享数据集按钮,选择刚才创建的数据集huggingfacellm,挂载路径为/mnt/data/image.png
  2. 镜像选择:官方镜像,选择modelscope:1.9.3-pytorch2.0.1tensorflow2.13.0-gpu-py38-cu118-ubuntu20.04版本,然后单击下一步。

image.png

e.在总结页面查看配置,然后单击创建实例

image.png

f. 创建实例后,跳转到如下的页面,等待实例状态显示运行中后,单击实例名称langchainLLMimage.png

步骤三:快速模型切换和测试多个LLM大模型

  1. 打开刚刚创建完成的实例,按照Notebook中的步骤逐一执行。(推荐使用huggingface的模型)

image.png

  1. 执行完毕后,将会弹出一个url的地址,单击http://0.0.0.0:7860

image.png

  1. 启动WebUI之后,根据oss挂载的模型来源,将llm_source切换成对应的模型来源,此处切换为huggingface,然后重新选择large language model为ChatGLM-6B-int8,最后单击重新加载模型按钮即可自动切换模型。完全按照案例执行,您在执行时可以秒级切换chatglm系列、baichuan-inc/Baichuan2-7B-Chat-4bits、Qwen/Qwen-7B模型,并对比验证模型效果。

image.png

  1. 此处可以使用样例文本数据来训练和交互提问,您也可以在WebUI左下角按照指引上传自己的知识库文件。

image.png

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
2月前
|
人工智能 算法 开发工具
通义千问1.5(Qwen1.5)大语言模型在PAI-QuickStart的微调与部署实践
Qwen1.5(通义千问1.5)是阿里云最近推出的开源大型语言模型系列。作为“通义千问”1.0系列的进阶版,该模型推出了多个规模,从0.5B到72B,满足不同的计算需求。此外,该系列模型还包括了Base和Chat等多个版本的开源模型,为全球的开发者社区提供了空前的便捷性。阿里云的人工智能平台PAI,作为一站式的机器学习和深度学习平台,对Qwen1.5模型系列提供了全面的技术支持。无论是开发者还是企业客户,都可以通过PAI-QuickStart轻松实现Qwen1.5系列模型的微调和快速部署。
|
5月前
|
存储 缓存 对象存储
威联通 QNAP 挂载阿里云对象存储 OSS 完整攻略
详细介绍本地NAS设备如何通过云网管关的能力,挂载云上的对象存储OSS
|
7月前
|
机器学习/深度学习 人工智能 弹性计算
快速使用 Elasticsearch+PAI 部署 AI 大模型知识库对话
本文为您介绍如何通过Elasticsearch和PAI-EAS部署企业级AI知识库对话,利用Elasticsearch进行企业专属知识库的检索,利用PAI-EAS来进行AI语言大模型推理,并通过开源框架LangChain将二者有机结合,从而集成到您的业务服务当中。
51655 6
快速使用 Elasticsearch+PAI 部署 AI 大模型知识库对话
|
8月前
|
存储 机器学习/深度学习 分布式计算
热门Stable Diffusion模型库快速转存至个人OSS与加载训练
本实验介绍如何使用阿里云在线迁移服务,将热门模型库从国内镜像站点转存到个人对象存储OSS空间,并且可将OSS Bucket里的模型挂载到FC函数计算或PAI平台进行推理和训练。
254 0
|
8月前
|
数据库 存储 数据采集
通过FC一键部署可更换大语言模型的企业专属知识库
本文介绍如果快速开启企业专属知识库
|
8月前
|
文件存储 数据库 存储
大语言模型转存至NAS并挂载到PAI-DSW构建企业专属知识库
介绍如何将模型库的大语言模型转载到文件存储NAS,并挂载到PAI-DSW,利用Langchain构建可更换大语言模型的企业专属知识库。
|
8月前
|
存储 机器学习/深度学习 分布式计算
基于PAI-EAS挂载OSS部署AIGC服务
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署AIGC,例如Diffusion文图生成模型,并利用OSS挂载功能,使用户无需担心因为PAI服务停止或删除导致数据丢失的问题,充分解决AI服务持久化存储与扩容需求。
973 0
基于PAI-EAS挂载OSS部署AIGC服务
|
2月前
|
机器学习/深度学习 存储 搜索推荐
利用机器学习算法改善电商推荐系统的效率
电商行业日益竞争激烈,提升用户体验成为关键。本文将探讨如何利用机器学习算法优化电商推荐系统,通过分析用户行为数据和商品信息,实现个性化推荐,从而提高推荐效率和准确性。
|
28天前
|
机器学习/深度学习 算法 搜索推荐
Machine Learning机器学习之决策树算法 Decision Tree(附Python代码)
Machine Learning机器学习之决策树算法 Decision Tree(附Python代码)
|
2月前
|
机器学习/深度学习 算法 数据可视化
实现机器学习算法时,特征选择是非常重要的一步,你有哪些推荐的方法?
实现机器学习算法时,特征选择是非常重要的一步,你有哪些推荐的方法?
29 1

热门文章

最新文章