大语言模型一键转存到OSS并挂载PAI实现企业知识库

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000次 1年
对象存储 OSS,恶意文件检测 1000次 1年
简介: 本文介绍如何实现一键转载主流的大语言模型到自己的对象存储OSS空间中,然后再挂载到PAI-DSW实现多种模型切换测试知识库的效果。

步骤一:通过《LLM模型库,专属知识库大模型惹你选》活动页面转存模型文件

  1. 如果您已经通过活动页面将SD模型库文件转存到了自己的OSS Bucket中,请跳过步骤一。

进入《LLM模型库,专属知识库大模型任你选》页面活动,在方案1:使用对象存储 OSS 作为模型库存储空间处单击一键复制

image.png

  1. 单击一键复制按钮后,将会弹出公共库转存信息对话框,输入新建对象存储OSS Bucket名称,此处示例填写osslibtestforllm;地域请从杭州,上海,北京,乌兰察布这四个Region选择,此处选择华东2(上海);选择大语言模型的来源,此处选择来自Huggingface;签署转存的授权协议;最后单击确认转存

image.png

  1. 确认转存后几秒钟,将会弹出文件框提示转存成功,记录对象存储OSS Bucket名称为 osslibtestforllm

image.png

  1. 前往对象存储OSS控制台,确认您刚才转存的模型文件。在Bucket列表找并单击osslibtestforllm

image.png

进入Bucket的文件管理-文件列表处,然后逐个单击文件夹,进入/data-oss/models的目录,可以看到模型文件已经转存进来。

image.png

步骤二:将OSS模型库挂载到PAI-DSW

您已经将LLM模型库转存至了自己的对象存储OSS中,该存储空间中的模型可以在LLM的WebUI中进行快速切换测试。

  1. 符合试用条件的新用户可领取PAI-DSW免费试用资源包,领取链接
  1. 【重要】:PAI-DSW免费资源包只适用于本教程中的PAI-DSW产品。如果您领取了PAI-DSW资源包后,使用了PAI-DSW及PAI的其他产品功能(如PAI-DLC、PAI-EAS等),PAI-DSW产品产生的费用由资源包抵扣,其他产品功能产生的费用无法抵扣,会产生对应的费用账单。
  1. 前往PAI控制台。开通机器学习PAI并创建默认工作空间。其中关键参数配置如下,更多详细内容,请参见开通并创建默认工作空间。如果您后续使用RAM用户来创建DSW实例进行开发,请先将RAM用户添加为默认工作空间的成员,并配置算法运维/管理员角色,详情请参见管理成员
  • 本教程地域选择:华东2(上海)
  • 组合开通:本教程无需使用其他产品,去除勾选其他产品即可。
  • 服务角色授权:单击去授权,完成服务角色授。

image.png

  1. 进入PAI管理控制台,确认区域为华东2(上海),确认进入了刚才创建的工作空间,单击数据集,进入数据集页面。
  • 创建方式选择从阿里云云产品
  • 数据集名称此处设置为huggingfacellm
  • 选择数据存储为阿里云对象存储(OSS)
  • 属性为文件夹
  • 选择对象存储Bucket名为osslibforllm,选择OSS目录为data-oss/LLM,最终地址会显示为oss://osslibforllm.oss-cn-shanghai.aliyuncs.com/data-oss/LLM/
  • 默认挂载路径为/mnt/data
  • 单击提交

image.png

  1. 查看基于LangChain的检索知识库问答WebUI案例,请注意此处备注不同规模的模型所需要的显卡资源规格要求,然后在右上角单击在阿里云DSW打开

image.png

  1. 单击后会弹出如下的页面,确认可用区为华东2(上海),如果您是新用户将不会有任何已有资源,请单击新建DSW实例。image.png
  2. 实例创建页面配置:
  1. 选择华东2(上海)区域,实例名称此处设置为langchainLLM,资源组选择公共资源组-按量付费image.png
  2. 本教程选择公共资源组-按量付费资源资源组:GPU规格,规格名称为ecs.gn6v-c8g1.2xlarge。【说明】:阿里云免费试用提供的资源类型包括以下几种类型:
  • ecs.gn7i-c8g1.2xlarge
  • ecs.g6.xlarge
  • ecs.gn6v-c8g1.2xlarg
  • image.png
  1. 存储配置:单击共享数据集按钮,选择刚才创建的数据集huggingfacellm,挂载路径为/mnt/data/image.png
  2. 镜像选择:官方镜像,选择modelscope:1.9.3-pytorch2.0.1tensorflow2.13.0-gpu-py38-cu118-ubuntu20.04版本,然后单击下一步。

image.png

e.在总结页面查看配置,然后单击创建实例

image.png

f. 创建实例后,跳转到如下的页面,等待实例状态显示运行中后,单击实例名称langchainLLMimage.png

步骤三:快速模型切换和测试多个LLM大模型

  1. 打开刚刚创建完成的实例,按照Notebook中的步骤逐一执行。(推荐使用huggingface的模型)

image.png

  1. 执行完毕后,将会弹出一个url的地址,单击http://0.0.0.0:7860

image.png

  1. 启动WebUI之后,根据oss挂载的模型来源,将llm_source切换成对应的模型来源,此处切换为huggingface,然后重新选择large language model为ChatGLM-6B-int8,最后单击重新加载模型按钮即可自动切换模型。完全按照案例执行,您在执行时可以秒级切换chatglm系列、baichuan-inc/Baichuan2-7B-Chat-4bits、Qwen/Qwen-7B模型,并对比验证模型效果。

image.png

  1. 此处可以使用样例文本数据来训练和交互提问,您也可以在WebUI左下角按照指引上传自己的知识库文件。

image.png

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
23天前
|
人工智能 Kubernetes Cloud Native
跨越鸿沟:PAI-DSW 支持动态数据挂载新体验
本文讲述了如何在 PAI-DSW 中集成和利用 Fluid 框架,以及通过动态挂载技术实现 OSS 等存储介质上数据集的快速接入和管理。通过案例演示,进一步展示了动态挂载功能的实际应用效果和优势。
|
6月前
|
机器学习/深度学习 人工智能 专有云
人工智能平台PAI使用问题之怎么将DLC的数据写入到另一个阿里云主账号的OSS中
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
3月前
|
存储 人工智能 算法
精通RAG架构:从0到1,基于LLM+RAG构建生产级企业知识库
为了帮助更多人掌握大模型技术,尼恩和他的团队编写了《LLM大模型学习圣经》系列文档,包括《从0到1吃透Transformer技术底座》、《从0到1精通RAG架构,基于LLM+RAG构建生产级企业知识库》和《从0到1吃透大模型的顶级架构》。这些文档不仅系统地讲解了大模型的核心技术,还提供了实战案例和配套视频,帮助读者快速上手。
精通RAG架构:从0到1,基于LLM+RAG构建生产级企业知识库
|
4月前
|
云栖大会 对象存储
PAI-EAS 和 OSS 免费资源包
【9月更文挑战第23天】
64 8
|
6月前
|
自然语言处理 前端开发 Go
5 大场景上手通义灵码企业知识库问答
通义灵码在企业版里还引入了一个超酷的新技能:RAG(Retrieval-Augmented Generation)检索增强生成的能力,本文就跟大家分享下企业知识库能帮开发者做些什么。
1606 13
|
5月前
|
自然语言处理 前端开发 Go
5 大场景上手通义灵码企业知识库 RAG
大家好,我是通义灵码,你的智能编程助手!今天就跟大家分享下企业知识库能帮开发者做些什么。
|
5月前
|
机器学习/深度学习 人工智能 自然语言处理
基于PAI 低代码实现大语言模型微调和部署
【8月更文挑战第10天】基于PAI 低代码实现大语言模型微调和部署
|
6月前
|
机器学习/深度学习 算法 开发工具
大语言模型的直接偏好优化(DPO)对齐在PAI-QuickStart实践
阿里云的人工智能平台PAI,作为一站式的机器学习和深度学习平台,对DPO算法提供了全面的技术支持。无论是开发者还是企业客户,都可以通过PAI-QuickStart轻松实现大语言模型的DPO对齐微调。本文以阿里云最近推出的开源大型语言模型Qwen2(通义千问2)系列为例,介绍如何在PAI-QuickStart实现Qwen2的DPO算法对齐微调。
|
7月前
|
机器学习/深度学习 算法 开发工具
通义千问2(Qwen2)大语言模型在PAI-QuickStart的微调、评测与部署实践
阿里云的人工智能平台PAI,作为一站式的机器学习和深度学习平台,对Qwen2模型系列提供了全面的技术支持。无论是开发者还是企业客户,都可以通过PAI-QuickStart轻松实现Qwen2系列模型的微调、评测和快速部署。
|
6月前
|
机器学习/深度学习 数据采集 人工智能
ERP系统中的人工智能与机器学习应用:提升企业智能化管理
【7月更文挑战第29天】 ERP系统中的人工智能与机器学习应用:提升企业智能化管理
915 0

热门文章

最新文章