步骤一:通过《LLM模型库,专属知识库大模型惹你选》活动页面转存模型文件
- 如果您已经通过活动页面将SD模型库文件转存到了自己的OSS Bucket中,请跳过步骤一。
进入《LLM模型库,专属知识库大模型任你选》页面活动,在方案1:使用对象存储 OSS 作为模型库存储空间处单击一键复制。
- 单击一键复制按钮后,将会弹出公共库转存信息对话框,输入新建对象存储OSS Bucket名称,此处示例填写osslibtestforllm;地域请从杭州,上海,北京,乌兰察布这四个Region选择,此处选择华东2(上海);选择大语言模型的来源,此处选择来自Huggingface;签署转存的授权协议;最后单击确认转存。
- 确认转存后几秒钟,将会弹出文件框提示转存成功,记录对象存储OSS Bucket名称为 osslibtestforllm。
- 前往对象存储OSS控制台,确认您刚才转存的模型文件。在Bucket列表找并单击osslibtestforllm
进入Bucket的文件管理-文件列表处,然后逐个单击文件夹,进入/data-oss/models的目录,可以看到模型文件已经转存进来。
步骤二:将OSS模型库挂载到PAI-DSW
您已经将LLM模型库转存至了自己的对象存储OSS中,该存储空间中的模型可以在LLM的WebUI中进行快速切换测试。
- 符合试用条件的新用户可领取PAI-DSW免费试用资源包,领取链接。
- 【重要】:PAI-DSW免费资源包只适用于本教程中的PAI-DSW产品。如果您领取了PAI-DSW资源包后,使用了PAI-DSW及PAI的其他产品功能(如PAI-DLC、PAI-EAS等),PAI-DSW产品产生的费用由资源包抵扣,其他产品功能产生的费用无法抵扣,会产生对应的费用账单。
- 前往PAI控制台。开通机器学习PAI并创建默认工作空间。其中关键参数配置如下,更多详细内容,请参见开通并创建默认工作空间。如果您后续使用RAM用户来创建DSW实例进行开发,请先将RAM用户添加为默认工作空间的成员,并配置算法运维/管理员角色,详情请参见管理成员。
- 本教程地域选择:华东2(上海)。
- 组合开通:本教程无需使用其他产品,去除勾选其他产品即可。
- 服务角色授权:单击去授权,完成服务角色授。
- 进入PAI管理控制台,确认区域为华东2(上海),确认进入了刚才创建的工作空间,单击数据集,进入数据集页面。
- 创建方式选择从阿里云云产品
- 数据集名称此处设置为huggingfacellm
- 选择数据存储为阿里云对象存储(OSS)
- 属性为文件夹
- 选择对象存储Bucket名为osslibforllm,选择OSS目录为data-oss/LLM,最终地址会显示为oss://osslibforllm.oss-cn-shanghai.aliyuncs.com/data-oss/LLM/
- 默认挂载路径为/mnt/data
- 单击提交
- 查看基于LangChain的检索知识库问答WebUI案例,请注意此处备注不同规模的模型所需要的显卡资源规格要求,然后在右上角单击在阿里云DSW打开。
- 单击后会弹出如下的页面,确认可用区为华东2(上海),如果您是新用户将不会有任何已有资源,请单击新建DSW实例。
- 实例创建页面配置:
- 选择华东2(上海)区域,实例名称此处设置为langchainLLM,资源组选择公共资源组-按量付费
- 本教程选择公共资源组-按量付费资源资源组:GPU规格,规格名称为ecs.gn6v-c8g1.2xlarge。【说明】:阿里云免费试用提供的资源类型包括以下几种类型:
- ecs.gn7i-c8g1.2xlarge
- ecs.g6.xlarge
- ecs.gn6v-c8g1.2xlarg
- 存储配置:单击共享数据集按钮,选择刚才创建的数据集huggingfacellm,挂载路径为/mnt/data/
- 镜像选择:官方镜像,选择modelscope:1.9.3-pytorch2.0.1tensorflow2.13.0-gpu-py38-cu118-ubuntu20.04版本,然后单击下一步。
e.在总结页面查看配置,然后单击创建实例。
f. 创建实例后,跳转到如下的页面,等待实例状态显示运行中后,单击实例名称langchainLLM。
步骤三:快速模型切换和测试多个LLM大模型
- 打开刚刚创建完成的实例,按照Notebook中的步骤逐一执行。(推荐使用huggingface的模型)
- 执行完毕后,将会弹出一个url的地址,单击http://0.0.0.0:7860
- 启动WebUI之后,根据oss挂载的模型来源,将llm_source切换成对应的模型来源,此处切换为huggingface,然后重新选择large language model为ChatGLM-6B-int8,最后单击重新加载模型按钮即可自动切换模型。完全按照案例执行,您在执行时可以秒级切换chatglm系列、baichuan-inc/Baichuan2-7B-Chat-4bits、Qwen/Qwen-7B模型,并对比验证模型效果。
- 此处可以使用样例文本数据来训练和交互提问,您也可以在WebUI左下角按照指引上传自己的知识库文件。