部署过程
在开始正式部署前,我们有必要了解下本次体验的产品是什么,阿里云人工智能平台PAI-快速开始(PAI-QuickStart)集成了业界流行的预训练模型,提供一站式、零代码的模型微调训练、服务部署、模型评测功能,帮助用户快速上手使用AI能力。
从产品的概念上我们很直观清楚地知道PAI-快速开始(PAI-QuickStart)是为模型预训练而生,用户可以通过它实现一站式、零代码、快速上手使用AI能力。
下面开始具体的部署体验,登录PAI控制台,如果你是首次使用PAI,会需要先开通个默认的工作空间。如下:
为了方便,这里地域就直接选择了杭州。如下:
由于本次体验后面的模型微调训练要用到OSS服务,所以组合服务这里我们需要勾选OSS,方便一并开通;如果你之前已经开通过OSS,这里忽略,以免产生不必要的费用。首次开通需要授权,点击授权前往RAM访问控制。如下:
点击同意授权即可。如下:
完成授权后返回点击刷新,继续点击“确认开通并创建默认工作空间”。如下:
这里需要等待一小会,即可完成服务的开通。如下:
在左侧导航栏单击工作空间列表,在工作空间列表页面中单击默认工作空间名称,可以进入对应工作空间内。
在工作空间页面的左侧导航栏中单击快速开始,这里提供两种模式,一种Model Gallery,一种是Model Gallery;这里我们选择Model Gallery。如下:
找到模型通义千问2-0.5B-Instruct(qwen2-0.5b-instruct)并单击。如下:
在模型详情页面,可以看到有关模型的介绍以及部署说明。
此刻我们可以单击右上角的部署进行模型的部署,在部署面板,配置保持默认即可,单击部署。如下:
在计费提醒对话框中,单击确定。如果此刻你需要了解计费,可以点击链接查看。
服务创建过程中,可以通过点击服务日志,查看具体执行过程。
当然这里你还可以通过点击查看部署事件,查看到具体执行了那些事件。
等待6分钟后,服务状态变为运行中,表示服务部署成功。如下:
服务部署完成后,单击查看WEB应用,即可开启在线体验模型了。
我们开始与大模型进行对话。可以提问如下医疗方向问题:
但从结果来看,模型回复虽然看似效果还可以,但是由于没有进行针对性的数据集微调,所以在医疗方向的回复还是稍显不专业。不过我们可以多尝试让模型生成几次,对比看看。
从多次尝试的结果来看,唯有头两次还算配合,积极作答,后面就直接摆烂了,着实体验不佳。
到此,基础模型直接部署过程就完成了,相较于传统部署,这个效率还是非常高效的。
接下来,我们开始模型的微调训练部署。在通义千问2-0.5B-Instruct模型详情页面,单击右上角的微调训练。如下:
在微调训练面板的训练输出配置区域,需要选择微调后模型的输出保存路径(OSS目录),由于当前区域没有可用的OSS,所以这里还需要新建Bucket,单击面板中的创建Bucket。
Bucket完成后,就可以直接选择填入。
其他配置保持默认即可,单击训练。
在计费提醒对话框中,单击确定。
训练数据集我选择了默认路径,也就是会使用PAI平台提供的医疗对话数据集。如果想用自己的数据集进行微调,需要先在OSS中上传自定义数据集,然后在数据集配置位置,选择自己的数据集OSS路径。如下:
如果此刻不小心退出了任务页面,在快速开始——Model Gallery页面,单击任务管理,在训练任务页签可以找到刚才创建的所有任务。
等待4分钟后,服务状态变为成功,表示训练任务完成。
接下来在训练任务详情页右上角点击部署,配置保持默认即可,部署微调后的模型。
服务部署完成后,单击查看WEB应用,进入WebUI界面,在线体验模型效果。
这次我还是使用上面的问题,看微调后的模型回答效果如何。
可以看到微调后的模型回答更专业一些,不再存在摆烂问题了。
完成所有部署体验后,非常重要且必要的步骤就是任务的清理,这里也不例外。在快速开始页面,单击任务管理。将涉及的任务进行删除。本次体验涉及部署任务和训练任务,分别进行删除。如下:
此外,模型微调训练用到了OSS,清理需要先删除所有文件再删除Bucket。在文件列表页面,选中所有文件,单击彻底删除。再单击删除Bucket,然后单击立即删除。
体验总结
整个体验下来,最直观的感受就是:
第一、高效便捷:PAI-QuickStart提供了零代码和SDK两种方式,极大地简化了模型的开发和部署流程,且提供的模型涵盖了多个领域,如大语言模型、文本生成图片、语音识别等。这使得开发者可以通过零代码或少量代码的方式,快速实现模型的微调和部署。此外,人工智能平台PAI提供了一站式的机器学习和深度学习平台支持,为开发者提供了全面的技术支持,降低了技术门槛。
第二、灵活便利:用户可以根据自己的需求选择不同规模的模型,并通过微调训练使模型更加符合自己的业务场景。在训练数据集方面,用户不仅可以使用公共的数据集,还可以结合OSS上传自己的数据集,极大地方便了开发者真实的场景需求。通义千问等大语言模型具有广泛的应用场景,如智能客服、内容创作、问答系统等。通过PAI-QuickStart实现模型的微调和部署,可以快速将这些模型应用于实际业务中,提升业务效率和用户体验。
此外,除了具备上述优点外,当下还存在如下不足:
第一、大语言模型的微调和部署需要大量的计算资源。尤其是在对大型模型进行微调时,可能需要使用高性能GPU等硬件资源,这会增加成本投入。比如本次体验使用的Qwen2-0.5B模型最低需要使用NVIDIA A10及以上卡型运行训练任务;而Qwen2-57B-A14B量级模型则需要更高配置的硬件资源。不过好在对于新用户体验有免费额度可用,也有相应的免费试用实例可选。
第二、存在模型能力泛化。尽管微调后的模型在特定任务上表现优异,但其泛化能力可能受到一定限制。在某些特定场景下,微调模型的表现可能不如专业的领域模型。
第三、GUI简陋。部署完成后的界面着实有点简约啊,而且还不支持Enter建,每次完成输入都需要点击固有的Send方可发送,对于习惯了大众输入法的我们来说这点着实需要适应一会。
第四、费用有点高。一通操作后,虽然有PAI-EAS的节省计划,但这个按量付费还是消耗挺高的,主要是模型训练部署实例所需的高规格ECS。明细如下: