魔搭社区与函数计算:高效部署开源大模型的文本生成服务体验

本文涉及的产品
.cn 域名,1个 12个月
函数计算FC,每月15万CU 3个月
简介: 在数字化时代,人工智能技术迅速发展,开源大模型成为重要成果。魔搭社区(ModelScope)作为开源大模型的聚集地,结合阿里云函数计算,提供了一种高效、便捷的部署方式。通过按需付费和弹性伸缩,开发者可以快速部署和使用大模型,享受云计算的便利。本文介绍了魔搭社区与函数计算的结合使用体验,包括环境准备、部署应用、体验使用和资源清理等步骤,并提出了改进建议。

在当今数字化时代,人工智能(AI)技术正以前所未有的速度改变着我们的生活方式和工作模式。其中,开源大模型作为AI领域的重要成果,为各行各业提供了强大的技术支持。魔搭社区(ModelScope)作为开源大模型的聚集地,为广大开发者提供了一个便捷的平台。通过结合函数计算,我们不仅能够快速部署这些大模型,还能利用函数计算的诸多优势,如按使量付费和弹性伸缩,高效地为用户提供文本生成服务。以下是我对魔搭社区与函数计算结合使用的测评体验。

一、初识魔搭社区与函数计算

魔搭社区(ModelScope)是一个开放的AI模型共享平台,汇聚了众多优质的开源大模型。这些模型涵盖了自然语言处理、计算机视觉、语音识别等多个领域,为开发者提供了丰富的选择。无论是想要进行文本生成、图像识别还是语音识别,都能在这里找到合适的模型。
image.png

函数计算则是一种无服务器计算服务,它允许开发者在不管理服务器的情况下运行代码。函数计算会根据实际请求量自动伸缩计算资源,并按实际使用量收费,极大地降低了运维成本和时间成本。可以将更多的精力投入到算法优化和业务逻辑上,而无需担心底层资源的配置和管理。
image.png

二、基于函数计算快速部署开源大模型

1、 方案概览

只需10分钟就可以将开源大模型轻松部署到阿里云函数计算上,畅享大模型的强大功能。无需拥有或维护昂贵的GPU资源,按需付费的模式更能帮助您节省成本,尽情体验云计算带来的便利与灵活性。
image.png

2、 环境准备

1)注册阿里云账号 2)开通函数计算 3)开通文件存储NAS服务 4) 注册ModelScope账号,并绑定阿里云账号。

在魔搭访问(https://www.modelscope.cn/my/myaccesstoken) 按照下图绑定阿里云账号。
image.png
image.png
image.png

3、 部署应用

1)在魔搭访问(https://www.modelscope.cn/my/myaccesstoken) 获取令牌。
image.png

2)访问函数计算应用模板

  • 参考图片模型来源选择ModelScope;
  • 模型ID填入ZhipuAI/chatglm3-6b;
  • 模型版本填入v1.0.2;
  • 地域目前仅支持华东1(杭州)或华东2(上海),选择华东2(上海);
  • 模型任务类型填入chat;
  • Access Token 填入ModelScope 的访问令牌。
  • 其余配置项保持默认值即可,单击创建应用。
    image.png

创建中, 创建时间2024年11月2日 20:30:31,完成时间2024年11月2日 20:38:37 耗时为8分钟。
image.png

3)创建成功后,为应用开启闲置预留模式。配置预留实例,可以有效避免因实例冷启动导致的请求延迟问题。同时,可以配置预留实例的弹性伸缩规则如定时伸缩和水位伸缩,提高实例使用率,解决资源浪费问题。

  • 应用部署完成后,在资源信息区域单击后缀为model-app-func的函数名称跳转至函数详情页。
    image.png
    image.png

  • 在函数详情页,选择配置页签,在左侧导航栏,选择预留实例,然后单击创建预留实例数策略。
    image.png

  • 在创建预留实例数策略页面,版本和别名选择为LATEST,预留实例数设置为1,启用闲置模式,然后单击确定。
    image.png

  • 等待容器实例成功启动后,可以看到当前预留实例数为1,且显示已开启闲置模式字样,表示闲置预留实例已成功启动
    image.png

整个部署过程非常顺畅耗时8分钟,只需要关注模型的选择、版本和任务类型,无需担心底层资源的配置和管理。函数计算平台会根据实际请求量自动伸缩计算资源,确保服务的稳定性和高效性。

三、体验使用LLM应用

部署完成后,可以使用函数计算应用提供的域名访问服务,与模型进行对话。

1、在环境详情页面,点击访问域名右侧的域名,使用LLM应用。
image.png
image.png

2、输入文本信息,然后单击Submit,您可以看到模型的回答结果。
image.png
image.png

image.png

初次的处理结果每次交互大概1分钟左右。

四、资源清理

1、删除ModelScope使用的函数

登录函数计算控制台,在左侧导航栏,单击应用。在应用页面,找到目标应用,单击右侧操作列的删除应用。
image.png

image.png

删除应用提示失败
image.png

需要手动删除函数和域名

image.png

image.png

image.png
image.png

2、登录NAS文件存储控制台,在左侧导航栏选择文件系统 > 文件系统列表。在文件系统列表,找到目标文件系统,在其右侧操作列,然后单击删除。
image.png
image.png
image.png

五、总结

通过本次对魔搭社区与函数计算结合使用的体验,深刻感受到了开源大模型和无服务器计算技术的强大魅力。这些技术不仅为开发者提供了丰富的选择和便捷的工具,还极大地提高了服务的稳定性和高效性。

关于本次实践体验的反馈和建议如下:

1、本次实践中配置了预留实例,但没有很好体现出预留实例的功能及作用,可以增加下配置预留实例和不配置预留实例的使用对比。

2、在部署过程中函数应用创建时在日志里有报错,但可以部署成功,暂时也没有影响使用,可以看下是否需要优化。


Duration: 342752.33 ms, Billed Duration: 342753 ms, Memory Size: 16384 MB, Max Memory Used: 11980.74 MB
========= FC invoke Logs end =========

Invoke instanceId: c-67261bcd-1663628b-aa8652a176d2
Code Checksum: 13447116201843826969
Qualifier: LATEST
RequestId: 1-67261bcd-169f5165-95f2f369919d
Error Type: InvocationError

Invoke Result:
{
    "errorMessage": "File pytorch_model.bin.index.json download incomplete, content_length: None but the                     file downloaded length: 20437, please download again",
    "errorType": "FileDownloadError",
    "stackTrace": [
        [
            "File \"/code/index.py\"",
            "line 13",
            "in handler",
            "snapshot_download (model_id =model_id,"
        ],
        [
            "File \"/code/modelscope/hub/snapshot_download.py\"",
            "line 153",
            "in snapshot_download",
            "http_get_file("
        ],
        [
            "File \"/code/modelscope/hub/file_download.py\"",
            "line 319",
            "in http_get_file",
            "raise FileDownloadError(msg)"
        ]
    ]
}

image.png

3、在清理函数资源的时候,发生了报错。需要手动删除函数和域名。针对这部分可以补充在清理资源部分——删除失败如何处理。

image.png

image.png

image.png

4、整个体验的场景中没有展现出函数计算的弹性伸缩优势,可以增加这部分的场景验证。比如模拟对话量请求量增加时,平台会自动增加计算资源以满足需求;当请求量减少时,平台会自动释放多余的计算资源以降低成本。

5、在实际生产中会使用多个大模型,如果需要在不同的模型之间切换,是否可以在当前的部署函数应用实现,还是每一个模型都需要部署一个函数应用。

6、若自己来选择大模型的配置,函数计算页面提示中模型ID、模型版本、模型任务类型获取方式不够详细,希望可以增加这个参数的获取魔搭具体页面截图。

image.png

image.png

7、什么情况下需要自己修改显存大小和内存大小?
image.png

8、访问模型的时候,在处理对话的期间,右上角的数字一直在增长,这是处理的时间吗?还是什么值,作用是什么?

image.png

相关实践学习
【文生图】一键部署Stable Diffusion基于函数计算
本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群:29290019867
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
相关文章
|
4天前
|
人工智能 Java Serverless
阿里云函数计算助力AI大模型快速部署
随着人工智能技术的快速发展,AI大模型已经成为企业数字化转型的重要工具。然而,对于许多业务人员、开发者以及企业来说,探索和利用AI大模型仍然面临诸多挑战。业务人员可能缺乏编程技能,难以快速上手AI模型;开发者可能受限于GPU资源,无法高效构建和部署AI应用;企业则希望简化技术门槛,以更低的成本和更高的效率利用AI大模型。
38 12
|
2天前
|
Serverless 开发工具 开发者
活动实践 | 西游再现,函数计算一键部署 Flux 超写实文生图模型部署
这些图片展示了阿里巴巴云开发者生态的多个方面,包括开发工具、技术文档、社区交流、培训认证等内容,旨在为开发者提供全方位的支持和服务。
|
9天前
|
人工智能 Serverless
解决方案 | 函数计算玩转 AI 大模型评测获奖名单公布!
解决方案 | 函数计算玩转 AI 大模型评测获奖名单公布!
|
18天前
|
自然语言处理 搜索推荐 Serverless
基于函数计算部署GPT-Sovits模型实现语音生成
阿里云开发者社区邀请您参加“基于函数计算部署GPT-Sovits模型实现语音生成”活动。完成指定任务即可获得收纳箱一个。活动时间从即日起至2024年12月13日24:00:00。快来报名吧!
|
19天前
|
弹性计算 算法 搜索推荐
活动实践 | 通过函数计算部署ComfyUI以实现一个AIGC图像生成系统
ComfyUI是基于节点工作流稳定扩散算法的新一代WebUI,支持高质量图像生成。用户可通过阿里云函数计算快速部署ComfyUI应用模板,实现个性化定制与高效服务。首次生成图像因冷启动需稍长时间,之后将显著加速。此外,ComfyUI允许自定义模型和插件,满足多样化创作需求。
|
18天前
|
弹性计算 自然语言处理 搜索推荐
活动实践 | 基于函数计算部署GPT-Sovits模型实现语音生成
通过阿里云函数计算部署GPT-Sovits模型,可快速实现个性化声音的文本转语音服务。仅需少量声音样本,即可生成高度仿真的语音。用户无需关注服务器维护与环境配置,享受按量付费及弹性伸缩的优势,轻松部署并体验高质量的语音合成服务。
|
3月前
|
人工智能 自然语言处理 Serverless
阿里云函数计算 x NVIDIA 加速企业 AI 应用落地
阿里云函数计算与 NVIDIA TensorRT/TensorRT-LLM 展开合作,通过结合阿里云的无缝计算体验和 NVIDIA 的高性能推理库,开发者能够以更低的成本、更高的效率完成复杂的 AI 任务,加速技术落地和应用创新。
167 13
|
4月前
|
Serverless API 异构计算
函数计算产品使用问题之修改SD模版应用的运行环境
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
4月前
|
运维 Serverless 网络安全
函数计算产品使用问题之通过仓库导入应用时无法配置域名外网访问,该如何排查
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
1月前
|
运维 Serverless 数据处理
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
82 1