本方案将借助阿里云函数计算，您能够迅速部署并利用来自魔搭社区（ModelScope）的开源大模型，实现高效便捷的大模型服务应用。只需短短 10 分钟，即可将这些强大模型部署至阿里云函数计算平台，立即开启您的文本生成服务之旅。
无需自备或维护高昂的 GPU 资源，函数计算的按需付费模式让您无需担忧前期投入与运维开销，真正实现成本节约，同时享受云计算带来的无限可能与灵活性。尽情体验云计算带来的便利与灵活性。
适用客户
- 寻求无代码途径快速探索 AI 大模型的业务人员
- 寻求构建 AI 大模型应用但缺乏 GPU 资源的开发者
- 寻求简化技术门槛以有效利用 AI 大模型的企业
使用产品
- 函数计算 FC
- 文件存储 NAS
方案概览
本方案利用函数计算的无服务器架构，您可以在函数计算控制台选择魔搭（ModelScope）开源大模型应用模板；同时，我们将利用文件存储 NAS ，为应用服务所需的大模型和相关文件提供一个安全的存储环境；最终通过访问提供的域名进行模型的调用与验证。仅需三步，即可玩转目前热门 AI 大模型。
本方案的技术架构包括以下基础设施和云服务：
- 函数计算：用于提供基于大模型的应用服务。
- 文件存储 NAS：用于存放 ModelScope 模型。
- 专有网络 VPC：用于配置专有网络，方便函数计算访问文件存储 NAS。
部署应用
借助于函数计算应用模板，您可以便捷地将魔搭社区的开源大模型部署到函数计算上。
1. 访问函数计算应用模板[1]，参考图片模型来源选择 ModelScope；模型 ID 填入ZhipuAI/chatglm3-6b；模型版本填入 v1.0.2；地域目前仅支持华东1（杭州）或华东2（上海），选择华东2（上海）；模型任务类型填入 chat；Access Token 填入 ModelScope 的访问令牌。在 modelscope 访问令牌页面[2]获取。其余配置项保持默认值即可，单击创建应用。模型下载可能会花费 15 分钟左右，请耐心等待部署完成。
a. 针对当前应用，角色权限可能会不足，此时需要单击前往授权为角色授予所需权限。
b. ModelScope 的访问令牌。在 modelscope 访问令牌页面获取。
c. 更多开源 LLM，您可以到 ModelScope 官网[3]查询对应的模型 ID。
2. 创建成功后，为应用开启闲置预留模式。配置预留实例，您可以有效避免因实例冷启动导致的请求延迟问题。同时，您可以配置预留实例的弹性伸缩规则如定时伸缩和水位伸缩，提高实例使用率，解决资源浪费问题。
a. 应用部署完成后，在资源信息区域单击后缀为 model-app-func 的函数名称跳转至函数详情页。
b. 在函数详情页，选择配置页签，在左侧导航栏，选择预留实例，然后单击创建预留实例数策略。
c. 在创建预留实例数策略页面，版本和别名选择为 LATEST，预留实例数设置为 1，启用闲置模式，然后单击确定。
d. 等待容器实例成功启动后，可以看到当前预留实例数为 1，且显示已开启闲置模式字样，表示闲置预留实例已成功启动。
3.（可选）如果您不配置存储，应用会在相同地域下匹配名称是 Alibaba-Fc-V3-Component-Generated 的 NAS：如果有就挂载；如果没有则会新建一个 NAS，挂载到后缀为 model-cache、model-download-func 和 model-app-func 的函数。如果您想绑定其他已有的 NAS 文件系统，可在网络和存储进行配置，更多详情请参见配置 NAS 文件系统[4]。
使用 LLM 应用
部署完成后，您可以使用函数计算应用提供的域名访问服务，与模型进行对话。
1. 在环境详情页面，点击访问域名右侧的域名，使用 LLM 应用。
重要：请注意保护域名的安全，不要泄露给其他人，以防产生额外费用。
***.devsapp.net 域名是 CNCF SandBox 项目 Serverless Devs 社区所提供，仅供学习和测试使用，不可用于任何生产使用；社区会对该域名进行不定期的拨测，并在域名下发 30 天后进行回收，强烈建议您绑定自定义域名以获得更好的使用体验，详细请见配置自定义域名。
2. 输入文本信息，然后单击 Submit，您可以看到模型的回答结果。第一次调用因为函数冷启动会花费比较长的时间大概 90s，后续回答速度会快很多。
说明：函数计算平台会在您调用结束后，自动将 GPU 实例置为闲置模式，无需您手动操作，并且会在下次调用到来时，将该实例唤醒，置为活跃模式进行服务。
总结
至此，您已基本完成对于开源大模型的了解，体验开源对话大模型平均需要 30 分钟（预估费用 0~2 元），查看更多方案详情请至官网：https://help.aliyun.com/document_detail/2840266.html
相关链接：
[1] 函数计算应用模板
https://fcnext.console.aliyun.com/applications/ai/create?template=45&from=solution
[2] modelscope 访问令牌页面
https://modelscope.cn/my/myaccesstoken
[3] ModelScope 官网
