在SAE控制台极速部署个人LLM效能工具_云起实验室-阿里云开发者社区

场景简介

本实验带领您体验SAE快速部署LLM（大语言模型）效能工具，实现与AI助手对话，并且可以灵活选取通义千问、ChatGPT等大语言模型。

llm-result

Serverless应用引擎（SAE）是一款极简易用的应用全托管平台，仅需上传源码或镜像即可在数秒内部署任何语言的在线应用。

降低运维门槛：您无需关注底层基础设施，如服务器环境配置、Kubernetes运维等。SAE提供极简的应用部署体验，以及开箱即用的运维功能，包括日志、监控、负载均衡、版本控制、CI/CD等。
自动弹性伸缩：SAE能够根据实际的流量状况自动调整资源的使用，确保在流量高峰时能够迅速响应，也避免在流量低谷时造成资源浪费。
按需付费：您仅需要为实际使用的资源付费，可以节省固定成本，降低业务风险，尤其适合初创公司。

本实验支持领取免费试用资源、使用个人账号资源两种体验方式。

重要

试用云产品开通在您的个人账号下，并占用您的试用权益。如试用超出有效期，或超出免费试用额度，可能会产生一定费用。

在右侧的操作区中，单击立即试用，然后跟随指引操作，即可领取免费试用资源。您也可以前往免费试用SAE进行领取。

如果页面没有立即试用按钮，说明您的阿里云账号不满足试用条件，可能由于您已领取过免费试用资源，请前往我的试用确认相关资源的试用状态、试用结束时间、以及是否超出试用额度。

重要

在不领取免费试用资源的情况下，本实验1个小时预计产生费用1元。如果您调整了资源规格、使用时长，或执行了本方案以外的操作，可能导致费用发生变化，请以控制台显示的实际价格和最终账单为准。

进入实操前，请确保阿里云账号满足以下条件：

本实验需要在部署应用前创建弹性公网IP，为应用提供访问公网资源的出口。

重要

弹性公网IP支持按量付费，具体信息，请参见按量付费。

前往弹性公网IP控制台。选择应用部署的地域，本文以华东1（杭州）为例。单击创建弹性公网IP。购买数量填写2，其余配置项保持默认。然后单击立即购买，并跟随指引操作。
在弹性公网IP控制台，可以查看已创建的弹性公网IP。

SAE提供了直接从镜像仓库部署应用上线的能力。

在创建应用页面，配置相关信息。

在基础信息设置区域，配置如下参数。

配置项	教程示例	说明

配置项	教程示例	说明
应用名称	demo-llm	可自定义
命名空间类型	系统创建
应用部署方式	选择镜像部署，单击设置镜像。	本实验中您无需关注镜像的制作方法，后续步骤将使用官方的示例镜像进行部署。生产环境中，您也可以将实际的应用镜像上传到个人或企业的私有镜像仓库中，再将镜像部署到SAE。

在设置镜像面板，技术栈语言选择其它语言，在Demo镜像标签页，选择镜像版本为lobe-chat-v1.0，然后单击确定。
在容量设置区域，实例数设置为2。
实例数需要与已创建的弹性公网IP数量一致，本例中均为2。
单击下一步：高级设置，在应用出/入公网访问设置区域，打开方案2. 绑定弹性公网IP的开关。
单击创建应用。请您耐心等待应用创建完成，大约需要1分钟。

在基本信息页面的应用访问设置区域，单击添加公网CLB访问。根据下表配置相关参数，然后单击确认。
如果页面中没有出现添加公网CLB访问按钮，说明应用未创建完成，请您耐心等待应用创建完成。

分类
配置项
教程示例
分类
配置项
教程示例
HTTP协议
HTTP端口
80
容器端口
3210
请等待公网访问地址创建完成，查看公网访问地址的内容。在浏览器的地址栏输入公网访问地址，并按回车键，即可打开应用首页。
如果页面中没有出现公网访问地址的内容，说明还未创建完成，请您耐心等待。

在应用首页，单击Start Now或立即开始。如果应用的语言为英文，请参考下图操作将语言改为中文。
此应用支持灵活选取主流的大语言模型，本教程以通义千问系列为例，配置方法如下图所示。
a. 进入百炼控制台，如果页面提示需要开通服务，请跟随指引开通和使用。参考下图创建并复制API-KEY。
b. 返回应用首页，在设置中向下滑动模型列表，找到通义千问系列模型（Qwen），打开开关，并将API-KEY粘贴到此处。您可以单击检查按钮，验证应用可以访问通义千问的API。