【文生文】一键部署ChatYuan模型

【文生文】一键部署ChatYuan模型

1. 实验资源准备

费用问题体验前必看完！体验前必看完！体验前必看完！

注意事项

本场景会产生函数计算费用，请您体验前阅读下面两个问题：

Q1: 我该领用哪种资源？

• 首次开通函数计算用户可领取0元函数计算试用资源 ，请您参考“一、选择开通免费试用（函数计 算首次开通用户）”由于试用额度不支持抵扣公网出流量和磁盘使用量的费用。如您未购买相关资源包，公网出流量使用量和超出512MB的磁盘使用量将计入按量付费。
  
• 如果您没有免费试用资格或者在4月6日20:00前已开通函数计算服务，请您参考 “二、选择个人账户资源（无免费试用资格或函数计算老客户）” 推荐购买函数计算9.9 老客户专享套餐。无套餐直接使用会产生函数计算后付费订单，具体计费情况请参考计费概述。由于老客户专享额度不支持抵扣公网出流量和磁盘使用量的费用。如您未购买相关资源包，公网出流量使用量和超出512MB的磁盘使用量将计入按量付费。
  

Q2: 为什么我领取了试用额度，依然有小额计费？

本实验需要使用到“公网出流量”和“磁盘使用量”两个计费项，而试用额度不支持抵扣公网出流量和磁盘使用量的费用。如您未购买相关资源包，公网出流量使用量和超出512MB的磁盘使用量将计入按量付费。本体验涉及使用少量公网出流量和磁盘使用量，为了避免停机风险，请您确保账号中有至少1元余额”，具体计费情况请参考计费概述。

本实验公网出流量使用量和超出512MB的磁盘使用量计费参考如下：

• 当前应用磁盘使用量为 512 MB，不需要支付费用。
  
• 同时加载前端页面，需要支付一定的公网出流量费用（0.5元/GB）。前端加载需要约1M流量（约 0.00049 元），每次会话都需要消耗一定的流量，进行21739次会话，约消耗2M（约 0.001 元）。
  

说明：预估费用仅供参考，实际费用取决于图片大小、调用频率等多种因素，如需长期使用本服务，请仔细阅读函数计算（FC）资源使用费用，避免产生意料之外的费用；如仅为体验功能不做长期使用，请一定按照文档最后删除步骤，部署之后立即删除。

一、资源方式介绍

本实验支持开通免费试用、个人账户资源两种实验资源方式。

• 建议首次开通函数计算用户选择开通免费试用。
  
• 函数计算老用户选择个人账户资源。
  

在实验开始前，请您选择其中一种实验资源，单击确认开启实验。

二、选择开通免费试用（函数计算首次开通用户）

新客户0元试用资源额度如下：

2023年04月06日20:00之后开通函数计算的用户，可0元享老客户专享套餐，有效期3个月，总价值150元。套餐限购1次，内含四个试用包：50万vCPU*秒 + 100万GB*秒 + 400万次函数调用 + 10万GB*秒GPU。

请注意：试用额度不支持抵扣公网出流量和磁盘使用量的费用。如您未购买相关资源包，公网出流量使用量和超出512 MB的磁盘使用量将计入按量付费。本体验涉及使用少量公网出流量和磁盘使用量，为了避免停机风险，请您确保账号中有至少1元余额”，具体计费情况请参考计费概述。

1. 在本实验页面下方卡片会展示本实验支持的试用规格，选择函数计算FC并单击立即试用。
   

2. 首次开通函数计算的新客户，可以在函数计算新客首购套餐页面，单击立即购买。
   

二、选择个人账户资源（无免费试用资格或函数计算老客户）

如果您没有免费试用资格或者在4月6日20:00前已开通函数计算服务，请您选择个人账户资源进行实验。

您有两种付费方式：

方式一：您可以直接使用函数计算后付费开始实验，计费标准详情请参考计费概述。请您仔细阅读计费标准，防止有意料之外的付费。

方式二：本实验推荐您购买函数计算老客户专享套餐包，进行实验。额度如下：

2023年04月06日20:00之前开通函数计算的用户，可9.9元享老客户专享套餐，有效期3个月，总价值150元。套餐限购1次，内含四个试用包：50万vCPU*秒 + 100万GB*秒 + 400万次函数调用 + 10万GB*秒GPU。

请注意：试用额度不支持抵扣公网出流量和磁盘使用量的费用。如您未购买相关资源包，公网出流量使用量和超出512 MB的磁盘使用量将计入按量付费。本体验涉及使用少量公网出流量和磁盘使用量，为了避免停机风险，请您确保账号中有至少1元余额”，具体计费情况请参考计费概述。

具体操作为：

1. 前往函数计算管理控制台。在概览页面，单击老客户专享套餐。
   

2. 在函数计算老客首购套餐页面，单击立即购买。
   

2. 创建应用

再次提醒本实验可领用下方卡片中的函数计算免费额度；首次开通函数计算的新客户，可以购买新客首购套餐；如您是函数计算老客户，可购买老客户专享套餐包（所有套餐包购买请查看第一步骤描述信息）。

请注意领用/购买套餐包进行实验，如选择后付费形式进行实验，请注意账户扣费。计费情况详情请参考计费概述。

1. 前往函数计算控制台。
   
2. 在左侧导航栏中，单击应用。
   

注意：如果您之前使用过应用中心，在单击应用之后出现类似于下面的页面，此时您可以单击创建应用继续流程。

3. 在单击应用/创建应用之后，您可以看到应用列表。
   

4. 在应用页面，搜索并选择文生文-ChatYuan模型，单击立即创建。
   

5. 在创建应用页面，选择直接部署。
   

6. 此时还需要关注页面上角色名称部分，例如：
   

此时需要单击前往授权进行授权，授权完成可能会提示：

说明：如果您的角色名称已有相关权限，可忽略此步骤。

7. 应用可支持部署地域为北京、杭州、上海、深圳，请选择任意一地域。
   

说明：如遇部署异常，特别是AIGC公共镜像拉取耗时长/失败问题，请切换其他地域重试。

8. 【必填】填写fc-chatyuan镜像地址，镜像地址需要与应用所在的地域保持一致。（请注意不要多复制多余空格）
   

为方便您的体验，本实验提供基于开源项目构建的镜像，您需要自行填写地域对应的镜像地址。

说明：本次实验提供的镜像由Serverless Devs开源项目贡献者贡献，仅供您体验使用。您也可以使用自己的构建的镜像，构建方法详情请参见项目代码内的 README 文档。

• 上海地域镜像地址：registry.cn-shanghai.aliyuncs.com/aliyun-fc/fc-chatyuan:v2
  
• 杭州地域镜像地址：registry.cn-hangzhou.aliyuncs.com/aliyun-fc/fc-chatyuan:v2
  
• 北京地域镜像地址：registry.cn-beijing.aliyuncs.com/aliyun-fc/fc-chatyuan:v2
  
• 深圳地域镜像地址：registry.cn-shenzhen.aliyuncs.com/aliyun-fc/fc-chatyuan:v2
  

9. 完成之后，单击页面最下面的创建并部署默认环境。
   

注意：部署应用之后会产生函数计算资源使用费用，计费情况详情请参考计费概述。

10. 在基本信息页面，单击部署版本。
    

说明：大约需要等待1~2分钟。

11. 在部署版本页面，请您耐心等待部署状态变为部署成功，在部署时您也可以查看日志观察应用部署情况。
    

12. 检查GPU函数（model）的镜像加速准备状态，函数计算提供的镜像加速能力专门为AI/GPU大镜像进行启动优化，请当镜像加速准备状态处于可用后，再开始进行函数调用。
    
13. 在基本信息页面，单击环境名称。
    

2. 在环境详情页面的资源信息区域中，单击函数model。
   

3. 在函数model详情页面的环境信息区域，检查镜像加速准备状态，请您耐心等待镜像加速准备状态变为可用。
   

13. 镜像加速准备状态变为可用后，返回到应用的基本信息页面。在基本信息页面，单击访问域名中的第一个域名，进入程序加载页面。请您稍等片刻，等待程序加载完成。
    

14. 加载完成之后，返回如下页面。
    

3. 对话模型

输入您要交谈的内容，等待模型回复。为了更好的对话效果，可以在每一句最后添加合适的标点符号。

说明：由于模型较大，首次请求可能需要花费约 30s～1min

4. 计费参考

小明使用函数计算部署了 fc-chatyuan 大约要消耗多少函数计算资源呢？

函数计算配置：GPU 16 GB、vCPU 8核、内存32 GB。

处理会话花费的时间主要取决于冷启动时间，经过测试，我们得到如下数据。

一、首次对话所耗费的资源（冷启动）：

取平均值得到：

• GPU 资源消耗：564 GB-s
  
• CPU 资源消耗：282 GB-s
  
• 内存资源消耗：1128 GB-s
  

二、后续对话所耗费的资源（热启动）：

取平均值得到：

• GPU 资源消耗：9.2 GB-s
  
• CPU 资源消耗：4.6 GB-s
  
• 内存资源消耗：18.4 GB-s
  

三、假如小明0元购买了免费试用包，或老客专享资源包。

资源包额度为：

• vCPU试用额度：前50万vCPU*秒vCPU资源使用免费。
  
• 内存试用额度：前100万GB*秒内存资源使用免费。
  
• 函数调用试用额度：前400万次函数调用免费。
  
• GPU试用额度：前10万GB*秒GPU资源使用免费。
  

那么小明可以处理的对话数量估计为（连续调用只有少数的冷启动）：

• GPU试用额度可生成图片数量：100000/9.2 = 10869次
  
• CPU试用额度可生成图片数量：500000/4.6 = 108695次
  
• 内存试用额度可生成图片数量：1000000/18.4 = 54347次
  

取最小值可得，共可以处理约10869次对话。

免费额度外，函数计算费用还包含磁盘使用量和公网出流量。

• 当前应用磁盘使用量为 512 MB，不需要支付费用。
  
• 同时加载前端页面，需要支付一定的公网出流量费用（0.5元/GB）。前端加载需要约1M流量（约 0.00049 元），每次会话都需要消耗一定的流量，进行21739次会话，约消耗2M（约 0.001 元）。
  

说明：预估费用仅供参考，实际费用会话内容、调用频率等多种因素。

5. 释放函数资源

在实验完成之后，如果您需要长期使用，请忽略此步骤。如果您不需要长期使用，请按照如下步骤对资源进行释放。

1. 在应用页面，找到您部署的应用，单击右侧操作列下的删除。
   

2. 在删除应用对话框中，选择我一确定资源删除的风险，依旧要删除上面已选择的资源，然后单击删除应用及所选资源。
   

实验链接：https://developer.aliyun.com/adc/scenario/e1c6e573bd5343a0aef54723854029e3