操作手册
【实践】如何快速体验调用通义大模型
本次实验任务是在云上使用阿里云百炼创建一个企业知识检索大模型应用,通过上传企业知识,让大模型在企业知识中检索答案,最终将正确答案返回给用户。
场景简介
本次实验任务是在云上使用阿里云百炼创建一个企业知识检索大模型应用,通过上传企业知识,让大模型在企业知识中检索答案,最终将正确答案返回给用户。
背景知识
本场景主要涉及以下云产品和服务:
基于通义系列大模型和三方大模型的一站式大模型服务平台,提供生成式大模型的全流程应用工具和企业大模型的全链路训练工具。
您可扫描下方二维码或者钉钉搜索钉钉群号: 65295003032,加入阿里云百炼答疑群。
前提条件
云起实验室将在您的账号下开通本次实操资源,资源按量付费,需要您自行承担本次实操的云资源费用。
本实验预计产生费用0.2元。如果您调整了资源规格、使用时长,或执行了本方案以外的操作,可能导致费用发生变化,请以控制台显示的实际价格和最终账单为准。
进入实操前,请确保阿里云账号满足以下条件:
开通大模型服务平台百炼
本步骤指导您如何开通大模型服务平台百炼,如果您已开通过,请跳过此步骤。
大模型服务平台百炼为首次开通服务的用户提供免费试用额度,开通的阿里云主账号与其RAM子账号共享免费试用额度。免费试用额度从开通百炼或模型申请通过之日起计算有效期,有效期一般是30~180天不等。
在实验页面,勾选我已阅读并同意《阿里云云起实践平台服务协议》后,单击进入实操。
前往阿里云百炼控制台。
在服务协议对话框中,阅读并单击同意。
说明如果您是大模型服务平台百炼的老用户,不会弹出此对话框,请您跳过此步骤。
在首页顶部,显示如下图所示的消息,您需要开通百炼的模型服务,以获得免费额度,请单击开通服务。
说明如果未显示该消息,则表示您已经开通,请跳过此步骤。
在弹出的对话框中,勾选我已阅读并同意《模型管理服务协议》,单击确认开通。
模型体验
模型广场提供通义模型、三方模型等类型,可以在模型广场中选择自己业务场景需要的模型规格。
前往阿里云百炼控制台。
在左侧导航栏中,选择模型体验 > 文本模型。
在文本对话页签,您可以同时最多选择3个模型进行体验。本实验以通义千问-Max、通义千问-Plus、通义千问-Turbo为例。
说明您可以在更多模型中选择其他的模型。
在文本对话页签,选择通义千问-Max、通义千问-Plus、通义千问-Turbo三个模型后,在页面下方输入Prompt,单击
图标发送。
说明Prompt示例:什么是阿里云百炼。
在文本对话页签,您可以查看到三个模型对于同一个prompt所生成不同的内容。
在模型内容生成的过程中,您可以在模型下方单击停止回答,停止模型内容的生成。
问答生成后,下方显示字数、输入tokens和输出tokens的内容,右侧的
图标可以选择让模型重新生成内容,上方的替换可以选择其他的模型进行体验测试。
在左侧导航栏,单击模型广场。
在模型广场页签,在任意一个模型卡片下,有查看详情、API调用示例和立即体验三个功能。其中,API调用示例功能您可按照页面提示进行API调用。立即体验功能则为上述步骤操作内容,您可在阿里云百炼控制台中体验调用通义大模型。
模型调试
支持调试模式,透明化查看模型输出结果,支持Prompt模式及Message模式,便于开发者调试模型效果。支持top-p、system、自定义随路参数及自定义停止符等多种自定义模型配置,支持多模型多配置差异化效果对比。
本步骤带您体验模型调试,选择模型,按照实际情况配置参数内容。
在左侧导航栏中,选择模型体验 > 文本模型。
在文本对话页签,单击文本调试。
在文本调试页签,在模型配置区域,选择模型为通义千问-Max,在system中输入您是一名合格的质检员,在输入区域中,选择Prompt,并输入如下内容,单击执行。
请帮我把下面这首诗中存在的错别字标注出来,并给出正确内容。 春眠不觉晓,处处问题鸟。夜来风雨声,花落知多少。
参数说明:
system:系统人设,例如“你是一个AI助手”。
top_p:控制核采样方法的概率阈值,取值越大,生成的随机性越高。
temperature:控制生成随机性和多样性,范围(0,2)。建议该参数和top_p只设置1个。
enable_search:是否参考搜索的结果,默认为false。
返回类似如下结果。
应用体验
应用体验中心支持导入测试数据,进行在线测试问答效果。默认提供RAG检索增强应用模板进行测试。支持上传PDF、doc/docx格式,上传后可在输入框中输入prompt后发送,模型返回结果,完成测试。
本次示例主要测试完整的应用体验流程,供您参考。
下载示例文件。
在左侧导航栏中,单击数据管理。
在非结构化数据页签,单击导入数据。
在导入数据页面,上传示例文件,单击确认。
在左侧导航栏中,选择数据应用 > 知识索引。
在知识库索引页面,单击创建知识库。
在知识库信息页面,自定义知识库名称,其他配置保持默认即可,单击下一步。
在选择数据页面,勾选选择文件和示例文件,单击下一步。
在数据处理页面,文档切分chunk选择智能切分,单击导入完成。
返回如下页面,表示知识库创建完成。
在左侧导航栏中,单击我的应用。
在我的应用页面,单击新增应用。
在弹出的对话框中,选择智能体应用,单击创建RAG应用。
在应用创建页面,模型选择通义千问-Max,知识库选择您刚创建的知识库,在右侧测试版本区域下方的Prompt中,输入您想问的问题,例如输入投保人、被保险人义务,单击
图标发送,发送后等待模型返回内容。
返回类似如下结果。
停止生成:在大模型生成内容的过程中,您可以选择停止生成。
问题反馈:大模型已生成的内容,您可以对内容进行问题反馈,选中类型并输入原因后,单击提交,会有专门的算法同学优化内容效果。
重新生成:可对生成的内容重新生成内容。
说明每次大模型生成内容下方都会显示本次内容的相关数据:包括字数、输入token、输出token。目前部分模型有提供免费额度供您体验,详情可参见通义千问,获取免费额度内容。
清理资源
在完成实验后,如果无需继续使用资源,请根据以下步骤,先删除阿里云百炼应用,再结束实操。
删除阿里云百炼应用。
前往阿里云百炼控制台。
在左侧导航栏中,单击我的应用。
在我的应用页面,找到您创建的应用,选择更多 > 删除应用。
在确定删除该应用对话框中,单击确认删除。
删除阿里云百炼应用后,选择不保留资源,单击结束实操。在结束实操对话框中,单击确定。
在完成实验后,如果需要继续使用资源,选择付费保留资源,单击结束实操。在结束实操对话框中,单击确定。请随时关注账户扣费情况,避免发生欠费。