阿里云百炼产品初体验评测

简介: 从小白入门到操作体验,带领大家一起探索阿里云百炼大模型平台的奥秘。

产品概述

image.png

阿里云百炼是一个集模型训练、微调、评估等产品工具于一体的大模型服务平台,它不仅支持开源、闭源等多种模型,还预置了丰富的应用插件和便捷的集成方式,帮助用户更快地完成大模型应用的开发和部署。旨在为企业客户和合作伙伴提供高效、便捷的大模型应用构建解决方案。

于近期发布了2.0版本,更是实现了应用、模型双引擎的全新升级,并兼容LlamaIndex等开源框架,进一步提升了平台的开放性和自由度。它的产品功能主要概括为如下三点:

1. 完整的应用创建流程

  • 阿里云百炼提供了从创建知识库、上传数据、创建应用到测试效果等完整的应用创建流程。用户可以根据自身需求选择合适的模板或新建应用,并预置prompt、接入插件、流程组件等调试应用。

2. 高效的智能体应用开发

  • 平台支持使用开放架构创建智能体应用,并集成了prompt优化工具、流程管理工作流、插件等能力。这些工具可以帮助用户更高效地开发和优化智能体应用。

3. 完整的全链路模型工具

  • 阿里云百炼支持全参/高效等多种大模型在线调优方式,并配备了多元化的大模型效果评测工具。用户可以在线进行模型的调优、评测和部署,实现全链路的高效管理。

产品的优势也可以概述为下面三点:

1. 开放高效的应用构建

  • 阿里云百炼兼容LlamaIndex等开源框架和Open AI的Assistant API调用,支持用户快速构建智能体应用。用户可以在5-10分钟内完成应用的创建和调试。
  • 平台提供了灵活可配置的全套应用开发工具,支持自定义大模型应用流程编排,满足用户多样化的需求。

2. 丰富多元的模型服务

  • 阿里云百炼集成了上百款大模型API,包括通义、Llama、ChatGLM等系列模型,以及零一万物、百川智能等国内外主流厂商的大模型。
  • 平台支持企业上架通用或行业模型,为开发者提供了多样化的模型选择。

3. 极致性价比的推理成本

  • 阿里云百炼通过优化算法和降低计算成本,实现了大模型推理成本的显著降低。例如,主力模型Qwen-Long的API输入价格降至0.0005元/千tokens,降幅达97%。
  • 降价后,用户可以用更低的成本获得高性能的大模型服务,加速大模型应用的落地进程。

近期发布的2.0版,它的产品架构是下图这样的,整合了模型服务,并提供了模型开发和应用工具,实现了应用、模型双引擎升级。

image

基于五级引擎更是为企业和用户提供了一站式大模型服务构建。引擎架构如下图:

image

在数据安全、隐私保护等方面也采取了多项措施。首先实现了开发和生产数据的隔离,对日志数据进行定期清理和加密归档,并对客户的OSS数据进行加密保存。此外,平台还提供了多种攻击防护手段和数据权限管理工具,确保用户数据的安全性和合规性。安全架构如下图:

image (2).png

开通服务

访问大模型服务平台百炼控制台首次进入需要同意服务协议,点击同意。如下:
image.png
在首页/模型广场/应用广场,均可点击开通模型调用服务。新用户首次访问将有100次提问额度。额度用完后需开通服务后方可继续使用。如下:
image.png
image.png
image.png
点击开通,如下:
image.png
使用阿里云百炼大模型服务,需要开通【百炼大模型推理】【百炼大模型部署】【百炼大模型训练】商品,并创建模型调用API-KEY。勾选协议,点击确认开通。如下:
image.png
开通服务后将会收到三条开通百炼大模型推理、百炼大模型部署、百炼大模型训练商品成功的短信通知。如下:
image.png
至此,我们就完成了阿里云百炼大模型服务产品的开通。

场景体验

快速入门

直接在首页的输入框中输入问题,模型即可返回对应答案内容。比如输入“我国的传统节日有那些,分别都有什么习俗”,如下:
image.png

搭建智能问答助手

搭建智能问答助手之前我们需要先配置好知识库,我们在使用检索增强应用时,需要先将知识库搭建完成,才能使应用进行检索。左侧导航栏选择数据管理--点击导入数据,如下:
image.png
选择导入方式,目前支持本地上传和OSS上传文件,然后点击确认。如下:
image.png
支持 .pdf,.doc,.docx,.txt,.md,.pptx,.ppt 等格式,单文档最大限制100MB或1000页,最多支持上传200个文件。确认上传后,等待文件状态更新为导入成功。如下:
image.png
导入这里耗时是根据文档大小以及内容多少而定的,我这里耗时5分钟,是因为我的文档是如下这样的,内容比较丰富。
image.png
接着需要建立知识库索引,左侧导航栏点击知识索引,点击创建知识库,如下:
image.png
在创建知识库页面上,填入知识库名称、描述,选择数据类型、配置模式选推荐配置,向量存储选择内置。点击下一步,如下:
image.png
并将上传的文件导入知识库中,并点击导入完成。如下:
image.png
image.png
导入完成后,新建的知识库中已存在上传的文档数据。如下:
image.png
下面我们就可以创建应用,实现大模型检索我们上传的文档了。点击我的应用--创建应用,如下:
image.png
选择模型并进行参数配置,如下:
image.png
开启知识检索增强按钮并选择知识库。如下:
image.png
点击Prompt优化,确认使用。针对输入的prompt进行专业优化,使模型更容易理解指令。如下:
image.png
点击右上角的发布后,就可以在【我的应用】列表中查看了。如下:
image.png
回到创建应用的页面,我们体验下效果。比如输入“仓颉造字”,如下:
image.png
不得不说,这文档的解析效果也太好了,模型服务的回答即源于文档,又高于文档,不但回答准确且质量很高。

点击应用下方的【管理】按钮,返回我们刚开始创建应用的页面,在这个页面您可以修改应用配置,包括开启/关闭知识检索增强、检索片段数设置、长期记忆开启/关闭、选择插件、高级配置等。页面右侧为应用测试窗,可以进行内容测试。也可在左上角查看应用API和API KEY。这里我们看看有那些管理插件可用,点击选择插件,如下:
image.png
从图上可以看到目前官方插件有四个,其中Python代码解释器、计算器是免费的;图片生成和夸克搜索目前限免,需要申请开通。申请也很简单,只需点击申请按钮即可,如下:
image.png
申请需要等待审核,完成审核后即可添加使用了。点击应用右上角的【高级配置】按钮,可以对用户输入的违规话术进行干预。如下:
image.png
点击创建输入话术规则,这里我新建一个敏感词汇的规则,如下:
image.png
点击添加后,在干预话术页面,点击启用。如下:
image.png
当然,我们也可以针对输出结果进行话术干预,只需点击创建生成结果规则。如下:
image.png
选择应用下方的调用按钮就可以实现对助手的API调用了,按照文档内容进行调试和调用即可。如下:
image.png

模型训练

模型调优

模型调优支持多种训练方式,明确训练方向并选择合适的训练数据及参数,训练后的模型效果将更加符合业务需求。

模型训练需要先准备数据,训练所用的数据集,格式一般为Prompt+Completion的文本数据,Prompt+Completion类于FAQ的格式,也就是通常所讲的一问一答的数据内容,可通过excel/json进行编辑和上传。点击左侧导航的模型数据,如下:
image.png
点击新增数据集,如下:
image.png
这里提供了excel和json的数据模板,可以点击下载。如下:
image.png
image.png
如果文件导入失败,点击详情可以很直观地发现问题出现在哪里,根据提示修改即可。如下:
image.png
导入成功后,点击查看,可以看到数据集内容。如下:
image.png
当然准备的数据量不是越多越好,官网针对不同的任务类型提供了参考。如下:
image.png
数据准备的最后一步是发布,点击发布即可。如下:
image.png
点击【模型调优】模块,选择【训练新模型】按照提示进行创建。如下:
image.png
配置过程中遇到的专业名词可点击前往查看概念解释学习。如下:
image.png
image.png
这里注意勾选上述上传的数据集。如下:
image.png
image.png
这里为了节约成本,就不开混合训练了。如下:
image.png
image.png
image.png
确认如上配置无误后,点击开始训练即可。如下:
image.png
在训练中的模型可以点击查看了解进度,也可以点击终止训练停止。如下:
image.png
这里耗时较长,建议耐心等待,等状态显示为训练成功后,既表明完成训练。如下:
image.png
实时绘制的Loss曲线可以帮助算法同学更好地观察训练过程,判断训练效果。如下:
image.png

模型评测

通过构建好的评测集进行模型评测,系统基于评测集将完成推理预测,完成预测结果标注后可查看评测报告。

模型评测跟调优一样,需要先上传数据。点击左侧导航的模型数据,数据集类型选择评测集。如下:
image.png
导入完成后,点击发布。如下:
image.png
点击左侧导航栏的模型评测,点击创建评测任务。如下:
image.png
选择评测方式,页面上方有不同评测方式介绍,按需选择,建议选择单个评测。如下:
image.png
image.png
image.png
image.png
确认无误后,点击开始评测。至于为啥这里没有显示预估的费用,是因为如下原因:
image.png
开始训练后,可以看到显示的预估耗时。如下:
image.png
评测完成后,可以点击标注,通过打标的方式来检查前后模型的效果。如下:
image.png
image.png
通过对比评测集参考结果,针对模型结果进行打分或排序从而完成测评,系统将自动统计测评结果。如下:
image.png
这里由于是单个评测,所呈现的效果并不是很直观,下面创建一个对比评测任务。如下:
image.png
对比评测耗时是单个评测的两倍,所以还是继续耐心等待完成后进行标注,如下:
image.png
image.png
标注完成,查看统计结果。如下:
image.png
image.png

体验总结

创建应用

实操困难点

  • 数据的质量直接影响问答效果。体验使用了测试数据,但在实际项目操作中,可能会遇到数据格式不一、内容冗余或错误等问题,此时就需要我们投入大量时间和精力进行清洗和整理了。
  • 索引构建是技术难点之一,需要深入了解平台提供的索引机制和算法原理,以便根据实际应用场景进行针对性优化。同时,随着数据量的增加,索引的更新和维护也成为一项挑战。
  • 问答效果的调优需要丰富的经验和技巧。在实际应用中,可能会遇到查询意图理解不准确、回答内容不相关或回答不完整等问题,需要不断调整查询算法参数和问答模板,以提高问答的准确性和满意度。

产品的使用建议

加强数据预处理功能:建议平台提供更加智能化的数据预处理工具,如自动去重、格式转换、关键词提取等,以减轻用户的数据整理负担。

优化索引构建机制:进一步优化索引构建机制,提高索引的准确性和效率。可以考虑引入更先进的自然语言处理技术和机器学习算法,以更好地理解和处理文本数据。

加强产品支持和社区建设:建立完善的用户支持体系,包括在线帮助文档、视频教程、客服支持等,及时解决用户在使用过程中遇到的问题。同时,建立用户社区,鼓励用户分享经验和技巧,促进产品的持续优化和升级。

综上所述,阿里云百炼平台为企业提供了一个强大而灵活的知识检索应用构建工具。通过清晰的搭建思路和不断的优化改进,用户可以轻松打造出符合自身需求的智能问答助手。

模型训练

  • 数据准备是模型调优和部署的关键步骤。我首先对数据进行了清洗和预处理,包括去除重复项、纠正错误、统一格式等。然后,我根据模型的需求将数据划分为训练集、验证集和测试集。为了提高模型的泛化能力,我还采用了数据增强技术,如随机采样、噪声添加等。

  • 阿里云百炼平台的控制台操作指引非常清晰,易于上手。从模型选型、数据上传、参数配置到模型训练和部署,每一步都有详细的说明和提示。特别是模型调优部分,平台提供了丰富的工具和可视化界面,让我能够直观地观察训练过程和结果,并根据需要进行调整。此外,平台还提供了丰富的文档和教程,帮助我更好地理解和使用产品。

  • 模型调优我这里主要使用了通过指数衰减来调整学习率,这样调的好处是可以加快模型的收敛速度。如下:

image.png

经过调优和部署后,我的知识大模型在问答效果上有了显著提升。模型能够更准确地理解用户的问题,并给出相关和准确的答案。同时,模型的响应速度也得到了优化,能够在短时间内给出答复。这些改进大大提高了模型的实用性和用户体验。

产品改进和功能增加建议

增加更多行业模板:建议阿里云百炼平台增加更多行业模板和预训练模型,以便用户能够更快地找到适合自己的模型,并减少从头开始的训练时间。

优化模型训练界面:虽然当前界面已经比较友好,但建议进一步优化模型训练界面,使其更加直观和易用。例如,可以增加更多的可视化图表和实时监控数据,帮助用户更好地了解训练过程和结果。

综上,通过体验模型调优、模型评测和模型部署的整个过程,我不仅获得了专属个人的知识大模型,还对产品有了更深入的了解和认识。希望阿里云百炼平台能够继续优化和改进产品功能和服务质量,为用户提供更好的体验和价值。

相关实践学习
如何快速体验知识检索增强应用
在应用广场中您可以挑选智能体API应用、官方预置完整工程链路的知识检索增强(RAG)应用、流程编排应用,以及官方最佳实践的写作应用妙笔等,通过应用快速将通义千问系列等大语言模型能力接入到业务解决方案中。
目录
相关文章
|
8天前
|
人工智能 JSON 自然语言处理
阿里云百炼产品月刊【2025年1月】
本月重点包括新增批量推理功能,支持非高峰时段大规模数据处理,享有5折折扣;工作流应用新增循环节点,增强了流程定义的灵活性;数据管理新增解析设置功能,支持自动识别与转换多种数据格式。此外,还推出了多个新模型,如DeepSeek系列、Wanx2.1系列等,涵盖文本生成、图像生成、视频生成等多个领域。特别是DeepSeek-V3,具有671B参数,擅长长文本、代码、数学等领域;Wanx2.1系列则在视频和图像生成方面表现出色。通义千问系列模型也在性能和功能上进行了显著提升,特别是在语义理解和多语言支持方面。此外,本月还举办了多项AI实训营活动,包括智能体创意开发赛、新春主题创作等。
|
6月前
|
自然语言处理 数据挖掘 关系型数据库
欢迎加入阿里云百炼·析言GBI产品官方答疑群
在使用析言产品时遇技术难题?官方答疑群助您快速解决!群内可与其他用户交流、获取技术支持,轻松找到答案。欢迎扫描二维码或搜索钉钉号:94725009401加入我们,了解更多详情及VPC能力,让数据分析变得简单高效。
欢迎加入阿里云百炼·析言GBI产品官方答疑群
|
1月前
|
数据可视化 数据挖掘
阿里云百炼/析言GBI在产品博士中是怎么发挥作用的?请看此视频了解
阿里云百炼/析言GBI在产品博士中通过数据分析和可视化展示,帮助用户了解产品的GAAP收入情况。视频展示了2024年4月至7月期间,浙江地区的公共云产品每月GAAP收入,按月增序排列,并提供了详细的行业收入对比和日收入数据。图片展示了具体的数据图表,便于用户直观理解。
|
1月前
|
机器学习/深度学习 缓存 自然语言处理
阿里云百炼产品月刊【2024年12月】
12月,阿里云百炼带来多项技术革新与服务升级。本月重点包括VL模型部分规格降价,上线多个新模型,如视觉推理模型qvq-72b-preview、多语言文本统一排序模型gte-rerank和人物视频生成模型videoretalk等。应用模块新增音视频互动、互联网搜索及意图选择等功能,极大丰富了应用场景。此外,新增Context Cache功能和batch调用支持,提升了响应速度并降低了费用。
|
1月前
|
人工智能 算法 搜索推荐
云端问道11期方案教学-创建专属AI助手-阿里云百炼产品能力分享
阿里云百炼产品能力分享旨在帮助用户深入了解百炼的核心功能,并快速将大模型与系统结合。主要内容包括:1. 百炼的产品定位和能力简介,涵盖模型推理、应用搭建等;2. 知识检索RAG智能体的应用能力和优势,介绍其高效构建知识库的步骤及常见问题;3. 最佳落地案例实践,如宠物行业AI助手和产业分析类互联网企业的Copilot机器人。通过这些内容,用户可以全面掌握百炼在实际业务中的应用方法和效果。
|
2月前
|
SQL 前端开发 关系型数据库
阿里云百炼|析言GBI:产品博士的智能分析利器
本文介绍了阿里云“云知道”平台的云指针频道如何利用大模型实现从自然语言到SQL的转换,从而快速提供数据分析服务。通过阿里云AnalyticDB PostgreSQL版数据库存储数据,并结合析言GBI产品能力,实现了高效的数据查询与可视化展示。
|
2月前
|
数据采集 人工智能 自然语言处理
阿里云百炼产品月刊【2024年11月】
11月,阿里云百炼平台迎来一系列重大更新,包括推出QwQ、qwen-turbo、qwen-Plus等多个新模型及快照版本,强化AI推理、文本生成、视觉理解等能力。此外,还优化了模型管理、数据处理等功能,提升了用户体验。
|
5月前
|
人工智能 搜索推荐 云栖大会
2024云栖大会阿里云百炼产品发布论坛邀请您的参与和见证
云栖大会始于2009年,2015年正式更名,至今已成功举办15届,见证了中国云计算发展的关键时刻。大会汇聚全产业链,展示云计算及相关领域的趋势与创新。2024年9月19日,阿里云百炼专场将在云栖小镇D场馆2-2厅举行,探讨多端融合与开放架构,加速AI创新应用落地,共建繁荣生态。欢迎扫码注册参会,共筑智能化未来。
2024云栖大会阿里云百炼产品发布论坛邀请您的参与和见证
|
8天前
|
人工智能 自然语言处理 机器人
在钉钉中与百炼DeepSeek大模型对话
DeepSeek发布了两款先进AI模型V3和R1,分别适用于对话AI、内容生成及推理任务。阿里云百炼提供DeepSeek模型API,通过AppFlow可在钉钉中快速配置与DeepSeek的对话功能,无需代码开发,10分钟内完成全部设置。用户需在钉钉开放平台创建应用、配置消息卡片、授权权限,并使用计算巢AppFlow创建连接流,最后配置钉钉机器人并发布应用版本,即可实现与DeepSeek大模型的交互。
在钉钉中与百炼DeepSeek大模型对话
|
1月前
|
人工智能 自然语言处理 API
用AI Agent做一个法律咨询助手,罗老看了都直呼内行 feat.通义千问大模型&阿里云百炼平台
本视频介绍如何使用通义千问大模型和阿里云百炼平台创建一个法律咨询助手AI Agent。通过简单配置,无需编写代码或训练模型,即可快速实现智能问答功能。演示包括创建应用、配置知识库、上传民法典文档、构建知识索引等步骤。最终,用户可以通过API调用集成此AI Agent到现有系统中,提供专业的法律咨询服务。整个过程简便高效,适合快速搭建专业领域的小助手。
238 22

相关产品

  • 大模型服务平台百炼