《百炼成金-大金融模型新篇章》––05.问题3:“大模型vs越来越大的模型”,模型sIzE的军备竞赛

简介: 百炼必定成金,新质生产力会催生新质劳动力,谨以此文抛砖引玉,希望与业内的各位朋友一同探讨如何积极拥抱并运用大模型技术,以应对和驾驭不断变化的市场环境,实现科技金融持续稳定的提质增效和创新发展,携手开启金融大模型未来新篇章。

本文来源于阿里云社区电子书《百炼成金-大金融模型新篇章》


问题 3: “大模型 vs 越来越大的模型”,模型 size 的军备竞赛


OpenAI 的研究者在 2020 年发现,大语言模型也遵循着规模定律(ScalingLaw),模型参数数量的增加常常被看作是提高模型性能的一个关键因素。这导致了一种被业界戏称为“模型参数的军备竞赛”的现象,即科研机构和科技公司不断推出参数量更大、计算需求更高的模型,以追求在特定任务上的最佳性能。然而,这种军备竞赛带来了诸多挑战:


越来越大的模型通常具有更强的学习能力和泛化能力,因为有更多的参数可以捕捉数据中的复杂特征和模式。能够处理更复杂的任务和数据集,通常在各种基准和实际问题上表现更好。随着参数数量的增加,模型通常能够更好地理解语言的细微差别或更精准地识别图像中的对象。

 

但越来越大的模型带来能力提升的同时,也带来了海量的算力消耗,如何根据不同的业务场景选择合适的模型将是一个迫在眉睫的问题?


大模型推理运行时,核心消耗的资源是显存,推理过程中除了要加载对应参数的模型,还与输入输出的参数量有关,输入参数越多显存消耗越大,输出参数量越多模型响应越慢,我们根据一个简单的估算公式,来评估不同业务场景的资源消耗:


大模型推理的总显存占用公式: 𝐼𝑛𝑓𝑒𝑟𝑀𝑒𝑚𝑜𝑟𝑦≈ 1.2∗𝑀𝑜𝑑𝑒𝑙𝑀𝑒𝑚𝑜𝑟𝑦


(详见参考:TransformerInferenceArithmetic|kipply'sblog)


以 72B 参数的模型,在 BF16 精度下(浮点数 2 个字节)


𝐼𝑛𝑓𝑒𝑟𝑀𝑒𝑚𝑜𝑟𝑦≈ 1.2*𝑀𝑜𝑑𝑒𝑙𝑀𝑒𝑚𝑜𝑟𝑦(72 亿 *2)≈ 172.8G


运行一个 72B 的大模型至少需要 3 张 A100(80G),现以企业知识库和智能外呼场景为例进行资源评估:


知识库检索场景:典型的 RAG 增强检索高并发场景,输入少输出多,每次问题请求处理时间在 1-2s,峰值支持 50 并发(按照 5000 人的金融机构有 1% 的并发率),需要的 GPU卡的数量在 150-300 张 A100(80G),如果想要更精准的回复,可以选择 200B 或更大的模型,但 200B 大模型算力消耗会有 2.7 倍的增加。


智能外呼场景:典型的高并发低延时场景,输入多输出少,每次意图识别响应时间 200-300ms,峰值支持 1000 并发,需要的 GPU 卡的数量在 600-900 张 A100(80G)。


在正式生产业务应用时,业务是有典型的波峰波谷的,如果我们按照波峰要求建设算力池,势必会带来资源的低效使用,例如:知识库检索应用的平均资源利用率在 20%-30%;智能外呼应用的平均资源利用率在 5%-10%。如何提高算力资源利用率将是一个颇具挑战的问题?

目录
打赏
0
7
8
1
69
分享
相关文章
【自定义插件系列】0基础在阿里云百炼上玩转大模型自定义插件
本文介绍了如何在阿里云百炼平台上创建大模型自定义插件,以增强AI模型功能或适配特定需求。通过编程接口(API)或框架设计外部扩展模块,开发者可在不修改底层参数的情况下扩展模型能力。文章以万相文生图V2版模型为例,详细说明了创建自定义插件的五个步骤:新建插件、创建工具、测试工具、复制第二个工具及最终测试发布。同时,提供了官方文档参考链接和具体参数设置指导,帮助用户轻松实现插件开发与应用,推动AI技术在各行业的广泛应用。
【重磅发布】 免费领取阿里云百炼AI大模型100万Tokens教程出炉,API接口实战操作,DeepSeek-R1满血版即刻体验!
阿里云百炼是一站式大模型开发及应用构建平台,支持开发者和业务人员轻松设计、构建大模型应用。通过简单操作,用户可在5分钟内开发出大模型应用或在几小时内训练专属模型,专注于创新。
1364 89
【重磅发布】 免费领取阿里云百炼AI大模型100万Tokens教程出炉,API接口实战操作,DeepSeek-R1满血版即刻体验!
通义万相2.1视频/图像模型新升级!可在阿里云百炼直接体验
通义万相2.1模型推出新特征,包括复杂人物运动的稳定展现、现实物理规律的逼真还原及中英文视频特效的绚丽呈现。通过自研的高效VAE和DiT架构,增强时空上下文建模能力,支持无限长1080P视频的高效编解码,并首次实现中文文字视频生成功能。升级后的通义万相荣登VBench榜单第一,提供电影级分镜效果、四格漫画故事速览及情侣头像创意定制等多种玩法,满足多样化的视觉创作需求。可直接在阿里云百炼平台调用API体验这些功能。
一个支持阿里云百炼平台DeepSeek R1大模型(智能体)的Wordpress插件,AI Agent or Chatbot.
这是一个将阿里云DeepSeek AI服务集成到WordPress的聊天机器人插件,支持多轮对话、上下文记忆和自定义界面等功能。用户可通过短代码轻松添加到页面,并支持多种配置选项以满足不同需求。项目采用MIT协议授权,代码仓位于GitHub与Gitee。开发者Chi Leung为长期境外工作,代码注释以英文为主。适合需要在WordPress网站中快速部署AI助手的用户使用。
百炼-千问模型通过openai接口构建assistant 等 go语言
由于阿里百炼平台通义千问大模型没有完善的go语言兼容openapi示例,并且官方答复assistant是不兼容openapi sdk的。 实际使用中发现是能够支持的,所以自己写了一个demo test示例,给大家做一个参考。
JAVA接入DeepSeek大模型接口开发---阿里云的百炼模型
随着大模型的越来越盛行,现在很多企业开始接入大模型的接口,今天我从java开发角度来写一个demo的示例,用于接入DeepSeek大模型,国内的大模型有很多的接入渠道,今天主要介绍下阿里云的百炼模型,因为这个模型是免费的,只要注册一个账户,就会免费送百万的token进行学习,今天就从一个简单的可以执行的示例开始进行介绍,希望可以分享给各位正在学习的同学们。
275 3
JAVA接入DeepSeek大模型接口开发---阿里云的百炼模型
阿里云百炼已上线超强推理开源模型QwQ-32B,尺寸更小,性能比肩DeepSeek满血版
通义千问团队推出了320亿参数的QwQ-32B模型,通过大规模强化学习和多阶段训练,在数学、编程及通用能力上达到或超越了DeepSeek-R1等先进模型。QwQ-32B模型已在阿里云百炼上线,支持API调用,用户可通过官方文档了解详细使用方法。未来,团队将继续探索智能体与RL集成,推动人工通用智能的发展。
在钉钉中与百炼DeepSeek大模型对话
DeepSeek发布了两款先进AI模型V3和R1,分别适用于对话AI、内容生成及推理任务。阿里云百炼提供DeepSeek模型API,通过AppFlow可在钉钉中快速配置与DeepSeek的对话功能,无需代码开发,10分钟内完成全部设置。用户需在钉钉开放平台创建应用、配置消息卡片、授权权限,并使用计算巢AppFlow创建连接流,最后配置钉钉机器人并发布应用版本,即可实现与DeepSeek大模型的交互。
在钉钉中与百炼DeepSeek大模型对话
DeepSeek全尺寸模型上线阿里云百炼!
DeepSeek全尺寸模型上线阿里云百炼!
116 4

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等