AI 助理
备案控制台
开发者社区 问答 正文

训练大模型对算力的要求如何？

训练大模型对算力的要求如何？

展开
收起
夹心789 2024-05-30 13:53:06 392 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 芯在这

    训练大模型对算力的要求极高。随着模型规模的增大，所需的算力呈指数级增长。例如，从GPT到GPT-3，再到PaLM，算力需求从18k petaFLOPs增长到310M petaFLOPs，再到2.5B petaFLOPs，这超出了普通玩家的能力范围。

    2024-05-30 14:36:56
    赞同 展开评论
问答标签：
训练通义大模型 通义大模型算力
问答地址：
开发者社区 > 云计算 > 问答
相关问答
阿里云训练大模型的服务器类型选择建议？
94
1
0
大模型上训练专家数据库，模型如何收费？
74
1
0
摩搭社区“古文翻译腔数据集”，想用这个训练大模型，参照文章里的脚本进行训练，本地数据集无法加载会报错
122
0
0
EasyNLP框架如何解决大模型参数量大、训练和推理速度慢的问题？
77
1
0
Nacos这个机器人是怎么做的呀？是基于大模型的rag 还是通过nacos问题训练的大模型呀？
47
1
0
ModelScope中，用qwen7b训练没有错，训练的时候报错了 ，怎么解决？
85
1
0
ModelScope的swift能训练llama3.1的大模型吗？
86
1
0
借助阿里的大模型训练自己的语言知识库，有没有合适的产品和服务？
97
1
0
大模型推理和大模型训练有啥区别？
1612
1
0
阿里云百炼的通义千问开源的预训练大模型，训练的数据有介绍吗？
237
2
0