AI 助理
备案控制台
开发者社区 问答 正文

在大模型推理中，大部分的计算是什么类型的操作？大模型推理的耗时主要集中在什么方面？

在大模型推理中，大部分的计算是什么类型的操作？大模型推理的耗时主要集中在什么方面？

展开
收起
夹心789 2024-07-04 12:11:38 93 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 呆呆宝

    "在大模型推理中，大部分的计算都是矩阵乘运算，即GEMM操作。
    大模型推理的耗时主要集中在访存上，主要是去做显存的读取，实际有85%的耗时都是访存。"

    2024-07-04 13:45:28
    赞同 3 展开评论
问答标签：
通义大模型推理 通义大模型计算
问答地址：
开发者社区 > 云计算 > 问答
相关问答
如何优化大模型推理中的通信开销？
295
3
0
在大模型推理时，为什么需要特别关注通信性能？
132
3
0
大模型如何对文本进行token计算，有提供api吗
153
1
0
大模型的token是怎么计算的？纯中文、纯英文、中英混合、数字混合都是怎么计算的，始终没找到一个清晰
6684
4
0
大模型的token是怎么计算的？
3479
1
0
EasyNLP框架如何解决大模型参数量大、训练和推理速度慢的问题？
76
1
0
大模型应用推理要至少80GB 显存，有什么推荐的服务器？
264
1
0
通过文档上传接口上传了文件，并且拿到了文件 id，如何在大模型推理 api 里面使用这个文档 id？
218
1
0
ModelScope用这个命令推理Qwen2-57b-a14b-instruct模型，为什么报错？
179
1
0
大模型推理和大模型训练有啥区别？
1550
1
0