AI 助理
备案控制台
开发者社区 问答 正文

大模型的发展给计算体系结构带来了哪些挑战？

大模型的发展给计算体系结构带来了哪些挑战？

展开
收起
夹心789 2024-07-04 11:57:18 66 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

2 条回答
写回答
取消 提交回答
  • sunrr

    随着ChatGPT的横空出世，人工智能大模型成为各行各业热议的焦点，国内外各种大模型如雨后春笋般涌现，引发了新一轮人工智能热潮。但在看到大模型取得巨大进步的同时，也要看到当前国内大模型的研发推广仍然面临不小的挑战和压力。
    image.png

    参考文档https://www.cnii.com.cn/txqygl/fxgc/202310/t20231031_517528.html

    2024-07-07 07:59:37
    赞同 1 展开评论
  • 呆呆宝

    大模型的发展给计算体系结构带来了多重挑战，包括功耗墙、内存墙和通讯墙等。具体来说，在大模型训练层面，用户在模型装载、模型并行、通信等环节会面临各种现实问题；而在大模型推理层面，用户在显存、带宽、量化上面临性能瓶颈。

    2024-07-04 13:40:21
    赞同 3 展开评论
问答标签：
通义大模型计算
问答地址：
开发者社区 > 云计算 > 问答
相关问答
大模型如何对文本进行token计算，有提供api吗
153
1
0
大模型的token是怎么计算的？纯中文、纯英文、中英混合、数字混合都是怎么计算的，始终没找到一个清晰
6708
4
0
大模型的token是怎么计算的？
3488
1
0
在大模型推理中，大部分的计算是什么类型的操作？大模型推理的耗时主要集中在什么方面？
93
1
0
大模型计算速度如何？
80
1
0
ModelScope接口访问qwen-coder，报错409
55
0
0
使用modelscope、Qwen1.8B-chat 模型推理时报错编码错误
89
0
0
ModelScope中，qwen2-72b-instruct-awq 支持 json模式吗？
119
0
0
ModelScope哪个框架支持部署本地qwen2外挂知识库？
135
1
0
modelscope微调qwen57b 遇到的问题，为啥显示张量大小不一样？
86
1
0