开发者社区> 问答> 正文

大模型的发展给计算体系结构带来了哪些挑战?

大模型的发展给计算体系结构带来了哪些挑战?

展开
收起
夹心789 2024-07-04 11:57:18 40 0
2 条回答
写回答
取消 提交回答
  • 随着ChatGPT的横空出世,人工智能大模型成为各行各业热议的焦点,国内外各种大模型如雨后春笋般涌现,引发了新一轮人工智能热潮。但在看到大模型取得巨大进步的同时,也要看到当前国内大模型的研发推广仍然面临不小的挑战和压力。
    image.png

    参考文档https://www.cnii.com.cn/txqygl/fxgc/202310/t20231031_517528.html

    2024-07-07 07:59:37
    赞同 1 展开评论 打赏
  • 大模型的发展给计算体系结构带来了多重挑战,包括功耗墙、内存墙和通讯墙等。具体来说,在大模型训练层面,用户在模型装载、模型并行、通信等环节会面临各种现实问题;而在大模型推理层面,用户在显存、带宽、量化上面临性能瓶颈。

    2024-07-04 13:40:21
    赞同 3 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载