开发者社区> 问答> 正文

训练大模型对算力的要求如何?

训练大模型对算力的要求如何?

展开
收起
夹心789 2024-05-30 13:53:06 169 0
1 条回答
写回答
取消 提交回答
  • 训练大模型对算力的要求极高。随着模型规模的增大,所需的算力呈指数级增长。例如,从GPT到GPT-3,再到PaLM,算力需求从18k petaFLOPs增长到310M petaFLOPs,再到2.5B petaFLOPs,这超出了普通玩家的能力范围。

    2024-05-30 14:36:56
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载