开发者社区> 问答> 正文

一个超大规模的模型时还是会面临一些什么挑战?

一个超大规模的模型时还是会面临一些什么挑战?

展开
收起
罗鹏大佬 2022-04-20 10:44:56 2378 0
来自:阿里技术
1 条回答
写回答
取消 提交回答
  • 如何简洁易用: 接入门槛高:用户实现模型分布式版本难度大、成本高,需要有领域专家经验才能实现高效的分布式并行策略; 最优策略难:随着研究人员设计出越来越灵活的模型以及越来越多的并行加速方法,如果没有自动并行策略探索支持,用户很难找到最适合自身的并行策略; 迁移代价大:不同模型适合不同的混合并行策略,但切换并行策略时可能需要切换不同的框架,迁移成本高; 如何提高性价比: 业界训练万亿规模模型需要的资源:英伟达 3072 A100、谷歌 2048 TPU v3,资源成本非常高; 如何降本增效,组合使用各种技术和方法来减少需要的资源,提高训练的速度;

    2022-04-20 13:26:44
    赞同 展开评论 打赏
问答地址:
来源圈子
更多
收录在圈子:
+ 订阅
问答排行榜
最热
最新

相关电子书

更多
性能魔方:大规模企业该如何应对应用性挑战 立即下载
大规模日志数据平台架构面临的问题与挑战 立即下载
性能魔方:大规模企业该如何应对应用性能挑战 立即下载