AI 助理
备案控制台
开发者社区 问答 正文

通过CPU计算，联邦计算也不会节省时间，对于大模型性能会不会很差，后续会不会支持高性能GPU计算？

通过CPU计算，联邦计算也不会节省时间，对于大模型性能会不会很差，后续会不会支持高性能GPU计算提速？

展开
收起
OSC开源社区 2024-05-10 23:51:05 92 发布于河南 分享
分享
 版权
举报

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

2 条回答
写回答
取消 提交回答
  • OSC小助手

    一般大模型是基于预训练模型进行参数微调，而且也不是全量模型的更新，例如只更新某些层。不过即便如此参数量也会很大，需要使用GPU来计算。目前基于PyTorch开发的算法是支持GPU的。

    2024-05-11 16:25:14 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
  • 算精通
    北京阿里云ACE会长

    通过CPU进行计算时，对于大型模型，性能可能会受到限制。这是因为CPU通常设计用于处理广泛的任务，而不是专门为大规模并行计算优化的。大型模型需要大量的并行计算能力，而CPU可能无法提供足够的计算速度。
    联邦学习中的模型训练可能会比较慢，特别是当涉及大量数据或复杂模型时，因为每个设备上的计算能力可能有限，并且通信开销也可能增加。未来的联邦学习系统还可能包括更高效的通信协议、更先进的模型压缩技术，以及更优化的算法来减少通信开销和提高计算效率。

    2024-05-11 08:30:37 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
问答分类：
异构计算 GPU云服务器
问答标签：
GPU云服务器模型 GPU云服务器计算 GPU云服务器性能 性能GPU云服务器 CPU计算
问答地址：
开发者社区 > 云计算 > 问答
相关问答
Qwen2.5-14B-Instruct-GPTQ-Int4量化模型是只能在GPU上运行吗？
85
0
0
阿里云服务器性能怎么样？采用哪款CPU？
32
2
0
阿里云服务器e实例经济型采用什么CPU？性能如何？
134
3
0
求助，人工智能平台 PAI-DSW运行模型时，找不到 GPU
122
0
0
在云上部署ChatGLM2-6B大模型（GPU版）这个实验，最后无法访问网址
147
2
0
modelscope-funasr怎么设置使得模型可以用CUDA0以外的其他gpu？
33773
1
0
modelscope-funasr目前只能用给的两个paraformer模型吗？
84
0
0
modelscope-funasr最新的gpu高吞吐服务用的模型和原来cpu的参数量是一样的么？
98
0
0
modelscope-funasr最新的gpu高吞吐服务用的模型和原来cpu的是一样的么？
79
0
0
ModelScope中示例页面的GPU版本和CPU版本。这两个不同版本会影响推理效率吗？
111
1
0