开发者社区 问答 正文

大模型应用推理要至少80GB 显存,有什么推荐的服务器?

大模型应用推理要至少80GB 显存,有什么推荐的服务器?

展开
收起
河水流流 2024-08-11 09:41:35 163 发布于浙江 分享
分享
版权
举报
1 条回答
写回答
取消 提交回答
  • 推荐选用阿里云的GPU云服务器
    阿里云提供多种GPU实例规格,不仅能满足高显存需求,还具备强大的训练和推理能力。
    具体而言,您可以选择配备最新GPU的实例,这些GPU支持大显存容量,能够有效应对大模型推理所需的至少80GB显存,同时通过全系列精度加速实现高效运算。
    此外,阿里云的GPU云服务器支持灵活的CPU与GPU资源配比,确保您能根据实际需求配置最佳资源组合,仅为您所需资源付费,有效控制成本。
    参考链接:https://help.aliyun.com/zh/ecs/user-guide/gpu-accelerated-compute-optimized-and-vgpu-accelerated-instance-families-1

    2024-08-11 11:13:27 发布于浙江 举报
    赞同 5 评论

    评论

    全部评论 (0)

    登录后可评论
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等