开发者社区 > ModelScope模型即服务 > 正文

modelscope微调好的Qwen1.5_7B利用社区免费GPU能推理嘛?

modelscope微调好的Qwen1.5_7B利用社区免费GPU能推理嘛?

展开
收起
小小爱吃香菜 2024-03-17 21:22:44 73 0
2 条回答
写回答
取消 提交回答
  • 可以用。此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2024-03-18 20:32:02
    赞同 展开评论 打赏
  • 将军百战死,壮士十年归!

    阿里云ModelScope(魔搭)是一个模型开放平台,对于Qwen1.5_7B这类大型预训练模型,推理时可能需要较高的计算资源,包括GPU显存等。关于社区免费GPU能否用于微调好的Qwen1.5_7B模型推理,这取决于:

    1. 社区免费GPU资源限制:阿里云或其他社区提供的免费GPU资源通常会有限制,比如使用时长、显存大小和计算能力等,需查看具体的资源政策以确认是否满足大型模型推理的硬件需求。

    2. Qwen1.5_7B模型对资源的需求:大型语言模型在推理过程中所需的显存和计算力都较高,需要查询该模型的具体配置要求,并对比您所获得的免费GPU资源来判断是否足够支持。

    3. 平台服务支持:如果ModelScope提供了基于云端的模型推理API或服务,并且允许用户利用免费GPU资源进行推理操作,那么理论上是有可能实现的,但具体实施方式和服务条款需要参考阿里云ModelScope官方说明和文档。

    总之,要确定能否使用社区免费GPU资源进行Qwen1.5_7B模型的推理,您需要详细了解并比较资源限制和服务支持情况。建议直接查阅阿里云ModelScope官网或联系其技术支持获取准确信息。

    2024-03-18 16:20:29
    赞同 展开评论 打赏

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

相关电子书

更多
DeepStream: GPU加速海量视频数据智能处理 立即下载
阿里巴巴高性能GPU架构与应用 立即下载
GPU在超大规模深度学习中的发展和应用 立即下载