备案控制台

开发者社区

开发者社区 > ModelScope模型即服务 > 正文

modelscope用swift微调加载微调后的模型，设置哪些参数能增加GPU、CPU的效率？

modelscope用swift微调加载微调后的模型，设置哪些参数能增加GPU、CPU的效率？

展开

收起

Lucidly 2024-04-02 22:16:43 16 0

1 条回答

写回答

取消提交回答

为了利利

"感觉像是您的统计时间把get_model_tokenizer耗时也包含了，您换下面这种推理看看。
用vllm的话，要merge权重。此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”"

2024-04-02 22:49:49

赞同展开评论打赏

相关问答

在modelscope的云平台上微调chinese-clip后得到他的ckpt要如何加载

2

0

0

Modelscope中，seqGPT微调模型如何在python环境加载使用?

7

1

0

有arm架构的ModelScope cpu镜像吗？

11

1

0

modelscope文章中提到的微调后的模型，可以分享出来吗？

8

0

0

modelscope怎么限制cpu的使用量？

7

0

0

modelscope-funasr这个recipe跑出来的模型在cpu推理的rtf是多少呀？

12

1

0

请问modelscope微调好的模型怎么用vllm 部署？

35

1

0

modelscope微调后模型量化的时候， swift是源码部署的报错怎么处理？

17

1

0

modelscope模型管理里没有办法选微调模型，是否正常情况下都是无法选择的？

9

0

0

使用脚本，baichuan2-7b-chag训练或者modelscope微调后参数会增加吗？

10

1

0

ModelScope模型即服务

ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！

我要提问

热门讨论

热门文章

ModelScope中，模型下载默认路径在哪个路径？

com/action/joingroup?code=v1是什么意思

在ModelScope中，想了解一下Qwen-14B微调用的训练数据该如何处理？

ModelScope的Qwen1.5-14B-Chat需要多少大显存？

请问ModelScope中，怎么修改本地运行，模型自动下载到 c 盘下？

ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？

ModelScope中，请问Qwen-14B-Chat-Int4运行最少需要多少内存？

我希望通过damo-YOLO训练1500*1500的图片

如何训练属于自己的“通义千问”呢？

从魔塔领取gpu免费资源无法连接huggingface.co

展开全部

手把手教你捏一个自己的Agent

阿里云通义千问向全社会开放！

Llama 3开源！魔搭社区手把手带你推理，部署，微调和评估

社区供稿 | FunASR 语音大模型在 Arm Neoverse 平台上的优化实践

社区供稿 | Llama3-8B中文版！OpenBuddy发布新一代开源中文跨语言模型

通义千问72B、1.8B、Audio模型开源！魔搭社区最佳实践来啦！

Llama3 中文通用Agent微调模型来啦！（附手把手微调实战教程）

Qwen1.5开源！魔搭最佳实践来啦！

Qwen1.5-MoE开源！魔搭社区推理训练最佳实践教程来啦！

ChatGPT中文版杀疯了,已登录AI模型市场

展开全部

相关课程

更多

个性化语音合成模型微调

40

1

去学习

ModelScope社区Library技术架构介绍

174

1

去学习

相关电子书

更多

阿里巴巴高性能GPU架构与应用 立即下载

GPU在超大规模深度学习中的发展和应用 立即下载

RDS SQL Server CPU高使用率性能优化 立即下载

相关实验场景

更多