在ModelScope中，微调后 怎么使用微调的模型
用这个脚本 sh finetune/finetune_qlora_single_gpu.sh 微调后 怎么使用微调的模型
展开
收起
2
条回答
写回答
写回答
-
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。在 ModelScope 中使用微调后的模型，您可以按照以下步骤进行：
执行微调脚本：首先，执行
sh finetune/finetune_qlora_single_gpu.sh命令来运行微调脚本。该脚本通常包含了微调的具体过程，例如加载预训练模型、设置微调参数、训练模型等。查找微调后的模型：在微调过程完成后，您可以在指定的输出文件夹或路径中查找微调后的模型权重文件（通常是以
.pt或.pth结尾的文件）。这些文件包含了经过微调的模型的参数。加载微调后的模型：使用您偏好的深度学习框架（例如 PyTorch）加载微调后的模型。您可以使用相应库提供的函数或代码来加载模型权重文件，并创建模型对象。
进行推理或使用微调后的模型：一旦微调后的模型被加载，您可以使用它来进行推理或其他任务。根据您的具体需求，可能需要编写自定义代码或使用模型的预测方法来输入数据并获取模型的输出结果。
2023-11-30 14:39:24赞同 展开评论 打赏 -
swift也提供了Qwen-7B-Chat-Int4的训练和推理https://github.com/modelscope/swift/blob/main/examples/pytorch/llm/README_CN.md 。此回答整理自钉钉群：魔搭ModelScope开发者联盟群 ①
2023-11-29 22:55:40赞同 展开评论 打赏
相关问答
热门讨论
热门文章
com/action/joingroup?code=v1是什么意思
7940
请问在 ModelScope 上的模型断网使用报这个错误啥原因了?
2581
ModelScope中，模型下载默认路径在哪个路径？
10489
我希望通过damo-YOLO训练1500*1500的图片
9101
ModelScope下载速度慢怎么解决？
1224
ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？
2247
服务器上onnxruntime-gpu 调用结束，如何释放显存
5601
如何下载modelscope模型？
1495
ModelScope中，请问Qwen-14B-Chat-Int4运行最少需要多少内存？
2015
ModelScope有没有人知道windows安装ttsfrd的方法或者ttsfrd源码？
1057
展开全部
Cobalt：开源的流媒体下载工具，支持解析和下载全平台的视频、音频和图片，支持多种视频质量和格式，自动提取视频字幕
111
EchoMimicV2：阿里推出的开源数字人项目，能生成完整数字人半身动画
376
Infinity：字节跳动开源高分辨率图像生成模型，生成 1024x1024 的图像仅需 0.8 秒
51
极致的显存管理！6G显存运行混元Video模型
50
StoryWeaver：故事可视化生成模型，快速生成故事绘本，支持处理单角色和多角色的故事可视化任务
45
联通元景：中国联通开源中文原生的文生图模型，优化对中文长文本和成语语义等理解
44
YOLOv10实战：红外小目标实战 | 多头检测器提升小目标检测精度
1119
InvSR：开源图像超分辨率生成模型，提升分辨率，修复老旧照片为超清图像
97
DynamicControl：腾讯推出动态地条件控制图像生成框架，结合了多模态大语言模型的推理能力和文生图模型的生成能力
37
VideoVAE+：AI 生成视频高保真重建和跨模态重建工具，基于文本信息指导视频重建，提升视频细节质量
31
展开全部
