在ModelScope中，微调后 怎么使用微调的模型
用这个脚本 sh finetune/finetune_qlora_single_gpu.sh 微调后 怎么使用微调的模型
展开
收起
2
条回答
写回答
写回答
-
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。在 ModelScope 中使用微调后的模型，您可以按照以下步骤进行：
执行微调脚本：首先，执行
sh finetune/finetune_qlora_single_gpu.sh命令来运行微调脚本。该脚本通常包含了微调的具体过程，例如加载预训练模型、设置微调参数、训练模型等。查找微调后的模型：在微调过程完成后，您可以在指定的输出文件夹或路径中查找微调后的模型权重文件（通常是以
.pt或.pth结尾的文件）。这些文件包含了经过微调的模型的参数。加载微调后的模型：使用您偏好的深度学习框架（例如 PyTorch）加载微调后的模型。您可以使用相应库提供的函数或代码来加载模型权重文件，并创建模型对象。
进行推理或使用微调后的模型：一旦微调后的模型被加载，您可以使用它来进行推理或其他任务。根据您的具体需求，可能需要编写自定义代码或使用模型的预测方法来输入数据并获取模型的输出结果。
2023-11-30 14:39:24赞同 展开评论 打赏 -
swift也提供了Qwen-7B-Chat-Int4的训练和推理https://github.com/modelscope/swift/blob/main/examples/pytorch/llm/README_CN.md 。此回答整理自钉钉群：魔搭ModelScope开发者联盟群 ①
2023-11-29 22:55:40赞同 展开评论 打赏
相关问答
热门讨论
热门文章
ModelScope中，模型下载默认路径在哪个路径？
8982
com/action/joingroup?code=v1是什么意思
6696
服务器上onnxruntime-gpu 调用结束，如何释放显存
4955
我希望通过damo-YOLO训练1500*1500的图片
8388
ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？
1793
ModelScope有没有人知道windows安装ttsfrd的方法或者ttsfrd源码？
709
请问modelscope中，有一个依赖，kantts，要怎么安装？
1872
请问在 ModelScope 上的模型断网使用报这个错误啥原因了?
2018
在ModelScope中，请问模型下载到本地的具体方法？
1434
streamlit 生成链接无法访问，gradio只生成内网，无法生成公网
2528
展开全部
YOLOv10实战：红外小目标实战 | 多头检测器提升小目标检测精度
792
YOLOv10实战：SPPF原创自研 | SPPF_attention，重新设计加入注意力机制 | NEU-DET为案列进行展开
520
图像分类基础与实战
642
关键点检测从入门到进阶
1205
一种基于YOLOv8改进的高精度红外小目标检测算法 （原创自研）
360
关于flux.1 loras的8个问题
291
ModelScope模型使用与EAS部署调用
208
modelscope调用的模型如何指定在特定gpu上运行？排除使用CUDA_VISIBLE_DEVICES环境变量
845
Stable Diffusion 介绍与入门
1549
达摩院OpenVI-视频目标跟踪ICASSP 2023 Oral 渐进式上下文Transformer跟踪器 ProContEXT
703
展开全部
