AI 助理
备案控制台登录注册
开发者社区 ModelScope模型即服务 正文

modelscope用swift微调加载微调后的模型，设置哪些参数能增加GPU、CPU的效率？

modelscope用swift微调加载微调后的模型，设置哪些参数能增加GPU、CPU的效率？

展开
收起
小小爱吃香菜 2024-04-02 22:16:43 86 发布于吉林 分享
分享
 版权
举报
1 条回答
写回答
取消 提交回答
  • 为了利利

    "感觉像是您的统计时间把get_model_tokenizer耗时也包含了，您换下面这种推理看看。 ad380331e0b8e640c86653f57ed8defc.png
    用vllm的话，要merge权重。 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”"

    2024-04-02 22:49:49 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
相关问答
在modelscope上下载qwen2的0.5版本，左边这个正常加载，右边这个报错，为什么？
157
1
0
在modelscope-funasr中使用加载模型比如下慢非常多的情况，如何解决？
87
1
0
modelscope直接加载是错误的吗？
38
1
0
请问ModelScope的host是指可以加载其他数据仓库的数据集吗？
33
1
0
创空间用gradio进行的交互，像这些结果展示可以直接加载ModelScope网页？
46
1
0
ModelScope微调后的模型，如何合并权重，以及合并后的权重，如何加载？
75
0
0
用ModelScope中官方的文本相似性的structbert模型的例子时，加载数据集报编码错误?
39
0
0
modelscope-funasr的hotwords最多可以加载多少个？
48
0
0
modelscope-funasr怎么通过automodel()加载uniasr的方言模型？
94
1
0
modelscope-funasr分角色语音识别 为什么改成加载本地模型，还是很慢？
82
1
0

ModelScope模型即服务

ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352

我要提问

相关文章

  • 轻量级AI革命：无需GPU就能运算的DeepSeek-R1-1.5B模型及其低配部署指南
  • 中兴打造开放智算基座，帮助小厂解决算力难题
  • 如何在阿里云上部署满血版DeepSeek
  • AI战略丨全面投入升级 AI 大基建
  • 4G显存部署Flux，2分钟Wan2.1-14B视频生成，DiffSynth-Engine引擎开源！

    • 热门讨论

    热门文章

  • ModelScope中，模型下载默认路径在哪个路径？
  • ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？
  • 我希望通过damo-YOLO训练1500*1500的图片
  • 关于wan2.1显存占用的问题
  • lmstudio拉起qwq-32b-q3_k_m.gguf模型报错？
  • 关于 Windows平台上 ttsfrd 库的问题。
  • 无法导入 modelscope，已经pip install了
  • 在魔塔社区-模型服务 里面一键部署的deepseek模型怎么使用？
  • llama factory微调报错CUDA未被检测！
  • modelscope上跑报错，提示要pip install ttsfrd，搞不定
    • 展开全部
  • Agent TARS：一键让AI托管电脑！字节开源PC端多模态AI助手，无缝集成浏览器与系统操作
  • 中企投资印度新能源“有戏”吗？
  • 用自然语言控制电脑，字节跳动开源 UI-TARS 的桌面版应用！内附详细的安装和配置教程
  • UI-TARS：字节跳动开源专注于多平台 GUI 自动化交互的视觉语言模型
  • 高效部署通义万相Wan2.1：ComfyUI文生/图生视频实战，工作流直取！
  • Heygem：开源数字人克隆神器！1秒视频生成4K超高清AI形象，1080Ti显卡也能轻松跑
  • Manus再遭复刻！开源多智能体协作工具，实时查看每个AI员工的"脑回路"
  • vanna+qwen实现私有模型的SQL转换
  • CosyVoice 2.0：阿里开源升级版语音生成大模型，支持多语言和跨语言语音合成，提升发音和音色等的准确性
  • WeaveFox：蚂蚁集团推出 AI 前端智能研发平台，能够根据设计图直接生成源代码，支持多种客户端和技术栈
    • 展开全部
    还有其他疑问?
    咨询AI助理
    AI助理

    你好，我是AI助理

    可以解答问题、推荐解决方案等