AI 助理
备案控制台
开发者社区 ModelScope模型即服务 正文

ModelScope中，这个命令行中 如何设置torch.float16？

ModelScope中，CUDA_VISIBLE_DEVICES=0 swift deploy \
--ckpt_dir /mnt/workspace/output/qwen1half-0_5b-chat/v1-20240507-092936/checkpoint-92-merged-awq-int4 \
--infer_backend vllm --max_model_len 4096
这个命令行中 如何设置torch.float16？

展开
收起
小小爱吃香菜 2024-05-15 16:57:22 77 分享 版权
1 条回答
写回答
取消 提交回答
  • 为了利利

    dtype fp16 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2024-05-15 22:13:11
    赞同 1 展开评论
相关问答
modelscope-funasr有没有配置项可以设置cpu大小？
188
13
0
modelscope-funasr20ms的情况下vad参数是如何设置的？
78
0
0
modelscope-funasr设置这个单位长度是什么参数？
97
1
0
图中 ModelScope这样设置的怎么解决？
44
0
0
modelscope设置数据集为什么就直接报错了呢？
67
1
0
modelscope与swift的缓存或者说输出目录能不能设置在其他盘？
69
1
0
ModelScope中，图中设置没有生效，还是放大了四倍，是得改源码吗？
34
1
0
modelscope-funasr命令行模式运行FunClip时，遇到报错怎么解决？
85
1
0
modelscope-funasr怎么设置使用指定的显卡计算吗？
92
1
0
ModelScope数据集名称后面设置为400和1600有什么区别吗？
51
0
0

ModelScope模型即服务

ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352

我要提问

相关文章

  • DeepSeek开源Janus-Pro多模态理解生成模型，魔搭社区推理、微调最佳实践
  • Kanna 与 Swift：结合使用提升网络请求效率
  • MiniMax开源超长文本处理神器，魔搭社区助力开发者推理部署
  • 如何在苹果内购开发中获取App Store Connect API密钥-共享密钥理解内购安全-优雅草卓伊凡
  • 苹果app上架-ios上架苹果商店app store 之苹果支付In - App Purchase内购配置-优雅草卓伊凡

    • 热门讨论

    热门文章

  • ModelScope中，模型下载默认路径在哪个路径？
  • ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？
  • 我希望通过damo-YOLO训练1500*1500的图片
  • lmstudio拉起qwq-32b-q3_k_m.gguf模型报错？
  • 无法导入 modelscope，已经pip install了
  • 关于 Windows平台上 ttsfrd 库的问题。
  • 关于wan2.1显存占用的问题
  • 在魔塔社区-模型服务 里面一键部署的deepseek模型怎么使用？
  • llama factory微调报错CUDA未被检测！
  • modelscope上跑报错，提示要pip install ttsfrd，搞不定
    • 展开全部
  • 高效部署通义万相Wan2.1：ComfyUI文生/图生视频实战，工作流直取！
  • Heygem：开源数字人克隆神器！1秒视频生成4K超高清AI形象，1080Ti显卡也能轻松跑
  • vanna+qwen实现私有模型的SQL转换
  • CosyVoice 2.0：阿里开源升级版语音生成大模型，支持多语言和跨语言语音合成，提升发音和音色等的准确性
  • WeaveFox：蚂蚁集团推出 AI 前端智能研发平台，能够根据设计图直接生成源代码，支持多种客户端和技术栈
  • ChatMCP：基于 MCP 协议开发的 AI 聊天客户端，支持多语言和自动化安装 MCP 服务器
  • Browser Use：40.7K Star！一句话让AI完全接管浏览器！自动规划完成任务，多标签页同时管理
  • Trae 接入 Claude 3.7：AI 编程工具界的“卷王”，完全免费使用！
  • Botgroup.chat：超有趣的开源 AI 聊天室！多个 AI 在线互怼，一键搭建你的专属 AI 社群
  • 本地部署DeepSeek模型
    • 展开全部
    还有其他疑问?
    咨询AI助理