开发者社区 > ModelScope模型即服务 > 正文

ModelScope和3.x版本不同,现在发送按钮可以点了,但是点了以后报错API Error ?

"把gradio版本改为4.x,然后export GRADIO_ROOT_PATH=/dsw-xxx/proxy/7860/ 也是不行的现在的报错是:ModelScope和3.x版本不同,现在发送按钮可以点了,但是点了以后报错API Error ,怎么解决? 57a217715a8c1318b2d30878b0e2c596.png
问题完整复述:infer_args = InferArguments( ckpt_dir=best_model_checkpoint, load_dataset_config=True) # merge_lora(infer_args, device_map='cpu') result = infer_main(infer_args) torch.cuda.empty_cache() app_ui_main(infer_args)1. gradio UI看起来没有完全正确渲染2. 点击发送按钮后报错NO API Found版本相关ms-swift 2.2.0gradio 4.29.0gradio_client 0.16.1"

展开
收起
小小爱吃香菜 2024-07-17 08:19:05 71 0
1 条回答
写回答
取消 提交回答
  • "您用pip install mmcv_full=='1.7.0+torch2.1.0cu118' -f 参考以下链接

     https://modelscope.oss-
    cn-
    beijing.aliyuncs.com/release
    s/repo.html
    

    这边测试gradio3.50.2,CUDA_VISIBLE_DEVICES=0 swift app-ui --model_type qwen2-7b-instruct ceeb037fdb0217ee03e1838d655b198b.png
    xxx改成dsw实例id 参考以下链接

     https://xxx-proxy-7860.dsw-gateway-cn-
    hangzhou.data.aliyun.com/
    

    此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”"

    2024-07-17 13:02:49
    赞同 6 展开评论 打赏

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

相关电子书

更多
Spring Boot2.0实战Redis分布式缓存 立即下载
CUDA MATH API 立即下载
API PLAYBOOK 立即下载