开发者社区 > ModelScope模型即服务 > 正文

通义千问本地部署成功,但flash-attn 1.0.8 安装不成功。

flash-attn 1.0.8 安装不成功,报错:
Error limit reached.
100 errors detected in the compilation of "ln_bwd_1024.cu".
Compilation terminated.
error: command 'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\bin\nvcc.exe' failed with exit code 4294967295。

尝试安装flash-attn==1.0.9成功,但是提示import flash_attn rms_norm fail。

只支持flash-attn 1.0.8吗?还是CUDA版本问题?

使用python版本3.9.17。

展开
收起
4n2plqjmn6k74 2023-08-08 12:09:53 1391 0
3 条回答
写回答
取消 提交回答
  • 楼主,请问你的问题解决了吗?我也遇到同样的问题

    2023-08-16 08:58:44
    赞同 展开评论 打赏
  • 不用安装也行,我装的是pytorch2.0.1版本的,看介绍好像集成了flash-atten

    2023-08-15 14:27:30
    赞同 展开评论 打赏
  • 问也是白问,阿里云没人回复你

    2023-08-11 10:13:12
    赞同 展开评论 打赏

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

热门讨论

热门文章

相关电子书

更多
达摩院通义视觉生成大模型 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载