通义千问本地部署成功,但flash-attn 1.0.8 安装不成功。

flash-attn 1.0.8 安装不成功,报错:
Error limit reached.
100 errors detected in the compilation of "ln_bwd_1024.cu".
Compilation terminated.
error: command 'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\bin\nvcc.exe' failed with exit code 4294967295。

尝试安装flash-attn==1.0.9成功,但是提示import flash_attn rms_norm fail。

只支持flash-attn 1.0.8吗?还是CUDA版本问题?

使用python版本3.9.17。

展开
收起
4n2plqjmn6k74 2023-08-08 12:09:53 1471 分享 版权
3 条回答
写回答
取消 提交回答
  • 楼主,请问你的问题解决了吗?我也遇到同样的问题

    2023-08-16 08:58:44
    赞同 展开评论
  • 不用安装也行,我装的是pytorch2.0.1版本的,看介绍好像集成了flash-atten

    2023-08-15 14:27:30
    赞同 展开评论
  • 问也是白问,阿里云没人回复你

    2023-08-11 10:13:12
    赞同 展开评论

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

热门讨论

热门文章

还有其他疑问?
咨询AI助理