尝试按照文档训练时,运行PYTHONPATH=../../.. bash run_sft.sh
一直失败,flash-attention
等相关工具均已安装。
系统环境使用【魔搭平台免费实例】中的GPU环境。
错误原因:FlashAttention backward for head dim > 64 requires A100 or H100 GPUs as the implementation needs a large amount of shared memory.
网上查询相关信息后,可能是内存不足或者gpu不兼容等问题,尝试过按照flash-attention
的github中方法MAX_JOBS=4 pip install .
重新构建,但是均无法成功,错误信息一致。
请问这个问题可以在提供免费的GPU环境中解决吗,或者能否通过命令行手动关闭flash-attention
的使用来先跑通示例呢。
您好,您可以参考以下流程排查问题:
检查您使用的版本是否是最新的。
检查您使用的硬件是否符合要求。
检查您使用的代码是否有错误。
检查您使用的数据是否有问题。
检查您使用的模型是否有问题。
如果您按照上述流程排查后,问题仍然存在,请您提交工单反馈给我们,我们会尽快处理。
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352