flash-attn在消费级显卡上安装环境出现卡住系统的问题/无法安装
问题描述使用pip install flash-attn --no-build-isolation指令安装flash-attention环境的时候出现编译耗费时间长并且导致LINUX系统卡住的情况. 同时出现ninja编译出现报错, 部分subprocess出现ERROR报错中断编译的情况.
磁盘IO显示消耗不大, 但是使用起来很卡
原因
这和显卡型号还有flash-attn版本很有关系.
现在的flash-attn版本是2.+, 不支持消费级显卡
官方文档:
Ampere, Ada, or Hopper GPUs (e.g., A100, RTX 3090, RTX 4090, H100).
Support for Turing GPUs (T4, RTX 2080) is coming soon, please use FlashAttention 1.x for Turing GPUs for now.如果是RTX3090或者RTX4090等消费级显卡, 那么编译的时候会不支持导致卡死.
需要使用老版本1.+
解决问题
根据 https://pypi.org/project/flash-attn/#history 中的历史的release版本, 我选择了最新的1.+版本1.0.9.
使用pip安装环境:
pip install flash-attn==1.0.9 --no-build-isolation成功解决问题, 安装环境
来源:程序园用户自行投稿发布,如果侵权,请联系站长删除
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作! 东西不错很实用谢谢分享 感谢分享 东西不错很实用谢谢分享 不错,里面软件多更新就更好了 谢谢分享,辛苦了 感谢,下载保存了 yyds。多谢分享 谢谢分享,试用一下 谢谢分享,试用一下 感谢发布原创作品,程序园因你更精彩 感谢分享,下载保存了,貌似很强大 谢谢楼主提供! 这个有用。 分享、互助 让互联网精神温暖你我 热心回复! 用心讨论,共获提升! 懂技术并乐意极积无私分享的人越来越少。珍惜 分享、互助 让互联网精神温暖你我 分享、互助 让互联网精神温暖你我
页:
[1]
2