flash-attn在消费级显卡上安装环境出现卡住系统的问题/无法安装

问题描述

使用pip install flash-attn --no-build-isolation指令安装flash-attention环境的时候出现编译耗费时间长并且导致LINUX系统卡住的情况. 同时出现ninja编译出现报错, 部分subprocess出现ERROR报错中断编译的情况.

磁盘IO显示消耗不大, 但是使用起来很卡

原因

这和显卡型号还有flash-attn版本很有关系.

现在的flash-attn版本是2.+, 不支持消费级显卡

官方文档:

1. Ampere, Ada, or Hopper GPUs (e.g., A100, RTX 3090, RTX 4090, H100).
2. Support for Turing GPUs (T4, RTX 2080) is coming soon, please use FlashAttention 1.x for Turing GPUs for now.

复制代码

如果是RTX3090或者RTX4090等消费级显卡, 那么编译的时候会不支持导致卡死.
需要使用老版本1.+
解决问题

根据 https://pypi.org/project/flash-attn/#history 中的历史的release版本, 我选择了最新的1.+版本1.0.9.
使用pip安装环境:

1. pip install flash-attn==1.0.9 --no-build-isolation

复制代码

成功解决问题, 安装环境

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！