多GPU本地布署Wan2.2-T2V-A14B文本转视频模型
一,#本机环境检查执行nvidia-smi,查看右上角。验证显卡驱动已安装最高支持的版本。
nvidia-smi#在调试时,为了实时观察GPU利用率,一般新开一个命令窗口,执行以下命令,一秒刷新一次。
watch -n 1 nvidia-smi执行nvcc -V验证cuda
nvcc -V执行conda --version验证conda版本
conda --version#列出所有已创建的Conda 环境:
conda env list
或
conda info --envs#若存在,先删除已存在环境
conda env remove -n conda_wan2#创建新环境
conda create -n conda_wan2 python=3.10#激活环境
conda activate conda_wan2
二,依赖库安装
根据CUDA版本安装PyTorch:
CUDA 12.1:
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121CUDA 12.2:
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu122 #验证PyTorch是否能正确识别GPU
python3 -c "import torch; print('PyTorch版本:', torch.__version__); print('CUDA可用:', torch.cuda.is_available()); print('CUDA版本:', torch.version.cuda); print('GPU设备:', torch.cuda.get_device_name(0) if torch.cuda.is_available() else 'None'); print('GPU数量:', torch.cuda.device_count());"
#魔搭modelscope库安装
pip3 install modelscope
克隆仓库
git clone https://github.com/Wan-Video/Wan2.2.git
cd Wan2.2安装依赖项
# Ensure torch >= 2.4.0
pip install -r requirements.txt#使用 modelscope-cli 下载模型:
modelscope download Wan-AI/Wan2.2-T2V-A14B --local_dir ./Wan2.2-T2V-A14B
使用 FSDP + DeepSpeed Ulysses 进行多 GPU 推理
我们使用 PyTorch FSDP 和 DeepSpeed Ulysses 来加速推理
torchrun --nproc_per_node=8 generate.py --task t2v-A14B --size 1280*720 --ckpt_dir ./Wan2.2-T2V-A14B --dit_fsdp --t5_fsdp --ulysses_size 8 --prompt "两只身着舒适拳击服和亮色手套的拟人化猫咪,在聚光灯下的舞台上激烈对战"
#大小用480*832,测试小文件更快
torchrun --nproc_per_node=8 generate.py \
--task t2v-A14B \
--size 480*832 \
--ckpt_dir ./Wan2.2-T2V-A14B \
--dit_fsdp \
--t5_fsdp \
--ulysses_size 8 \
--prompt "两猫对战"
#文件找不到错误处理,批量重命名
mv diffusion_pytorch_model-00001-of-00006-bf16.safetensors diffusion_pytorch_model-00001-of-00006.safetensors
mv diffusion_pytorch_model-00002-of-00006-bf16.safetensors diffusion_pytorch_model-00002-of-00006.safetensors
mv diffusion_pytorch_model-00003-of-00006-bf16.safetensors diffusion_pytorch_model-00003-of-00006.safetensors
mv diffusion_pytorch_model-00004-of-00006-bf16.safetensors diffusion_pytorch_model-00004-of-00006.safetensors
mv diffusion_pytorch_model-00005-of-00006-bf16.safetensors diffusion_pytorch_model-00005-of-00006.safetensors
mv diffusion_pytorch_model-00006-of-00006-bf16.safetensors diffusion_pytorch_model-00006-of-00006.safetensors
来源:程序园用户自行投稿发布,如果侵权,请联系站长删除
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
页:
[1]