搭建一个图片变视频的AI(二)：开始搭建
前一章介绍了模型相关，现在开始搭建。一：下载，解压ComfyUI
https://github.com/comfyanonymous/ComfyUI
上面链接中也有安装过程，可以参考。
也可以直接进入文件夹，直接运行，差什么，安装什么（我比较喜欢这样，因为我之前pip可能已经安装过了某些包）。最好借助AI，报错直接复制给AI,让它给出建议。
python .\main.py<br><br>根据报错，差什么，安装什么 pip install ...
特别注意：我一直遇到的问题，安装使用GPU的包时：pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 。安装的版本是2.5.1，因为自动适配我的CUDA Version: 12.9版本。
但是在安装pip install xformers 时，会卸载 torch，重新安装 torch 时，安装2.4.0。导致版本冲突，最终解决方案：
先：
pip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.3.0 --index-url https://download.pytorch.org/whl/cu121
然后：
pip install xformers==0.0.27.post2<br><br>结果完美适配我的CUDA。<br>不使用 xformers 也能运行，内存占用也非常大。建议尽可能使用 xformers
检查一下：
import torch
print("CUDA 可用:", torch.cuda.is_available())
print("当前设备:", torch.cuda.get_device_name(0))
print("CUDA 版本:", torch.version.cuda)
print("cuDNN 版本:", torch.backends.cudnn.version())运行：python .\gpu.py<br>
CUDA 可用: True
当前设备: NVIDIA GeForce GTX 1080
CUDA 版本: 12.1
cuDNN 版本: 90100
二：安装ComfyUI Manager
https://github.com/Comfy-Org/ComfyUI-Manager
下载解压到文件夹 ComfyUI/custom_nodes/ 中。然后重新启动ComfyUI：python main.py。
如果报错，差什么，安装什么。
三：安装节点
1：下载ComfyUI-DynamiCrafterWrapper
https://github.com/kijai/ComfyUI-DynamiCrafterWrapper
下载解压到文件夹ComfyUI/custom_nodes/ 中。
2：模型下载：https://huggingface.co/Kijai/DynamiCrafter_pruned/tree/main
模型文件下载到文件夹\ComfyUI\models\checkpoints\ 中:
3： 然后重新启动ComfyUI：python main.py。如果报错，差什么，安装什么。
四：启动服务ComfyUI：python main.py
浏览器访问链接：
1：运行模型。这里可以自己研究添加节点，也可以直接使用DynamiCrafterWrapper提供的节点json（优先使用json）。json位置在 \ComfyUI\custom_nodes\ComfyUI-DynamiCrafterWrapper\examples，我使用的是dynamicrafter_i2v_example_01.json。
将这个json文件拖拽到浏览器中，这个时候ComfyUI Manager会自动检查是否需要安装其他插件，直接点击安装就行。
视频生成完成后，在文件夹 \ComfyUI\output\ 中。
2：注意选择的模型，越高档的模型占用CPU越大，选择的视频时间越长，占用GPU越大。
我的电脑GPU是专用8G，共享16G（可以不考虑，主要是专用GPU大小），这个配置一张图片生成视频（图片:914k，尺寸:576*1204，生成的视频3M，4s，8帧/s，尺寸576*1024），模型选择dynamicrafter_512。
一运行，GPU就100%，结果跑了一晚上才成功。
如果GPU小，可以选择更小的模型，DynamiCrafter256。图片也可以选小点的，生成的图片数调整小点。
三：总结
这种视频大模型要在本地运行，那本地机器必须是很强大才行，不然根本运行不动，那更不用说使用了。
后面再研究本地搭建图片+音频对嘴生成视频的AI.
来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！
页:
[1]