DeepSeek 多模态模型 Janus-Pro 本地部署
一、概述Janus-Pro是DeepSeek最新开源的多模态模型，是一种新颖的自回归框架，统一了多模态理解和生成。通过将视觉编码解耦为独立的路径，同时仍然使用单一的、统一的变压器架构进行处理，该框架解决了先前方法的局限性。这种解耦不仅缓解了视觉编码器在理解和生成中的角色冲突，还增强了框架的灵活性。Janus-Pro 超过了以前的统一模型，并且匹配或超过了特定任务模型的性能。
代码链接：https://github.com/deepseek-ai/Janus
模型链接：https://modelscope.cn/collections/Janus-Pro-0f5e48f6b96047
体验页面：https://modelscope.cn/studios/AI-ModelScope/Janus-Pro-7B
二、虚拟环境
环境说明
本文使用WSL2运行的ubuntu系统来进行演示，参考链接：https://www.cnblogs.com/xiao987334176/p/18864140
创建虚拟环境
conda create --name vll-Janus-Pro-7B python=3.12.7
激活虚拟环境，执行命令：
conda activate vll-Janus-Pro-7B
查看CUDA版本，执行命令：
# nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2025 NVIDIA Corporation
Built on Wed_Jan_15_19:20:09_PST_2025
Cuda compilation tools, release 12.8, V12.8.61
Build cuda_12.8.r12.8/compiler.35404655_0三、安装Janus-Pro
硬件要求
显存至少8G以上，推荐16G
内存，至少16G以上，推荐32G
CPU，最低4核，推荐8核
硬盘，最好50G，推荐500G
以上条件，我已经满足了
显卡，RTX 5080，显存16G
内存，64G，DDR5
cpu，24核32线程
硬盘，2TB固态硬盘
安装
创建项目目录
mkdir vllm
cd vllm
克隆代码
git clone https://github.com/deepseek-ai/Janus
安装依赖包，注意：这里要手动安装pytorch，指定版本。
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128安装其他依赖组件
pip3 install transformers attrdict einops timm
下载模型
可以用modelscope下载，安装modelscope，命令如下：
pip install modelscope
modelscope download --model deepseek-ai/Janus-Pro-7B效果如下：
# modelscope download --model deepseek-ai/Janus-Pro-7BDownloading Model from https://www.modelscope.cn to directory: /root/.cache/modelscope/hub/models/deepseek-ai/Janus-Pro-7BDownloading : 100%|███████████████████████████████████████████████████| 1.42k/1.42k [00:00
页:
[1]