原生态方式部署及运行deepseek-7b-chat

前言<br><br>先投放一波引流，公众号太久没更新了，以后保持更新，至少一周一更新。注意这个是旧版本，并不是流行的R1版本。   
最近网上很多私有化部署deepseek的文章，但都是使用工具，对想理解怎么原生态部署、运行的朋友不是很友好，现在开始解析下怎么使用命令行部署deepseek，后续文章会持续更新。   
对于私有化部署deepseek，有几个步骤：安装CUDA、安装python相关包、下载模型、运行模型。其中，如果不能安装CUDA就不要搞下去了，基本运行不起来。
 
检测及安装CUDA               <br><br>先看看本地有无nvidia的显卡，通过任务管理器查看，本机是有的了

 
 
    然后确定驱动是否安装或者版本是否够，可以使用 nvidia-smi 命令来查看是否安装了CUDA，如果安装了最好更新到最新版本。需要注意的是驱动与cuda的版本对应得上才能安装，下面讲解下详细步骤。
 <br><br>首先查看本地是否安装及驱动版本

 <br><br>然后到CUDA官网上查看驱动的版本，来下载CUDA的版本
CUDA与驱动版本关系：https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html
下载对应的CUDA版本：https://developer.nvidia.com/cuda-toolkit-archive

<br><br> 
下载安装即可，如本地正在安装CUDA 11.8版本

 
 <br><br>安装及部署deepseek-7b-chat  
上面已经安装好cuda版本了，我们接下来的步骤是安装python、python相关依赖包、下载大模型、运行helloworld。
首先python版本需要3.8以上，python安装网上教程多这里省略。检查python脚本，本地安装时3.12.3接下来安装python所需依赖包

 

1. <br><br>

复制代码

安装python依赖包

1. # 升级pip
2. python -m pip install --upgrade pip
3. # 更换 pypi 源加速库的安装
4. pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
6. pip install fastapi==0.104.1
7. pip install uvicorn==0.24.0.post1
8. pip install requests==2.25.1
9. pip install modelscope==1.9.5
10. pip install transformers==4.35.2
11. pip install streamlit==1.24.0
12. pip install sentencepiece==0.2.0 #如果失败执行 pip install sentencepiece==0.2.0 --only-binary :all:
13. pip install accelerate==0.24.1
14. pip install transformers_stream_generator==0.0.4

复制代码

 
 
一般没什么问题，主要是设置好加速源。成功后，下载大模型。
 
下载大模型                                                           
 
我们使用python的modelscope来下载大模型，文件比较大，要耐心等待
首先我们写下面的python代码，可用文本文件保存名字为：download.py
代码描述了通过modelscope工具包来下载大模型。

1. import torch
2. from modelscope import snapshot_download, AutoModel, AutoTokenizer
3. from modelscope import GenerationConfig
4. model_dir = snapshot_download('deepseek-ai/deepseek-llm-7b-chat', cache_dir='D:/python/deepseek-7b-chat', revision='master')

复制代码

2. 这里讲解下背景，modelscope中文魔塔，里面有各种大模型、数据集下载，大家可以去看看，这个包也是魔塔写的，下载也是在魔塔网站上通过代码下载。<br><br>如果代码下载慢，可以在魔塔上搜索大模型来在浏览器上下载。

复制代码

   代码保存后，执行python download.py命令，进行下载，有下载进度

 <br><br>以上进度可能一直卡住，可以在临时目录里面及时查看文件大小：

 
 <br><br>下载完成后的文件

 
 
 
运行大模型                                                          <br><br>下载完成后，无需安装，直接运行
首先，运行大模型需要知道大模型通过什么来提供对外服务的。大模型对外都是通过python来提供，如果要深入可以了解python关于AI相关的开发包，python的确是这方面最完整的语言。
那么，了解后，我们来写python代码来接入大模型，如下

1. from fastapi import FastAPI, Request
2. from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig
3. import uvicorn
4. import json
5. import datetime
6. import torch
8. # 设置设备参数
9. DEVICE = "cuda"  # 使用CUDA
10. DEVICE_ID = "0"  # CUDA设备ID，如果未设置则为空
11. CUDA_DEVICE = f"{DEVICE}:{DEVICE_ID}" if DEVICE_ID else DEVICE  # 组合CUDA设备信息
13. # 清理GPU内存函数
14. def torch_gc():
15.     if torch.cuda.is_available():  # 检查是否可用CUDA
16.         with torch.cuda.device(CUDA_DEVICE):  # 指定CUDA设备
17.             torch.cuda.empty_cache()  # 清空CUDA缓存
18.             torch.cuda.ipc_collect()  # 收集CUDA内存碎片
20. # 创建FastAPI应用
21. app = FastAPI()
23. # 处理POST请求的端点
24. @app.post("/")
25. async def create_item(request: Request):
26.     global model, tokenizer  # 声明全局变量以便在函数内部使用模型和分词器
27.     json_post_raw = await request.json()  # 获取POST请求的JSON数据
28.     json_post = json.dumps(json_post_raw)  # 将JSON数据转换为字符串
29.     json_post_list = json.loads(json_post)  # 将字符串转换为Python对象
30.     prompt = json_post_list.get('prompt')  # 获取请求中的提示
31.     max_length = json_post_list.get('max_length', 1024)  # 设置默认最大长度
32.    
33.     # 构建 messages      
34.     messages = [
35.         {"role": "user", "content": prompt}
36.     ]
37.     # 构建输入     
38.     input_tensor = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
39.     # 通过模型获得输出
40.     outputs = model.generate(input_tensor.to(model.device), max_new_tokens=max_length)
41.     result = tokenizer.decode(outputs[0][input_tensor.shape[1]:], skip_special_tokens=True)
42.    
43.     now = datetime.datetime.now()  # 获取当前时间
44.     time = now.strftime("%Y-%m-%d %H:%M:%S")  # 格式化时间为字符串
45.     # 构建响应JSON
46.     answer = {
47.         "response": result,
48.         "status": 200,
49.         "time": time
50.     }
51.     # 构建日志信息
52.     log = "[" + time + "] " + '", prompt:"' + prompt + '", response:"' + repr(result) + '"'
53.     print(log)  # 打印日志
54.     torch_gc()  # 执行GPU内存清理
55.     return answer  # 返回响应
57. # 主函数入口
58. if __name__ == '__main__':
59.     mode_name_or_path = 'D:/python/deepseek-7b-chat/deepseek-ai/deepseek-llm-7b-chat'
60.     # 加载预训练的分词器和模型
61.     tokenizer = AutoTokenizer.from_pretrained(mode_name_or_path, trust_remote_code=True)
62.     model = AutoModelForCausalLM.from_pretrained(mode_name_or_path, trust_remote_code=True,torch_dtype=torch.bfloat16,  device_map="auto")
63.     model.generation_config = GenerationConfig.from_pretrained(mode_name_or_path)
64.     model.generation_config.pad_token_id = model.generation_config.eos_token_id
65.     model.generation_config.max_length = 1024  # 设置生成的最大长度
66.     model.eval()  # 设置模型为评估模式
67.     # 启动FastAPI应用
68.     # 用6006端口可以将autodl的端口映射到本地，从而在本地使用api
69.     uvicorn.run(app, host='0.0.0.0', port=9909, workers=1)  # 在指定端口和主机上启动应用

复制代码

1. 代码不详细解释了，里面有详细的注释。代码实现了从外部命令行，通过读取输入文字来调用大模型API的方式，最后通过大模型输出结果。此段代码只实现了问答和部分上下文的功能，并无训练等。<br><br>

复制代码

启动api服务，运行py代码，python api.py

 
可以看到监听本地9909端口
使用apipost工具，请求成功

 
控制台数据也有日志打印

 
 <br><br><br><br>备注：以上python代码，为网上参考及AI生成，已经通过本人验证，放心使用。
 
 
最后，请关注本人公众号，持续更新相关内容
 

 <br><br>来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！