银河麒麟内网离线环境部署本地DeepSeek模型

很多使用银河麒麟操作系统的小伙伴想在纯内网的环境下搭建一套本地的DeepSeek大模型，再配合RAG构建属于自己（企业）的本地知识库，那么本篇文档就带领大家学习如何使用银河麒麟操作系统在离线的环境下，搭建DeepSeek大模型！
环境说明

系统介绍是否联网作用Kylin Linux Desktop V10 SP1是下载离线机器所需的服务、模型等Kylin Linux Advanced Server release V10否内网运行DeepSeek大模型步骤总结

• 首先需要有一台可以联网的机器，用来下载所需的资源，例如ollama、LMStudio和模型文件等
  
• 将下载好的ollama、模型文件上传至内网离线的机器中，进行安装并运行
  

开始部署

联网机器下载ollama

相信下载安装ollama的步骤大家已经轻车熟路，另一篇文档也已经详细记录过，并且还记录了外接Web UI客户端的步骤，详情可以点击 这里
（1）在有网的机器下载对应架构的ollama

1. $ wget https://ollama.com/download/ollama-linux-amd64.tgz

复制代码

其他架构README详看：https://github.com/ollama/ollama/blob/main/docs/linux.md

（2）将下载完的ollama安装包同步到离线机器中

1. $ scp ollama-linux-amd64.tgz root@10.44.68.130:/opt

复制代码

联网机器下载LM Studio和模型文件

LM Studio也是一款专注于本地部署和运行大型语言模型（LLM）的桌面应用程序，其核心优势在于将复杂的模型部署过程简化为图形化操作。
我们这里下载LM Studio的目的是使用它的模型下载功能，比直接在HuggingFace下载更方便一些。
（1）下载LM Studio
官网：https://lmstudio.ai/，下载对应的版本

（2）授权LM Studio权限，配置仓库代理
下载完成后为，需要给执行权限：

赋予执行权限后，即可打开，
默认情况下国内无法正常加载模型，需要勾选HuggingFace代理才可正常加载HuggingFace中的模型，
打开后进入设置，配置语言、代理：

还可以根据实际情况修改下载的模型存储目录：

（3）开始下载模型
点击左侧的放大镜，搜索deepseek，选择想要下载的模型，点击Download：

正在下载中，默认下载的是gguf格式的模型文件，此格式将所有模型信息（权重、架构、超参数等）封装在单一文件内，更适合离线迁移时使用：

（4）模型下载完毕后，同步至离线机器

1. $ scp DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf root@10.44.68.130:/root

复制代码

离线机器中部署ollama及模型

全部文件都准备完毕后，开始在离线机器中进行部署。
（1）部署ollama

1. # tar -C /usr/local -zxvf ollama-linux-amd64.tgz

复制代码

配置systemd管理：

1. # cat > /etc/systemd/system/ollama.service << EOF
2. [Unit]
3. Description=Ollama Service
4. After=network-online.target
6. [Service]
7. ExecStart=/usr/local/bin/ollama serve
8. User=ollama
9. Group=ollama
10. Restart=always
11. RestartSec=3
12. Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/root/.dotnet/tools:/root/bin"
13. Environment="OLLAMA_HOST=0.0.0.0:11434"
14. Environment="CUDA_VISIBLE_DEVICES=3,2"
15. Environment=“OLLAMA_MODELS=/data/ollama/model”
16. [Install]
17. WantedBy=default.target
18. EOF

复制代码

结语

到此我们拥有了一个在内网属于自己的离线DeepSeek了，后续可以配合RAG构建专属的本地知识库，欢迎尝试。

银河麒麟文档中心：https://document.kylinos.cn

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！