大模型之Linux服务器部署大模型

一、离线手动安装Ollama（Linux）

步骤 1：去有网的电脑 下载 Ollama Linux 二进制包

 打开网址（任意电脑浏览器）：https://ollama.com/install/linux/ollama-linux-amd64会自动下载一个文件：ollama-linux-amd64  步骤 2：把文件上传到你的 Linux 服务器

用工具：

• Xshell
  
• FinalShell
  
• WinSCP
  
• MobaXterm
  

 
上传到服务器目录，例如：/root/data/ollama
步骤 3：给执行权限

命令：chmod +x /root/data/ollama
步骤 4：启动服务

命令：ollama serve
步骤 5：设置开机自启

命令：vi /etc/systemd/system/ollama.service
粘贴下面内容到ollama.service

1. [Unit]
2. Description=Ollama Service
3. After=network.target
5. [Service]
6. ExecStart=/usr/local/bin/ollama serve
7. User=root
8. Restart=always
9. RestartSec=3
11. [Install]
12. WantedBy=multi-user.target

复制代码

 
保存退出，依次执行命令：
systemctl daemon-reload
systemctl enable ollama
systemctl start ollama
步骤 6：验证是否安装成功

命令：ollama --version
出现版本号 = 成功！
二、离线手动安装大模型（Linux）

有网机器下载模型包：ollama pull qwen2.5:7b
导出模型： ollama save qwen2.5:7b qwen2.5-7b.tar.gz
上传到离线服务器：ollama load qwen2.5-7b.tar.gz   （怎么上传到服务器参考前面说到的步骤2，在上传后的目录下执行命令）
 
开始运行你的大模型  命令：ollama run qwen2.5:7b
 
额外小知识：

执行脚本 命令：sh  ollama-setup.sh

1. #!/bin/bash
3. # 启用全部 GPU
4. echo "OLLAMA_NUM_GPU=all" | sudo tee -a /etc/environment
6. # 修改模型存储路径（你可以自己改成你想要的目录）
7. echo "OLLAMA_MODELS=/data/ollama/models" | sudo tee -a /etc/environment
9. # 重启 ollama 服务
10. sudo systemctl restart ollama
12. echo "==================================="
13. echo "✅ GPU 已启用"
14. echo "✅ 模型路径已修改为 /data/ollama/models"
15. echo "✅ 配置已生效！"
16. echo "==================================="

复制代码

 

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！