内网服务器离线安装部署 Ollama

一、安装 Ollama

1.官网下载地址：Releases · ollama/ollama 
2.cd至下载目录
3.执行二进制文件安装

1. sudo tar -C /usr -xzf ollama-linux-amd64.tgz

复制代码

二、测试是否安装成功

2.1 启动服务

1. ollama serve

复制代码

2.2 验证是否安装成功

1. ollama -v

复制代码

三、 设置开机启动服务

3.1 创建服务文件

1. vi /etc/systemd/system/ollama.service

复制代码

如果权限不足的话，尝试切换到root权限，再执行上方命令

1. sudo -s

复制代码

内容如下：

1. [Unit]
2. Description=Ollama Service
3. After=network-online.target
5. [Service]
6. ExecStart=/usr/bin/ollama serve
7. User=填自己的用户名
8. Group=填自己的用户组
9. Restart=always
10. RestartSec=3
11. Environment="PATH=$PATH"
13. [Install]
14. WantedBy=default.target

复制代码

 服务文件内容解释：

1. Description=Ollama Service
2. # 描述服务的名称和用途，表明这是一个用于运行 Ollama 应用的服务。
3. After=network-online.target
4. # 指定服务应在系统网络完全就绪（即 network-online.target 达成）之后启动。确保服务依赖的网络功能可用。
5. ExecStart=/usr/bin/ollama serve
6. # 定义启动服务时执行的命令：运行 /usr/bin/ollama 程序的 serve 子命令（通常用于启动服务端）。
7. User=ollama 和 Group=ollama
8. # 服务以 ollama 用户和组的身份运行，避免使用 root 权限，提高安全性。需确保系统中已存在该用户和组，否则服务会启动失败。
9. Restart=always
10. # 服务无论因何原因退出（包括正常退出、异常崩溃、被杀死等），都会自动重启。
11. RestartSec=3
12. # 重启前等待 3 秒，防止频繁崩溃导致系统负载过高。
13. Environment="PATH=$PATH"
14. # 显式设置环境变量 PATH，继承当前 systemd 环境中的 PATH 值，确保服务能找到所需命令路径。需注意实际环境可能与 Shell 中的 PATH 不同。
15. WantedBy=default.target
16. # 当通过 systemctl enable 启用服务时，该服务会关联到 default.target（系统默认启动目标，通常是图形界面或多用户模式）。系统启动时，服务会自动运行。

复制代码

3.2 启动服务并设置为开机自启

1. sudo systemctl daemon-reload
2. sudo systemctl enable ollama
3. sudo systemctl start ollama    // 启动 ollama
4. sudo systemctl status ollama   // 查看 ollama 状态

复制代码

2.4 自定义安装，配置环境变量
编译配置文件shell

1. sudo systemctl edit ollama

复制代码

 
也可以手动创建 vi /etc/systemd/system/ollama.service.d/override.conf添加配置

1. [Service]
2. Environment="OLLAMA_HOST=0.0.0.0"
3. Environment="OLLAMA_MODELS=/home/xxxx/.ollama/models"
4. Environment="OLLAMA_KEEP_ALIVE=-1"

复制代码

常见环境变量

2.5 ollama 命令

1. ollama serve   #启动 ollama  
2. ollama create  #从模型文件创建模型  
3. ollama show    #显示模型信息  
4. ollama run     #运行模型  
5. ollama pull    #拉取模型  
6. ollama push    #推送模型  
7. ollama list    #列出模型  
8. ollama cp      #复制模型  
9. ollama rm      #删除模型  
10. ollama help    #获取有关任何命令的帮助信息

复制代码

2.6 查看日志

1. journalctl -e -u ollama

复制代码

2.7 卸载
停止并删除 ollama 服务

1. sudo systemctl stop ollama
2. sudo systemctl disable ollama
3. sudo rm /etc/systemd/system/ollama.service

复制代码

移除 ollama 二进制文件 (either /usr/local/bin, /usr/bin, or /bin):

1. sudo rm $(which ollama)

复制代码

删除模型和用户、用户组

1. sudo rm -r /usr/share/ollama
2. sudo userdel ollama # 若为 ollama 专门添加了用户
3. sudo groupdel ollama # 若为 ollama 专门添加了用户组

复制代码

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！