3分钟部署本地大模型，零成本实现 Token 自由！

在 AI 学习和开发中，很多人会面临这些困扰：云厂商 API 计费贵、注册实名门槛高、敏感代码不敢上传、没网就不能用。
其实，本地部署早已不再复杂。目前 GitHub 上 16.6 万 Star 的开源项目 Ollama，已经把门槛降到了极致。
它能自动处理环境和硬件加速，让你在 3 分钟内拥有一套完全私有、零成本的大模型服务。

下面以 Windows 为例（macOS/Linux 流程基本一致），带你一步步上手 Ollama。
1、下载安装

访问 Ollama 官网（https://ollama.com/download）， 点击Download for Windows，会自动下载 OllamaSetup.exe安装文件。

2、自定义安装路径（可选）

Ollama 默认会安装到 C 盘，下载的模型也存储在 C 盘。如果你的 C 盘空间充足，可以跳过这一步，直接完成安装即可。
但如果你的 C 盘空间紧张，建议自定义安装路径和模型存储路径。
首先打开 CMD 窗口，进入到安装包所在目录，执行以下命令：

1. OllamaSetup.exe /DIR="D:\Ollama"

复制代码

这样会将软件安装到D:\Ollama路径下（你可以根据需要修改路径）。
在弹出的安装界面点击Install，等待安装完成。

安装完成后，会弹出 Ollama 的对话界面。先别急着开始对话，我们先调整一下模型存储路径。
点击界面左侧按钮，选择Settings，然后点击Browse选择模型要存放的路径即可。

3、下载模型

在 Ollama 中，模型名字后的数字（如 3B, 7B, 32B）代表参数量，单位是"十亿"（Billion）。
参数量越大，模型越聪明，但对电脑配置要求越高，Ollama 会自动优化配置策略，有 GPU 时优先使用 GPU 加速，没有 GPU 时自动切换到CPU运行。
为了帮你快速选择合适的模型，这里有一个简单的参考对照表：
参数量模型大小内存/显存要求推荐场景2B-3B1.5-2.2GB4GB基础对话、简单问答7B-8B3.8-4.7GB8GB日常对话、代码辅助13B-14B7.4-8.8GB16GB复杂推理、长文本30B-32B18-20GB32GB专业领域、深度分析70B39-40GB64GB高级推理、接近GPT-3.5120B+70GB+80GB+接近GPT-4级别Ollama 客户端界面提供了一些热门模型，你可以直接和它对话，系统会自动下载所需的模型。

不过客户端上展示的模型不全，如果想要下载更多模型，可以去官网 https://ollama.com/search 查找，支持按照流行度/发布时间排序，还可以通过标签筛选是否支持深度思考，是否支持 Function Calling 功能等能力。

如果找到了想要的模型，可以通过 CMD 命令行下载，示例如下：

1. # 下载通义千问
2. ollama pull qwen3.5:4b
4. # 查看已下载的模型
5. ollama list
7. # 输出：
8. # NAME          ID              SIZE      MODIFIED
9. # gemma3:4b     a2af6cc3eb7f    3.3 GB    37 seconds ago
10. # qwen3.5:4b    2a654d98e6fb    3.4 GB    55 seconds ago

复制代码

4、代码调用模型

Ollama 的一大优势是兼容 OpenAI API 格式，这意味着你可以直接使用 OpenAI SDK 调用本地模型，只需改一行 URL，就能从云端无缝切换到本地。

1. from openai import OpenAI
3. client = OpenAI(
4.     base_url='http://localhost:11434/v1/',  # 指向本地 Ollama 默认端口 11434
5.     api_key='ollama-local',   # 可随意填写，Ollama 不做强制校验
6. )
8. response = client.chat.completions.create(
9.     model="gemma3:4b", # 确保调用的model名称已下载
10.     messages=[
11.         {"role": "user", "content": "你是谁？"}
12.     ]
13. )
15. print(response.choices[0].message.content)

复制代码

就是这么简单——你不需要学习新的 API，所有熟悉的OpenAI调用方式都能直接复用。
5、总结

Ollama 为我们提供了一条零成本、无限制、数据私有的本地大模型部署路径。无论是日常学习、代码辅助，还是处理敏感数据，它都能成为你可靠的工作伙伴。
从今天开始，告别 Token 焦虑，拥抱 AI 自由吧！

• AI 工程化实战：不学算法也能用好的 LLM 指南
  
• AI 工程化实战：拒绝“开盲盒”，像写代码一样搞定提示词工程！
  
• AI 工程化实战：拒绝“胡说八道”，用 RAG 给大模型外挂私有大脑！
  
• AI 工程化实战：5分钟带你快速掌握 Function Calling！
  
• AI 工程化实战：从零手搓代码，这一次彻底搞懂MCP！
  

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！