宿遘稠 发表于 2025-8-7 22:12:36

AI应用开发-本地大模型部署与API调用实战:LM Studio完整教程

为什么选择本地部署?

本地部署大模型的核心优势:

[*]数据隐私:所有数据本地处理,无隐私泄露风险
[*]零成本使用:无需API密钥,一次部署无限使用
[*]离线可用:摆脱网络依赖
[*]完全控制:自定义参数和配置
硬件要求


[*]内存:16GB以上(推荐32GB)
[*]显卡:NVIDIA RTX 3060+(可选,显著提升性能)
[*]存储:50GB+ 可用空间
为什么选择 LM Studio?

对比主流本地部署工具:
工具特点适合场景LM Studio可视化界面,操作简单学习入门、快速部署Ollama命令行工具,轻量级开发者、服务器部署Open WebUIWeb界面,功能丰富团队协作、高级用户LM Studio 是学习的最佳选择:图形化界面、即装即用、模型管理简单。
快速安装步骤

1. 下载安装


[*]访问官网:https://lmstudio.ai/
[*]下载对应系统版本
[*]按向导完成安装
2. 下载模型

推荐入门模型:

[*]Qwen1.5-7B-Chat:中文能力强,适合国内用户
[*]Mistral 7B:性能均衡
[*]Phi-3-Mini:体积小巧
以 Qwen1.5-7B-Chat 为例:

[*]在模型市场搜索 "qwen1.5-7b-chat"
https://p0-xtjj-private.juejin.cn/tos-cn-i-73owjymdk6/e21f56d715a44078a5e7b8293ef25810~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAg5b-D5Zyo6aOe5omsQUk=:q75.awebp?policy=eyJ2bSI6MywidWlkIjoiMTU1NjU2NDE5NDM2NjgyMyJ9&rk3s=f64ab15b&x-orig-authkey=f32326d3454f2ac7e96d3d06cdbb035152127018&x-orig-expires=1755186812&x-orig-sign=avY7GWzKi%2BS6TBkuBCqj2MNQx9E%3D
3.点击下载(文件较大,请耐心等待)

[*]下载完成后在 "Local" 标签页找到模型
3. 启动模型


[*]找到下载的 Qwen1.5-7B-Chat 模型
https://p0-xtjj-private.juejin.cn/tos-cn-i-73owjymdk6/36b2848cb633460aa177c12f65d3b837~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAg5b-D5Zyo6aOe5omsQUk=:q75.awebp?policy=eyJ2bSI6MywidWlkIjoiMTU1NjU2NDE5NDM2NjgyMyJ9&rk3s=f64ab15b&x-orig-authkey=f32326d3454f2ac7e96d3d06cdbb035152127018&x-orig-expires=1755186812&x-orig-sign=yAmZJxjA%2FHTilvhYyzHKEW2veKo%3D
4. 开始对话


[*]切换到 "Chat" 标签页
[*]确认右上角显示已加载模型
[*]输入问题,开始与本地大模型对话
5 本地服务调用 图标右键,选择 "Start server 1234"

性能优化建议


[*]启用GPU加速:有独显的用户务必开启
[*]调整内存设置:根据系统内存合理分配
[*]关闭无关程序:释放更多资源给模型
常见问题

Q: 模型启动失败? A: 检查内存是否充足,尝试选择更小的模型
Q: 响应速度慢? A: 确认GPU加速已开启,关闭后台程序释放资源
Q: 想要更好的中文效果? A: 推荐 ChatGLM、Baichuan 等中文优化模型
调用本地模型API

LM Studio 启动模型后,会在本地 1234 端口提供 OpenAI 兼容的API接口。
环境准备

pip install openai==0.28注意:使用 0.28 版本的 openai 库,新版本语法有变化。
调用示例

import openai

# 配置本地API地址
openai.api_base = "http://localhost:1234/v1"# LM Studio 默认端口
openai.api_key = "lm-studio"# 随便写,不会校验

# 调用模型
response = openai.ChatCompletion.create(
    model="qwen1.5-7b-chat-q4",# 你在 LM Studio 里加载的模型名称
    messages=[
      {"role": "system", "content": "你是一个资深ai架构师,python架构师,擅长模块化设计和项目分层。同时精通ai开发和应用。你乐于助人,回答的问题要详细且专业。会把技术每个细节都讲解清楚。"},
      {"role": "user", "content": "我需要开发一个ai应用,是Ai私人助手,需要学习的技术有哪些,才能做出这个应用。"},
    ],
    temperature=0.7
)

print(response["choices"]["message"]["content"])结果返回

https://p0-xtjj-private.juejin.cn/tos-cn-i-73owjymdk6/653a2b4373e842cf8ae14b260902623b~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAg5b-D5Zyo6aOe5omsQUk=:q75.awebp?policy=eyJ2bSI6MywidWlkIjoiMTU1NjU2NDE5NDM2NjgyMyJ9&rk3s=f64ab15b&x-orig-authkey=f32326d3454f2ac7e96d3d06cdbb035152127018&x-orig-expires=1755186812&x-orig-sign=OM8ZNGJjGJX6DJS%2FBeGs1g%2F%2BMIQ%3D
错误分析:如果看见这个,说明服务没起来,找到图标,启动服务。

https://p0-xtjj-private.juejin.cn/tos-cn-i-73owjymdk6/896093c1433d4a519c6d631ff1b8a5bf~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAg5b-D5Zyo6aOe5omsQUk=:q75.awebp?policy=eyJ2bSI6MywidWlkIjoiMTU1NjU2NDE5NDM2NjgyMyJ9&rk3s=f64ab15b&x-orig-authkey=f32326d3454f2ac7e96d3d06cdbb035152127018&x-orig-expires=1755186812&x-orig-sign=SFBmVO7hKBY1%2BYrBhZjYrk%2BKVuM%3D
关键配置说明


[*]api_base:本地服务地址,默认 http://localhost:1234/v1
[*]api_key:可以随意填写,LM Studio 不会验证
[*]model:必须与 LM Studio 中加载的模型名称完全一致(注意大小写)
[*]切换到 OpenAI:只需修改 api_base 和 api_key 即可
这样就实现了从本地部署到API调用的完整流程,为AI应用开发奠定了基础。
总结

通过 LM Studio + OpenAI API 的组合,我们可以快速搭建本地AI开发环境。这种方式既保证了数据隐私,又提供了与 OpenAI 完全兼容的接口,让AI应用开发变得更加灵活和经济。
如果这个项目对你有帮助,不妨点亮一颗星星支持一下吧~
AI 应用开发代码传送门

来源:程序园用户自行投稿发布,如果侵权,请联系站长删除
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
页: [1]
查看完整版本: AI应用开发-本地大模型部署与API调用实战:LM Studio完整教程