SwanLab入门深度学习：Qwen3大模型指令微调
一、概述Qwen3是通义千问团队的开源大语言模型，由阿里云通义实验室研发。以Qwen2作为基座大模型，通过指令微调的方式实现高准确率的文本分类，是学习大语言模型微调的入门任务。
指令微调是一种通过在由（指令，输出）对组成的数据集上进一步训练LLMs的过程。 其中，指令代表模型的人类指令，输出代表遵循指令的期望输出。 这个过程有助于弥合LLMs的下一个词预测目标与用户让LLMs遵循人类指令的目标之间的差距。
在这个任务中我们会使用Qwen3-1.7B模型在zh_cls_fudan_news数据集上进行指令微调任务，同时使用SwanLab进行监控和可视化。
实验日志过程：https://swanlab.cn/@spark_xiao/Qwen3-fintune/runs/9rzt3rv77885ek176nslh
参考代码：https://github.com/Zeyi-Lin/LLM-Finetune
模型：https://modelscope.cn/models/Qwen/Qwen3-1.7B
数据集：https://www.modelscope.cn/datasets/swift/zh_cls_fudan-news/summary
SwanLab：https://swanlab.cn
二、SwanLab
SwanLab（https://swanlab.cn）是一个用于AI模型训练过程可视化的工具。SwanLab的主要功能包括：
跟踪模型指标，如损失和准确性等
同时支持云端和离线使用，支持远程查看训练过程，比如可以在手机上看远程服务器上跑的训练
记录训练超参数，如batch_size和learning_rate等
自动记录训练过程中的日志、硬件环境、Python库以及GPU（支持英伟达显卡）、NPU（支持华为昇腾卡）、内存的硬件信息
支持团队多人协作，很适合打Kaggle等比赛的队伍
SwanLab库来自一个中国团队（情感机器），最早的出发点是其开发团队的内部训练需求，后来逐渐开源并且发展成面向公众的产品。SwanLab库在2024年向公众发布。SwanLab刚出现时只有离线版本（对标Tensorboard），后来经过迭代和努力已经有了云端版和各项功能，并且集成了接近30+个深度学习框架，包括PyTorch、HuggingFace Transformers、Keras、XGBoost等等，其中还包括同样是中国团队开发的LLaMA Factory、Modelscope Swift、PaddleYOLO等框架，具有了很全面的功能。
账号注册
SwanLab的云端版体验是比较好的（非常推荐），能够支持你在随时随地访问训练过程。
要使用云端版之前需要先注册一下账号：
在电脑或手机浏览器访问SwanLab官网： https://swanlab.cn
点击右上角注册
填写手机号后，点击「发送短信验证码」按钮
填写你的信息
[*]用户名称：你的个人昵称，中英文均可
[*]用户ID：你的英文名，可由数字、字母、下划线、中横线组成
[*]邮箱：你的邮箱
[*]机构/院校：你所在的企业、机构或学校
[*]您从哪了解到SwanLab？：（选填项）了解到SwanLab的渠道，比如朋友介绍
复制API Key
完成填写后点击「完成」按钮，会进入到下面的页面。然后点击左边的「设置」：
在API Key这个地方，点击复制按钮，复制你的API Key：
三、环境安装
本案例基于Python 3.13.2，请在您的计算机上安装好Python，并且有一张英伟达显卡（显存要求并不高，大概10GB左右就可以跑）。
在这之前，请确保你的环境内已安装了pytorch以及CUDA：
pytorch以及CUDA安装，请参考文章：https://www.cnblogs.com/xiao987334176/p/18876317
我们需要安装以下这几个Python库，一键安装命令：
pip install swanlab modelscope transformers datasets peft pandas accelerate准备数据集
本案例使用的是zh_cls_fudan-news数据集，该数据集主要被用于训练文本分类模型。
zh_cls_fudan-news由几千条数据，每条数据包含text、category、output三列：
text 是训练语料，内容是书籍或新闻的文本内容
category 是text的多个备选类型组成的列表
output 则是text唯一真实的类型
数据集例子如下：
"""
Text: 第四届全国大企业足球赛复赛结束新华社郑州５月３日电（实习生田兆运）上海大隆机器厂队昨天在洛阳进行的第四届牡丹杯全国大企业足球赛复赛中，以５：４力克成都冶金实验厂队，进入前四名。沪蓉之战，双方势均力敌，９０分钟不分胜负。最后，双方互射点球，沪队才以一球优势取胜。复赛的其它３场比赛，青海山川机床铸造厂队３：０击败东道主洛阳矿山机器厂队，青岛铸造机械厂队３：１战胜石家庄第一印染厂队，武汉肉联厂队１：０险胜天津市第二冶金机械厂队。在今天进行的决定九至十二名的两场比赛中，包钢无缝钢管厂队和河南平顶山矿务局一矿队分别击败河南平顶山锦纶帘子布厂队和江苏盐城无线电总厂队。４日将进行两场半决赛，由青海山川机床铸造厂队和青岛铸造机械厂队分别与武汉肉联厂队和上海大隆机器厂队交锋。本届比赛将于６日结束。（完）
Category: Sports, Politics
Output:Sports
"""我们的训练任务，便是希望微调后的大模型能够根据Text和Category组成的提示词，预测出正确的Output。
我们将数据集下载到本地目录下。下载方式是前往zh_cls_fudan-news - 魔搭社区 ，将train.jsonl和test.jsonl下载到本地根目录下即可：
加载模型
这里我们使用modelscope下载Qwen3-1.7B模型（modelscope在国内，所以下载不用担心速度和稳定性问题），然后把它加载到Transformers中进行训练：
train.py
import torch
from modelscope import snapshot_download, AutoTokenizer
from transformers import AutoModelForCausalLM, TrainingArguments, Trainer, DataCollatorForSeq2Seq
# Transformers加载模型权重
tokenizer = AutoTokenizer.from_pretrained("./Qwen/Qwen3-1.7B/", use_fast=False, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("./Qwen/Qwen3-1.7B/", device_map="auto", torch_dtype=torch.bfloat16)注意：确保下载的模型路径正确
运行python代码
swanlab login输出如下：
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████| 2/2
Map: 100%|██████████████████████████████████████████████████████████████████| 4000/4000
执行代码
swanlab login
看到下面的进度条即代表训练开始：
swanlab: Tracking run with swanlab version 0.6.2swanlab: Run data will be saved locally in D:\file\vllm\swanlog\run-20250610_140437-a3b1799dswanlab:
来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！
页:
[1]