【Windows笔记本大模型“傻瓜式”教程】使用LLaMA-Factory工具来完成对Windows笔记本大模型Qwen2.5-3B-Instruct微调

优质文章学习记录

— 8 min read

⚠️ 核心准备：硬件检查

在开始前，请确保你的笔记本电脑满足以下条件：

  1. 显卡（关键）： 必须是 NVIDIA 显卡（N卡）。
  2. 显存： 建议至少 6GB（我们将使用很小的模型，4GB勉强也能跑，但6GB比较稳）。
  3. 硬盘空间： 预留 20GB 以上。

第一步：搭建环境

我们需要安装 Python 环境。请按顺序操作：

  1. 下载 Miniconda (Python管理器)：
    • 访问 Miniconda官网。
    • 下载 Miniconda3 Windows 64-bit 版本并安装。安装时一直点 Next，注意勾选 “Add Miniconda3 to my PATH environment variable”（如果变红也不管，勾上它方便后续操作）。
  2. 下载 Git (代码下载工具)：
    • 访问 Git官网 下载安装，一路 Next 即可。
  3. 创建专属环境：
    • 按下 Win + R，输入 cmd 回车，打开黑色命令窗口。
  4. 安装 Pytorch (AI计算核心)：
    • 注意：这一步比较大，取决于网速，请耐心等待。

继续在刚才的黑框里输入：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

复制粘贴以下命令（一行一行执行）：

# 创建一个名为 llm 的环境，Python版本为 3.10 conda create -n llm python=3.10 -y # 激活这个环境（你会看到命令行前面变成 (llm)） conda activate llm

第二步：安装微调神器 LLaMA-Factory

LLaMA-Factory 是一个“大模型工厂”，它把复杂的代码都封装在网页里了。

安装依赖：

pip install -e .[metrics]

(如果报错提示缺少 windows C++ build tools，不用慌，去下载“Visual Studio Build Tools”安装即可，或者忽略报错通常也能跑起来)

下载代码：
在 cmd 黑框里输入：

git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory

第三步：准备模型

为了让你的笔记本不卡顿，我们选用 Qwen2.5-3B-Instruct，中文能力强，非常适合新手。

我们将直接利用 LLaMA-Factory 的 WebUI 来自动下载，所以这里不需要手动去网页下载。

第四步：准备微调数据

我们要教模型一点新知识。比如，我们要训练它认识你。

  1. 在 LLaMA-Factory 文件夹下，找到 data 文件夹。
  2. 新建一个文本文件，重命名为 my_data.json。
  3. 用记事本打开，复制以下内容进去（这是最标准的微调格式）：
[{"instruction":"你是谁？","input":"","output":"我是您专属的智能助手，由偉大的主人在Windows笔记本上微调出来的！"},{"instruction":"介绍一下你的创造者。","input":"","output":"我的创造者是一位非常勤奋的学习者，他正在通过微调技术赋予我新的生命。"},{"instruction":"你会做什么？","input":"","output":"我可以陪您聊天，回答问题，但我最擅长的是夸奖我的主人！"}]

你可以照着这个格式多写几条，数据越多，效果越明显。

注册数据：
在 data 文件夹里找到 dataset_info.json 文件，用记事本打开。在文件最开头的 { 下面，插入以下代码（注意逗号）：

"my_demo":{"file_name":"my_data.json"},

第五步：启动 WebUI 并测试

  1. 回到 cmd 黑框（确保前面是 (llm) 且路径在 LLaMA-Factory 下）。
  2. 稍等片刻，浏览器会自动弹出一个网页（通常是 http://localhost:7860）。

输入启动命令：

python src/webui.py
5.1 初次测试
在这里插入图片描述
  1. 在网页顶部 模型名称 (Model name) 选择 Qwen2.5-3B-Instruct。
  2. 模型路径 (Model path) 留空，或者选择 ModelScope（国内下载快）。
  3. 点击下面的 Chat (聊天) 选项卡。
  4. 点击 Load Model (加载模型)。它会自动开始下载模型，下载完后会显示“模型已加载”。
  5. 在下方聊天框输入：“你是谁？”
    • 由于还没微调，它会回答：“我是通义千问…”
  6. 点击 Unload Model (卸载模型)，我们要准备训练了。

第六步：开始微调

  1. 先在文件夹中执行这个命令用于下载核心的依赖 pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.44.1-py3-none-win_amd64.whl
  2. 切换回 Train (训练) 选项卡。
  3. 设置参数（按我说的选，其他不动）：
    • Data Dir (数据路径): data
    • Dataset (数据集): 找到并选中我们刚才加的 my_demo。
    • Learning Rate (学习率): 改为 2e-4 (0.0002)。
    • Epochs (轮数): 改为 10 (因为数据少，多训练几轮)。
    • Cutoff Len (截断长度): 1024 (笔记本显存小，设小点)。
    • Batch Size: 1 (笔记本专用配置)。
    • Gradient Accumulation: 8。
    • Finetuning Method: LoRA (这很重要，只训练模型的一小部分，省显存)。
    • **Quantization bit:**4（这是为了压缩显存的使用）。
  4. 开始训练：
    • 点击页面下方的 Start (开始) 按钮。
    • 你可以看 cmd 黑框里的进度条。因为数据只有几条，大概 2-5分钟 就能跑完。
    • 当显示“Training Completed”时，微调完成了！

第七步：测试微调后的模型

模型微调后，生成了一个“补丁包”（LoRA权重），我们需要把它挂载到原模型上运行。

  1. 刷新一下网页（或者切到 Chat 选项卡）。
  2. 模型选择： 依然选 Qwen2.5-3B-Instruct。
  3. 适配器路径 (Checkpoint path)： 点击下拉菜单，应该能看到你刚才训练的 models/my_first_model，选中它。
  4. 对话模板Chat template记得选择qwen，否则会因为方言不同无法停止
  5. 点击 Load Model (加载模型)。
  6. 在聊天框输入：“你是谁？”
  7. 见证奇迹：
    • 如果成功，它应该会回答：“我是您专属的智能助手，由偉大的主人在Windows笔记本上微调出来的！”

第八步：导出与部署（打包带走）

如果你想把这个微调好的模型合并成一个完整的模型文件，方便发给别人或在其他软件里用：

  1. 切换到 Export (导出) 选项卡。
  2. Max Shard Size: 填写 2GB。
  3. Export Dir (导出目录): 填写一个路径，例如 C:\MyFinalModel。
  4. 点击 Export (开始导出)。
  5. 导出完成后，C:\MyFinalModel 里的文件就是一个完整的、包含你个人知识的大模型了！

第九步：导入他人训练好的模型

第一步：解压

把你的压缩包，解压到一个全英文路径的文件夹里。

  • ❌ 错误示范：C:\用户\桌面\我的牛逼模型
  • ✅ 正确示范：D:\AI_Models\My_Finetuned_Qwen
第二步：打开 LLaMA Factory

启动 WebUI 界面。

第三步：加载你的“专属模型”（关键步骤）

这里有一点小技巧，因为你的模型是“自定义”的，不在它的下拉默认列表里。请按以下步骤操作（注意看界面上的选项）：

  1. 模型名称 (Model Name)：
    • 在下拉菜单里，选择 Custom（自定义）。
    • 注：有些旧版本可能需要选 Qwen2.5，然后在路径里修改，但选 Custom 最稳。
  2. 模型路径 (Model Path)：
    • 这是最重要的一步！
    • 在这个输入框里，把第一步解压的那个文件夹的绝对路径粘贴进去。
    • 例如粘贴：D:\AI_Models\My_Finetuned_Qwen
  3. 检查点路径 (Checkpoint Path)：
    • 留空！不要选任何东西！
    • 为什么？ 因为你已经把 LoRA 融合进模型导出了，现在的这个文件夹就是一个完整的基座模型，不需要再挂载额外的 LoRA 补丁了。
  4. 点击“加载模型” (Load Model)：
    • 如果右下角提示“模型加载成功”，那就搞定啦！
  5. 开始聊天：
    • 切换到 Chat 选项卡，你的朋友就可以和你训练出来的“专属 AI”对话了。

中途遇到问题的处理

一. 如果报错：Converting format of dataset (num_proc=16)以及BrokenPipeError: [WinError 109] 管道已结束。则代表是发现你的电脑比较强（可能有16个逻辑核心），于是它试图启动 16个分身（进程） 来同时处理你的数据，想以此加快速度。但在 Linux 系统上这很正常，而在 Windows 上，多进程并发处理数据非常容易“打架”，导致通信管道断裂（Broken Pipe），程序就崩了。
解决方法1：前端强制单线程处理
（某些版本不支持）
  1. 切换到 Train (训练) 选项卡。
  2. 在左侧的参数设置区域，找到 Extra Configuration (额外配置)，点击它旁边的小三角或者加号展开（如果不展开可能看不到）。
  3. 找到一个叫做 Preprocessing num workers (预处理线程数/进程数) 的选项。
  4. 默认它可能是空的，或者填了16。把它手动改成 1。
  5. 再次点击 Start (开始) 训练。
解决方法2：后端强制单线程处理
（部分情况下前端无法解决，就需要找到最终拦截点，直接改写配置）
  1. 打开文件：D:\AI\LLaMA-Factory\src\llamafactory\train\tuner.py（注意路径是 src -> llamafactory -> train -> tuner.py）
  2. 搜索这行长代码：model_args, data_args, training_args, finetuning_args, generating_args = get_train_args(args)
  3. 在这个下面添加下面这个代码data_args.preprocessing_num_workers = 1
  4. 保存文件并重启工具

总结

你刚才完成了大模型工程师的核心工作流程：

  1. 环境： Conda + LLaMA-Factory
  2. 数据： 构造 JSON 格式问答
  3. 训练： LoRA 微调
  4. 推理： 加载 LoRA 权重进行对话

Read more

（附源码）基于Java web的在线考试系统的设计与实现-计算机毕设 33482

（附源码）基于Java web的在线考试系统的设计与实现-计算机毕设 33482

基于Java web的在线考试系统的设计与实现 摘  要 随着信息技术的迅速发展，教育行业对在线考试系统的需求不断增加，尤其是在数字化转型的背景下，传统的人工考试管理方式逐渐暴露出诸多问题，如效率低、资源浪费、信息滞后等。为了提升考试管理的效率和学生的学习体验，在线考试系统的开发显得尤为重要。 该系统的功能设计主要包括：学生在线报名、考试、成绩查询、错题管理等功能；教师可以发布、编辑试卷、批改作业、查看成绩分析等；管理员负责系统用户管理、考试资源调度、公告发布等。系统通过清晰的角色分配，确保各类用户能够高效使用系统，实现学习、教学和管理的数字化与智能化。 技术方案上，系统前端采用Vue.js框架构建，实现与用户的良好交互；后端使用SpringBoot框架，结合Java语言进行业务逻辑处理，确保系统的高性能和可扩展性；MySQL数据库用于存储用户数据、考试成绩、题库信息等，保障数据的高效管理和查询性能。 通过在线考试系统的实施能够大幅提升考试管理效率，减少人工干预，优化资源分配，增强学生的参与感和互动体验。该系统不仅能帮助教育机构实现信息化管理，还能为学生和教师提供便捷
微信小程序webview postmessage通信指南

微信小程序webview postmessage通信指南

需求概述 在微信小程序中使用 web-view 组件与内嵌网页进行双向通信，主要通过 postMessage 实现。以下是完整的配置和使用方法： 通信指南 微信小程序webview官方文档 1. 基础配置 小程序端配置 // app.json 或 page.json { "usingComponents": {}, "permission": { "scope.webView": { "desc": "用于网页和小程序通信" } } } 网页端配置 <!-- 内嵌网页需引入微信JS-SDK --> <script src="https://res.wx.qq.com/open/
Flutter 与 Web 混合开发：跨平台的完美融合

Flutter 与 Web 混合开发：跨平台的完美融合

Flutter 与 Web 混合开发：跨平台的完美融合 写在前面 今天想和你聊聊一个让跨平台开发更具可能性的话题——Flutter 与 Web 混合开发。在我眼里，Flutter 就像一位多才多艺的艺术家，既能在移动平台上展现精彩，也能在 Web 世界中绽放光芒。 Flutter Web 的崛起 Flutter Web 是 Flutter 的一个重要方向，它允许我们使用同一套代码库构建运行在浏览器中的应用。随着 Flutter 3.0 的发布，Flutter Web 的性能和稳定性得到了显著提升，为混合开发开辟了新的可能。 Flutter Web 的优势 1. 代码复用：使用同一套代码库构建移动应用和 Web 应用，减少开发和维护成本 2. 一致的用户体验：在不同平台上提供一致的视觉和交互体验 3. 高性能：

mT5分类增强版中文-base保姆级教程：WebUI响应超时设置与GPU OOM预防措施

mT5分类增强版中文-base保姆级教程：WebUI响应超时设置与GPU OOM预防措施 1. 这不是普通文本增强，而是全任务零样本学习的中文利器 你有没有遇到过这样的问题：手头只有一小段中文文本，却要快速生成语义一致、表达多样的多个版本？传统方法要么靠人工反复改写，耗时费力；要么用通用大模型，结果跑偏、重复、不专业。而今天要介绍的这个模型，彻底改变了这种局面。 它叫mT5分类增强版中文-base——名字有点长，但记住三个关键词就够了：零样本、中文专精、稳定输出。它不是简单地在英文mT5基础上加点中文数据微调，而是在大量高质量中文语料上做了深度再训练，并特别引入了零样本分类增强技术。这意味着：你不需要准备任何标注数据，也不用写复杂的提示词，只要输入一句话，它就能理解你的意图，自动生成几个风格不同、逻辑通顺、符合中文表达习惯的增强版本。 更关键的是，它的输出稳定性远超同类模型。我们实测过上千条日常短句（比如“用户投诉物流太慢”“产品页面加载卡顿”“客服回复不及时”），92%以上的生成结果语义准确、无事实错误、无生硬翻译感。这不是“能用”，而是“敢用”