PythonAI算法
使用魔搭平台与 LLaMA Factory 进行大模型微调实操指南
基于魔搭平台和 LLaMA Factory 工具进行大模型微调的完整流程。内容包括环境搭建、轻量模型（Qwen2.5）下载、数据集准备与格式转换、WebUI 训练配置、效果测试以及模型导出为 GGUF 格式供本地部署。通过实操步骤，帮助开发者从零开始掌握大模型微调的核心技术。
基于魔搭平台和 LLaMA Factory 工具进行大模型微调的完整流程。内容包括环境搭建、轻量模型（Qwen2.5）下载、数据集准备与格式转换、WebUI 训练配置、效果测试以及模型导出为 GGUF 格式供本地部署。通过实操步骤，帮助开发者从零开始掌握大模型微调的核心技术。
在动手实操前，先了解核心概念——微调。常规大语言模型的训练分为三个关键阶段：
使用魔搭平台的免费 GPU 实例，搭配 LLaMA Factory 开源工具，零成本搭建微调环境。
第一步：打开魔搭实例创建地址：https://modelscope.cn/my/mynotebook/preset 第二步：关联阿里云账号，选择「第二个 GPU 环境」（免费且适配后续操作）。 第三步：等待 2-3 分钟，实例创建完成后，点击「查看 notebook」，进入云端操作界面。
点击「终端」，进入终端界面，接下来开始配置环境、下载工具。
直接克隆开源代码，然后配置相关依赖。
# 克隆 LLaMA Factory 开源框架
git clone https://github.com/hiyouga/LLaMA-Factory.git
# 进入项目的目录
cd LLaMA-Factory
# 创建虚拟环境
python -m venv .venv
# 激活虚拟环境
source .venv/bin/activate
# 安装依赖
pip install -e ".[torch,metrics]"
补充说明：安装依赖的过程中，可能会提示缺少某个包或需要升级 pip，按照提示执行即可。
安装完成后，侧边栏文件夹中会出现「LLaMA-Factory」文件夹。
当终端出现完成提示时，说明依赖安装完成。
为减少下载时间，选择轻量模型「Qwen2.5-0.5B-Instruct」。
第一步：在 LLaMA-Factory 目录下，创建新文件夹「newmodels」。 第二步：复制以下代码，粘贴到终端，下载模型：
git clone https://www.modelscope.cn/Qwen/Qwen2.5-0.5B-Instruct.git
从魔搭数据集下载轻量数据集。
第一步：访问数据集地址：https://modelscope.cn/datasets/meadhu/taobao-positive-sentence/files，找到对应文件下载。
第二步：数据集格式转换。下载的数据集是 csv 格式，模型训练需要 json 格式。运行脚本将文件保存为「train_converted.json」。
第三步：注册数据集。打开项目目录中的 dataset_info.json 文件，将转换后的「train_converted.json」文件名称和路径写入索引中。
注意：写入路径时，一定要和存放文件的实际路径一致。
LLaMA Factory 提供了 WebUI 界面，无需写复杂的训练指令。
第一步：确保处于「LLaMA-Factory」目录下，执行以下指令启动 WebUI 界面：
cd LLaMA-Factory
llamafactory-cli webui
第二步：启动 WebUI 后，终端会出现一个网址，点击该网址进入训练配置界面。
第三步：配置训练参数（重点填写 3 个路径）：
配置完成后，界面如下所示：
第四步：点击「开始训练」，等待模型训练完成。终端会实时显示训练进度和损失值（loss）变化。
训练小知识：模型损失值是衡量预测结果与真实数据集差距的指标，目标是「最小化损失值」。入门实操中，损失值处于合理范围（如 0.5-2.0 之间）即视为成功。
训练完成后，WebUI 界面会显示最终结果：
训练完成后，先在 WebUI 界面上测试模型效果。
第一步：在 WebUI 界面，切换到「Chat」标签页。 第二步：点击「检查点路径」，选择刚才训练好的模型（output 路径）。 第三步：点击「加载模型」，等待加载完成。
第四步：输入问题，测试模型回答。提问需贴合数据集场景（如「推荐一句淘宝好评」）。
只要模型的回答和训练数据集相关，说明微调成功。
将训练好的模型导出到本地，转换为 GGUF 格式，以便在其他工具中使用。
第一步：在 LLaMA-Factory 目录下，创建新文件夹「outputmodel」。 第二步：在 WebUI 界面，找到「导出模型」选项，选择导出路径为「outputmodel」，点击「导出」。
导出完成后，文件夹中会出现训练好的模型文件：
第一步：新打开一个终端，回到 LLaMA-Factory 目录：
cd /mnt/workspace/LLaMA-Factory
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp/gguf-py
pip install --editable .
执行完成后，侧边栏会多出「llama.cpp」文件夹。
第一步：在 LLaMA-Factory 目录下，创建新文件夹「megred-model-path」。 第二步：回到 llama.cpp 目录，执行以下代码（注意修改路径）：
cd ..
python convert_hf_to_gguf.py /mnt/workspace/LLaMA-Factory/outputmodel \
--outfile /mnt/workspace/LLaMA-Factory/megred-model-path \
--outtype q8_0
执行完成后，GGUF 模型保存到指定文件夹，可下载到本地。
下载好 GGUF 模型后，可使用 Jan.ai 等工具本地启动模型。
第一步：下载 Jan.ai 工具客户端，安装完成后打开。 第二步：打开设置（Setting），找到「Model Provider」，点击「Import」，导入下载的 GGUF 模型。
第三步：导入完成后，点击「Start」，进入对话界面，输入问题即可聊天。
如果是程序员，也可以用 Ollama 工具加载模型，将 GGUF 模型转换为 Ollama 支持的格式，导入后可被 Dify、CherryStudio 等工具调用。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online