Mac 基于 LLaMA Factory 微调模型并导入 Ollama 实战记录
本文记录了在 macOS 环境下，使用 LLaMA Factory 对大语言模型进行微调，并将结果导出至 Ollama 的完整流程。过程中遇到了一些环境配置和兼容性坑点，整理如下供参考。
一、LLaMA Factory 安装
首先通过 Git 拉取项目源码：
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"
踩坑记录：
- Python 版本限制：安装初期报错
ERROR: Package 'llamafactory' requires a different Python: 3.9.6 not in '>=3.11.0'。虽然尝试升级到 Python 3.14，但后续发现部分依赖库（如 dill）在新版本上存在兼容性问题，建议稳定版选择 Python 3.12。 - 外部管理环境错误：若直接使用系统 Python，可能会遇到
externally-managed-environment报错。推荐使用 Conda 创建虚拟环境隔离依赖：
brew install --cask anaconda
conda create -n llama python=3.12
conda activate llama
pip install -e ".[torch,metrics]"
安装完成后，执行 llamafactory-cli webui 启动服务，访问 http://localhost:7860/ 即可看到 WebUI 界面。
二、模型下载与验证
我们选用 ModelScope 上的轻量级模型进行测试，例如 DeepSeek-R1-Distill-Qwen-1.5B。由于包含大文件，需先安装 Git LFS：
git lfs install
git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B.git
关键检查点：
初次加载时可能抛出 SafetensorError: Error while deserializing header: header too large。这通常意味着 Git 下载的大文件不完整。请对比本地 model.safetensors 文件大小与 ModelScope 页面显示的大小是否一致。若不一致，建议手动下载后替换到对应目录。
确认文件完整后，在 WebUI 中配置模型路径并加载测试。
