Mac 下使用 LLaMA Factory 微调模型并导入 Ollama 实践
最近折腾了一下在 Mac 上基于 LLaMA Factory 微调模型，然后导入到 Ollama 本地运行的流程。中间遇到不少环境兼容性和文件下载的问题，整理一下供参考。
一、LLaMA Factory 安装
# 通过 git 下载项目
git clone https://github.com/hiyouga/LLaMA-Factory.git
# 进入目录
cd LLaMA-Factory
# 安装依赖
pip install -e ".[torch,metrics]"
首先遇到的问题是 Python 版本不匹配：ERROR: Package 'llamafactory' requires a different Python: 3.9.6 not in '>=3.11.0'。虽然尝试升级到更高版本，但后续发现新版本存在兼容性问题，最终回退到 3.12 版本解决。
此外还遇到了 PEP 668 的外部管理环境报错：
error: externally-managed-environment × This environment is externally managed
建议安装虚拟环境来隔离依赖：
# 安装 anaconda（如未安装）
brew install --cask anaconda
# 创建虚拟环境
conda create -n llama python=3.12
# 激活该环境
conda activate llama
再执行 pip install -e ".[torch,metrics]"。如果依然提示外部管理错误，可添加参数 --break-system-packages（注意风险）。成功安装后在目录执行 llamafactory-cli webui，访问 http://localhost:7860/ 说明安装成功。
二、模型下载与验证
在 ModelScope 找一个较小的模型进行测试，例如 DeepSeek-R1-Distill-Qwen-1.5B，可以通过 Git 方式下载：
# 因为存在大文件下载，需要安装 git-lfs
git lfs install
# 下载模型
git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B.git
下载完成后可通过页面配置模型名称、路径，然后在 Chat 中加载模型，进行测试。
初次加载时曾遇到异常，报错 SafetensorError: Error while deserializing header: header too large。原因是 Git 下载大文件不全，可以检测模型目录下 model.safetensors 的文件大小是否与下载页面一致。可以通过页面上手动下载然后移动到文件夹解决。
