在 Mac 平台上使用 LLaMA Factory 进行大模型微调并导入 Ollama 运行,虽然流程清晰,但在环境依赖、模型加载及版本兼容性上容易遇到一些坑。以下是基于实际调试过程总结的关键步骤与解决方案。
安装与配置
首先通过 Git 拉取项目源码:
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
安装依赖时需注意 Python 版本要求。尝试直接安装可能会遇到 ERROR: Package 'llamafactory' requires a different Python 错误,提示需要 Python >= 3.11.0。虽然升级到最新版(如 3.14)能解决此问题,但后续训练阶段可能因第三方库(如 dill)不兼容而报错。建议优先使用 Conda 创建虚拟环境以保证稳定性:
brew install --cask anaconda
conda create -n llama_env python=3.12
conda activate llama_env
pip install -e ".[torch,metrics]"
若系统级 Python 受限,可临时添加 --break-system-packages 参数,但更推荐上述虚拟环境方案。安装完成后执行 llamafactory-cli webui 启动服务,访问 http://localhost:7860/ 确认 WebUI 正常加载。

模型下载与验证
选择 ModelScope 上的轻量级模型进行测试,例如 DeepSeek-R1-Distill-Qwen-1.5B。由于包含大文件,需先安装 Git LFS:
git lfs install
git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B.git
下载完成后,建议在 WebUI 中配置模型路径并加载测试。若遇到 SafetensorError: Error while deserializing header: header too large 异常,通常意味着模型文件未完整下载。请对比本地 model.safetensors 文件大小与 ModelScope 页面显示的大小是否一致,必要时手动下载替换。

数据集准备
微调需要指定数据集。从 ModelScope 下载示例数据(如甄嬛 1M 数据集),将 huanhuan.json 放入 ${dir}/LLaMA-Factory/data 目录下。随后编辑该目录下的 dataset_info.json,追加配置:
{
"huanhuan": {
"file_name"




