跳到主要内容
极客日志极客日志面向AI+效率的开发者社区
首页博客GitHub 精选镜像工具UI配色美学隐私政策关于联系
搜索内容 / 工具 / 仓库 / 镜像...⌘K搜索
注册
博客列表
PythonAI算法

Mac 基于 LLaMA Factory 微调模型并导入 Ollama 实践

综述由AI生成记录了在 Mac 环境下使用 LLaMA Factory 微调开源模型并集成至 Ollama 的全过程。内容涵盖环境搭建(Anaconda 虚拟环境)、模型下载验证(Git LFS)、数据集配置、训练过程中的 Python 版本兼容性排查(推荐 3.12 版本),以及最终模型导出与 API 调用测试。解决了模型加载报错及高版本 Python 不兼容问题,实现了从微调完成到本地部署的全流程。

蜜桃汽水发布于 2026/4/6更新于 2026/5/2231 浏览
Mac 基于 LLaMA Factory 微调模型并导入 Ollama 实践

一、LLaMA Factory 安装

# 通过 git 下载项目
git clone https://github.com/hiyouga/LLaMA-Factory.git
# 进入目录
cd LLaMA-Factory
# 安装
pip install -e ".[torch,metrics]"

遇到问题:ERROR: Package 'llamafactory' requires a different Python: 3.9.6 not in '>=3.11.0'。建议升级 Python 至稳定版本(如 3.12),不建议盲目选择最新测试版。

问题 2:externally-managed-environment 错误。

解决方案:使用虚拟环境。

# 安装 anaconda
brew install --cask anaconda
# 创建虚拟环境
conda create -n llama python=3.12
# 激活该环境
conda activate llama

再次执行 pip install -e ".[torch,metrics]"。成功安装后在目录执行 llamafactory-cli webui,访问 http://localhost:7860/ 说明安装成功。

图片

二、模型下载与验证

在 ModelScope 选择一个较小的模型,例如 DeepSeek-R1-Distill-Qwen-1.5B,可通过 Git 方式下载。

# 因为存在大文件下载,需要安装 git-lfs
git lfs install
# 下载模型
git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B.git

下载完成后可通过页面配置模型名称、路径,然后在 Chat 中加载模型进行测试。

初次加载可能抛出异常,提示 SafetensorError: Error while deserializing header: header too large。原因是 Git 下载大文件不全,请检查 model.safetensors 文件大小是否与下载页面一致。可手动下载后移动到文件夹。

图片

加载成功后可以通过聊天测试。

图片

三、数据集准备

微调需要导入一份数据集,同样在 ModelScope 下载一份小的数据集,将 JSON 文件移动到 ${dir}/LLaMA-Factory/data 下,然后修改该目录下的文件 dataset_info.json,在末尾中添加如下配置。

{
  "huanhuan": {
    "file_name": "huanhuan.json"
  }
}

在页面 Train 中数据集能搜到文件名 huanhuan。

预览有数据则配置成功。

图片

四、训练与验证效果

直接用默认的配置点击开始。

图片

之前使用高版本 Python 遇到的问题,导入数据集函数不兼容,报错 TypeError: Pickler._batch_setitems() takes 2 positional arguments but 3 were given。后换成 3.12 版本调通微调。

训练完成的日志示例:

***** train metrics *****
epoch = 3.0
num_input_tokens_seen = 776520
total_flos = 6738458GF
train_loss = 4.5287
train_runtime = 0:46:36.50
train_samples_per_second = 4.0
train_steps_per_second = 0.251
Figure saved at: saves/DeepSeek-R1-1.5B-Distill/lora/train_2026-02-12-16-14-47/training_loss.png

在检查点路径选择我们自己训练后输出的数据集,然后需要先卸载模型,再重新加载。最后在聊天测试'我是谁',它的答案就不是之前的 deepseek 深度求索了。

图片

五、导出 Ollama

Ollama 可以提供 API 接口,给到后台服务直接调用。这里通过 Export,配置对应的导出路径,就可以导出镜像。

图片

然后通过 Ollama 的创建指令加载刚才导出的目录下的 Modelfile,名称 test_DeepSeek 可自定义。

# 安装导出的模型
ollama create test_DeepSeek -f <path>/Modelfile
# 查看
ollama list
# 运行模型,名称默认带上 :latest 标签
ollama run test_DeepSeek:latest

后台就可以通过接口来调用 Ollama 的服务。

目录

  1. 一、LLaMA Factory 安装
  2. 通过 git 下载项目
  3. 进入目录
  4. 安装
  5. 安装 anaconda
  6. 创建虚拟环境
  7. 激活该环境
  8. 二、模型下载与验证
  9. 因为存在大文件下载,需要安装 git-lfs
  10. 下载模型
  11. 三、数据集准备
  12. 四、训练与验证效果
  13. 五、导出 Ollama
  14. 安装导出的模型
  15. 查看
  16. 运行模型,名称默认带上 :latest 标签
  • 💰 8折买阿里云服务器限时8折了解详情
  • Magick API 一键接入全球大模型注册送1000万token查看
  • 🤖 一键搭建Deepseek满血版了解详情
  • 一键打造专属AI 智能体了解详情
极客日志微信公众号二维码

微信扫一扫,关注极客日志

微信公众号「极客日志V2」,在微信中扫描左侧二维码关注。展示文案:极客日志V2 zeeklog

更多推荐文章

查看全部
  • 大语言模型(LLM)基础概念与核心面试题解析
  • World Monitor:基于 AI 的全球情报态势感知仪表盘
  • 自然语言处理在客户服务中的实战:从模型应用到聊天机器人开发
  • 从建模到交互:Python 构建真实 3D 场景的完整工作流详解
  • 大模型智能体驱动的社会模拟:从个体到社会
  • 汽车雷达多径环境下幽灵目标检测与 GLRT 方法研究
  • VS Code 远程连接服务器后 GitHub Copilot 无法使用
  • Linux 下 libwebkit2gtk-4.1-0 安装与配置指南
  • 数据结构:查找算法与二叉排序树详解
  • Java + AI 混合编程落地实施方案
  • Spring Web MVC 核心注解与实战解析
  • Python Bokeh 交互式 Web 可视化实战指南
  • 7 天用 Electron 开发跨平台桌面应用实战指南
  • OpenClaw 新手指南:从零开始的 AI 机器人搭建完全攻略
  • 前缀和算法详解与应用
  • 大语言模型(LLM)学习路线与初学者入门指南
  • STL 红黑树(RB-tree)原理与插入操作实现详解
  • Heygem 数字人系统 Linux 环境依赖安装步骤
  • Python 环境完整卸载指南(含 Python、PyCharm、Anaconda)
  • GitHub Copilot 集成第三方模型 API 配置指南

相关免费在线工具

  • 加密/解密文本

    使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online

  • RSA密钥对生成器

    生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online

  • Mermaid 预览与可视化编辑

    基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online

  • 随机西班牙地址生成器

    随机生成西班牙地址(支持马德里、加泰罗尼亚、安达卢西亚、瓦伦西亚筛选),支持数量快捷选择、显示全部与下载。 在线工具,随机西班牙地址生成器在线工具,online

  • Gemini 图片去水印

    基于开源反向 Alpha 混合算法去除 Gemini/Nano Banana 图片水印,支持批量处理与下载。 在线工具,Gemini 图片去水印在线工具,online

  • curl 转代码

    解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online