跳到主要内容
极客日志极客日志面向AI+效率的开发者社区
首页博客GitHub 精选镜像工具UI配色美学隐私政策关于联系
搜索内容 / 工具 / 仓库 / 镜像...⌘K搜索
注册
博客列表
C++AI算法

Llama.cpp 部署教程：老旧电脑运行大模型方案

介绍如何在老旧电脑上通过 llama.cpp 部署大模型。涵盖硬件配置要求、GGUF 模型选型、免编译一键部署及源码编译优化两种方案。包含参数调优、常见问题排查及性能测试方法，帮助低配设备实现本地大模型推理。

DevStack发布于 2026/4/6更新于 2026/5/2230 浏览
Llama.cpp 部署教程：老旧电脑运行大模型方案

概述

本教程专为低配置设备打造，通过 llama.cpp 工具将大模型运行门槛压到极致。llama.cpp 是目前主流的轻量化推理框架，核心优势在于纯 CPU 优化、极低内存占用及 GGUF 高效模型格式。教程区分「简易免编译版」和「进阶优化版」，帮助用户完成本地部署。

一、前置准备与核心认知

1.1 最低硬件配置要求
硬件类型绝对最低门槛（能跑）推荐配置（流畅）
处理器Intel Core 2 Duo E8400 / AMD Athlon II X2 250Intel i3-4130 / AMD FX-6300 及以上
内存4GB（需关闭其他软件）8GB（可同时开浏览器）
硬盘10GB 可用空间（机械硬盘）10GB 可用空间（SSD 优先）

注意：这里的「能跑」指 1B-2B 参数模型可生成对话，「流畅」指 3B 模型响应时间在 5-10 秒内。

1.2 核心基础认知
  • llama.cpp 是什么：用 C++ 重写的 LLaMA 系列模型推理框架，专门优化 CPU 推理。
  • 为什么能极致轻量化：通过模型量化（把 32 位浮点数压缩成 4 位/8 位整数）、CPU 指令集优化（AVX/AVX2 等）、内存高效管理，降低内存占用 75% 以上。
  • GGUF 模型格式：替代旧版 GGML 的新格式，支持更多模型结构，是 llama.cpp 的标准格式。
  • 适配的模型范围：LLaMA/LLaMA 2、Mistral、Phi、TinyLLaMA、Qwen 等主流开源模型，只要有 GGUF 版本就能用。
1.3 老旧设备专属模型选型指南

选对模型是关键，优先选小参数量 + 中低量化等级的模型：

模型推荐参数量量化等级内存占用运行效果适配设备年限
TinyLLaMA-1.1B-Chat1.1BQ4_K_M~600MB简单对话、常识问答10 年以上老旧电脑
Phi-2-2.7B-Chat2.7BQ4_K_M~1.8GB逻辑推理、代码片段8 年以内办公本
Mistral-7B-Instruct-v0.27BQ3_K_S~3GB复杂对话、长文本理解5 年以内/8GB 内存设备

建议去 Hugging Face 搜「TheBloke/模型名-GGUF」，该作者会上传全量化等级的 GGUF 模型。

1.4 前置环境准备
全平台基础环境
  • Git（可选，进阶编译用）：用于克隆 llama.cpp 源码，新手极简版可跳过。
  • CMake（可选，进阶编译用）：编译工具，新手极简版可跳过。
分平台环境安装
  • Windows：
    • 新手极简版：无需额外安装。
  • 进阶版：安装 Visual Studio Build Tools（勾选「使用 C++ 的桌面开发」），安装 CMake。
  • Linux（以 Ubuntu 为例）：
    • 新手极简版：无需额外安装。
    • 进阶版：执行命令安装依赖： 
      sudo apt update && sudo apt install build-essential git cmake
  • Mac：
    • 新手极简版：无需额外安装。
    • 进阶版：安装 Xcode Command Line Tools： 
      xcode-select --install

    • 二、老旧电脑专属：llama.cpp 简易一键部署方案（免复杂编译）

    这部分是新手专属，不用写代码编译，下载工具和模型就能跑，全平台通用。

    步骤 1：获取 llama.cpp 预编译工具

    去 llama.cpp 的 GitHub Releases 页（https://github.com/ggerganov/llama.cpp/releases），下载对应系统的预编译包：

    • Windows：下载 llama.cpp-windows-x64.zip
    • Linux：下载 llama.cpp-linux-x64.zip
    • Mac：下载 llama.cpp-macos-arm64.zip（Apple Silicon）或 llama.cpp-macos-x64.zip（Intel）

    下载后解压到一个文件夹，比如 D:\llama.cpp（Windows）或 ~/llama.cpp（Linux/Mac）。

    步骤 2：下载 GGUF 模型

    以 TinyLLaMA-1.1B 为例（最适合老旧设备）：

    1. 去 Hugging Face 页面：https://huggingface.co/TheBloke/TinyLLaMA-1.1B-Chat-v1.0-GGUF
    2. 在「Files and versions」里找到 tinyllama-1.1b-chat-v1.0.Q4_K_M.gguf，点击下载。
    3. 在 llama.cpp 文件夹里新建一个 models 文件夹，把下载的模型放进去。
    步骤 3：一键运行对话
    Windows：
    1. 打开 llama.cpp 文件夹，找到 main.exe。
    2. 按住 Shift 键，在文件夹空白处右键，选择「在此处打开 PowerShell 窗口」。 输入以下命令并回车： 
      .\main.exe -m .\models\tinyllama-1.1b-chat-v1.0.Q4_K_M.gguf -t 4 -c 512 --mlock
      （参数说明：-t 4 是用 4 个线程，根据你的 CPU 核心数改；-c 512 是上下文长度，减少内存；--mlock 是锁定内存避免卡顿。）
    Linux/Mac：

    给执行文件加权限（仅第一次）：

    chmod +x main

    打开终端，进入 llama.cpp 文件夹：

    cd ~/llama.cpp

    运行命令：

    ./main -m ./models/tinyllama-1.1b-chat-v1.0.Q4_K_M.gguf -t 4 -c 512 --mlock
    步骤 4：开始对话

    运行后终端会显示「>」，直接输入问题回车即可，比如：

    > 你好，介绍一下你自己。

    想退出的话，输入 exit 或按 Ctrl+C。

    三、llama.cpp 全功能进阶部署与编译优化（极致性能版）

    如果你想自己编译工具、转换模型，或者榨干设备性能，看这部分。

    3.1 全平台源码编译实操
    Windows：
    1. 打开「x64 Native Tools Command Prompt for VS 2022」（在开始菜单搜）。
    2. 进入 llama.cpp 目录，创建 build 文件夹并编译： 
      mkdir build

    cd build cmake .. -DLLAMA_NATIVE=ON -DLLAMA_AVX2=ON cmake --build . --config Release

    （`-DLLAMA_NATIVE=ON` 会自动优化你的 CPU 指令集，性能提升 10%-20%。）
3. 编译好的工具在 `build\bin\Release` 文件夹里。

##### Linux：

1. 克隆源码并进入目录：
```bash
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
    1. 编译： 
      mkdir build

    cd build cmake .. -DLLAMA_NATIVE=ON make -j4

    （`-j4` 是用 4 个线程编译，根据你的 CPU 核心数改。）
3. 编译好的工具在 `build/bin` 文件夹里。

##### Mac：

1. 克隆源码并进入目录：
```bash
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
    1. 编译： 
      mkdir build

    cd build cmake .. -DLLAMA_NATIVE=ON -DLLAMA_METAL=OFF # Intel Mac 关闭 Metal

    Apple Silicon Mac 用：cmake .. -DLLAMA_NATIVE=ON -DLLAMA_METAL=ON

    make -j4

    3. 编译好的工具在 `build/bin` 文件夹里。

#### 3.2 模型转换与 GGUF 格式适配

如果你有自己的 PyTorch 模型（比如微调后的 Qwen），可以转成 GGUF：

转换模型（以 Q4_K_M 量化为例）：
```python
python convert.py /path/to/your/pytorch_model --outtype q4_k_m --outfile /path/to/output.gguf

    安装 Python 依赖：

    pip install -r requirements.txt
    3.3 极致轻量化核心参数配置

    运行 main 时的参数直接决定性能，老旧设备按以下建议调：

    参数作用老旧设备建议值适配场景
    -m模型路径必须填写所有场景
    -t线程数CPU 物理核心数提升生成速度
    -c上下文长度（记忆长度）512-1024减少内存占用
    --mlock锁定内存，避免交换到硬盘开启4GB 内存设备必开
    --no-mmap不使用内存映射开启小内存设备（<8GB）必开
    --n-predict每次生成的最大 token 数128-256减少生成时间

    示例命令（综合优化）：

    ./main -m ./models/phi-2-2.7b-chat.Q4_K_M.gguf -t 4 -c 512 --mlock --no-mmap --n-predict 128

    四、运行效果测试与极致优化技巧

    4.1 运行效果验证
    • 对话效果：输入「用 3 句话介绍人工智能」，看回答是否通顺、符合逻辑。
    • 响应速度：用以下命令测试生成 10 个 token 的时间： 
      ./main -m ./models/tinyllama-1.1b-chat-v1.0.Q4_K_M.gguf -t 4 -c 512 --prompt "Hello" --n-predict 10
      老旧设备能在 2-5 秒内生成就算流畅。
    4.2 老旧设备专属 5 个极致流畅度优化技巧
    1. 模型选「小而精」的：优先用 TinyLLaMA-1.1B 或 Phi-2，不要碰 7B 以上的模型。
    2. 量化等级选 Q3_K_S 或 Q4_K_M：Q3_K_S 内存最小，Q4_K_M 平衡质量和内存，老旧设备别用 Q8_0。
    3. 线程数设为物理核心数：比如双核就设 -t 2，四核设 -t 4，超线程不会提升太多性能。
    4. 关闭所有后台软件：浏览器、微信、杀毒软件都关掉，能省出 1-2GB 内存。
    5. 用 SSD 放模型：如果你的老旧电脑能加 SSD，把 llama.cpp 和模型放 SSD 里，加载速度能快 3 倍以上。

    五、老旧设备部署高频问题排查与解决方案

    问题 1：编译失败
    • 现象：执行 cmake 或 make 时报错。
    • 原因：环境没装对（比如 Windows 没装 VS Build Tools）。
    • 解决方案：
      • Windows：重新安装 Visual Studio Build Tools，确保勾选「使用 C++ 的桌面开发」。
      • Linux：执行 sudo apt install --reinstall build-essential。
      • Mac：执行 xcode-select --reset 重新安装命令行工具。
    问题 2：运行卡顿、闪退
    • 现象：生成一个字要等 10 秒以上，或者直接退出。
    • 原因：内存不足，或者线程数设太高。
    • 解决方案：
      • 把 -c 改成 256，--n-predict 改成 64。
      • 开启 --mlock 和 --no-mmap。
      • 换更小的模型（比如从 Phi-2 换成 TinyLLaMA）。
    问题 3：模型加载报错
    • 现象：提示「failed to load model」。
    • 原因：模型路径错了，或者模型不是 GGUF 格式。
    • 解决方案：
      • 检查 -m 后面的路径，比如 Windows 要写 ./models/model.gguf，不要有中文。
      • 确认模型是从 Hugging Face 下的 GGUF 格式，不是 PyTorch 的 .bin 文件。
    问题 4：中文乱码
    • 现象：输入中文后显示乱码，或者回答是乱码。
    • 原因：终端编码不是 UTF-8。
    • 解决方案：
      • Windows：在 PowerShell 里先执行 chcp 65001，再运行 main。
      • Linux/Mac：确保终端设置里编码是 UTF-8（一般默认就是）。
    问题 5：无响应
    • 现象：输入问题后终端没反应。
    • 原因：线程数设太高，CPU 占满了。
    • 解决方案：
      • 按 Ctrl+C 退出。
      • 把 -t 改成更小的值（比如从 8 改成 4）。

    总结

    通过本教程，你已经掌握了 llama.cpp 的「简易免编译部署」和「进阶编译优化」两种方法，哪怕是老旧电脑也能跑大模型了。

    目录

    1. 概述
    2. 一、前置准备与核心认知
    3. 1.1 最低硬件配置要求
    4. 1.2 核心基础认知
    5. 1.3 老旧设备专属模型选型指南
    6. 1.4 前置环境准备
    7. 全平台基础环境
    8. 分平台环境安装
    9. 二、老旧电脑专属：llama.cpp 简易一键部署方案（免复杂编译）
    10. 步骤 1：获取 llama.cpp 预编译工具
    11. 步骤 2：下载 GGUF 模型
    12. 步骤 3：一键运行对话
    13. Windows：
    14. Linux/Mac：
    15. 步骤 4：开始对话
    16. 三、llama.cpp 全功能进阶部署与编译优化（极致性能版）
    17. 3.1 全平台源码编译实操
    18. Windows：
    19. Linux：
    20. Mac：
    21. Apple Silicon Mac 用：cmake .. -DLLAMANATIVE=ON -DLLAMAMETAL=ON
    22. 3.2 模型转换与 GGUF 格式适配
    23. 3.3 极致轻量化核心参数配置
    24. 四、运行效果测试与极致优化技巧
    25. 4.1 运行效果验证
    26. 4.2 老旧设备专属 5 个极致流畅度优化技巧
    27. 五、老旧设备部署高频问题排查与解决方案
    28. 问题 1：编译失败
    29. 问题 2：运行卡顿、闪退
    30. 问题 3：模型加载报错
    31. 问题 4：中文乱码
    32. 问题 5：无响应
    33. 总结
    • 💰 8折买阿里云服务器限时8折了解详情
    • Magick API 一键接入全球大模型注册送1000万token查看
    • 🤖 一键搭建Deepseek满血版了解详情
    • 一键打造专属AI 智能体了解详情
    极客日志微信公众号二维码

    微信扫一扫，关注极客日志

    微信公众号「极客日志V2」，在微信中扫描左侧二维码关注。展示文案：极客日志V2 zeeklog

    更多推荐文章

    查看全部
    • OpenClaw 技能精选：本地 AI 助手超级插件市场指南
    • OpenClaw + GitHub Copilot GPT-5.4 技术修复指南
    • 基于 IsaacLab 的机器人行走训练指南
    • 基于 Leaflet-Trackplayer 的 WebGIS 高速轨迹可视化实战
    • OpenClaw 技能精选：为本地 AI 助手构建能力库
    • NOFX AI 量化交易系统部署与实战指南
    • C++入门：输入输出流、缺省参数与函数重载
    • 2026 年 3 月 18 日 AI 行业前沿：算力竞赛、智能体落地与产业新范式
    • VMware Workstation 17 下 Ubuntu 24.04 虚拟机卡死问题排查与解决
    • OpenClaw 接入飞书机器人与 Kimi2.5 配置指南
    • C++ 入门进阶：输入输出、缺省参数与函数重载
    • Android 开发者职业成长历程与技术学习心得
    • Qwen-Multiple-Angles 插件：96 种相机角度控制与 ComfyUI 集成使用指南
    • Hibernate 核心 API 与查询方式实战回顾
    • 知网 AIGC 检测原理及论文被判定为 AI 生成的原因分析
    • OpenClaw 技能精选：为本地 AI 助手构建超级插件市场
    • 二叉树深度优先搜索算法及经典例题解析
    • 前端地图基本操作控制：平移、缩放、旋转与样式切换
    • C++ 入门进阶：输入输出流、缺省参数与函数重载
    • Android WebRTC VAD 语音活动检测实现与优化

    相关免费在线工具

    • 加密/解密文本

      使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online

    • RSA密钥对生成器

      生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online

    • Mermaid 预览与可视化编辑

      基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online

    • 随机西班牙地址生成器

      随机生成西班牙地址（支持马德里、加泰罗尼亚、安达卢西亚、瓦伦西亚筛选），支持数量快捷选择、显示全部与下载。 在线工具，随机西班牙地址生成器在线工具，online

    • Gemini 图片去水印

      基于开源反向 Alpha 混合算法去除 Gemini/Nano Banana 图片水印，支持批量处理与下载。 在线工具，Gemini 图片去水印在线工具，online

    • Base64 字符串编码/解码

      将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online