Ollama 本地 AI 大模型部署与使用指南

📊 模型大小与硬件对应关系

模型参数量    内存需求      适合场景
────────────────────────────────────
1B - 3B      2-4GB        简单对话、低配电脑
7B - 8B      6-8GB        日常使用、主流选择
14B - 32B    12-24GB      专业任务、高性能电脑
70B+         48GB+        企业级、多卡服务器

🔧 系统版本要求

• Windows：Windows 10 或更高版本（推荐 Windows 11）
• macOS：macOS 12 (Monterey) 或更高版本
• Linux：Ubuntu 20.04+、Debian 11+、CentOS 7+

四、Ollama 安装教程（Windows/Mac/Linux）

🪟 Windows 安装步骤

方法一：官网下载安装（推荐）

步骤 1：下载安装包 访问 Ollama 官网下载页面或直接下载 OllamaSetup.exe。

步骤 2：运行安装程序

1. 双击 OllamaSetup.exe
2. 点击 "运行" 处理安全警告
3. 点击 "Install" 开始安装
4. 等待完成（约 1-2 分钟）

步骤 3：验证安装 打开 CMD 或 PowerShell，输入：

ollama --version

显示版本号即成功。

方法二：命令行安装

以管理员身份打开 PowerShell，执行：

iwr -useb https://ollama.com/install.ps1 | iex

🍎 macOS 安装步骤

方法一：DMG 安装包安装

1. 下载 Ollama.dmg
2. 拖拽至 Applications 文件夹
3. 打开应用程序

方法二：命令行安装

curl -fsSL https://ollama.com/install.sh | sh

🐧 Linux 安装步骤

Ubuntu/Debian 系统

curl -fsSL https://ollama.com/install.sh | sh

检查服务状态：

systemctl status ollama

其他 Linux 发行版

使用 Docker 方式：

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

✅ 安装成功验证

# 检查版本号
ollama --version
# 检查服务是否运行
curl http://localhost:11434

出现 "Ollama is running" 说明成功。

五、常用命令详解

📥 模型管理命令

# 下载并运行模型
ollama run <模型名>
# 示例：运行 Llama 3
ollama run llama3

# 仅下载模型但不运行
ollama pull <模型名>

# 查看本地已安装的模型列表
ollama list

# 删除本地模型
ollama rm <模型名>

🔧 模型运行命令

# 运行模型并进入交互对话
ollama run <模型名>

# 运行模型并传入单条消息
ollama run <模型名> "你好"

# 后台运行模型服务
ollama serve

📊 系统信息命令

# 查看正在运行的模型
ollama ps

# 复制模型
ollama cp <源模型> <目标模型>

🎯 常用参数说明

六、热门模型推荐

Ollama 支持 480+ 开源模型，以下是推荐模型：

🏆 综合推荐榜

📋 按场景选择模型

🔹 通用对话/日常使用

ollama run llama3.1:8b
ollama run qwen3.5:32b

🔹 代码编程

ollama run qwen2.5-coder:32b
ollama run deepseek-coder:6.7b

🔹 新手推荐入门模型

ollama run llama3.2:3b
ollama run qwen2.5:7b
ollama run mistral:7b

七、实战案例：打造你的私人 AI 助手

案例一：本地编程助手

步骤 1：下载代码专用模型

ollama pull qwen2.5-coder:32b

步骤 2：创建对话

ollama run qwen2.5-coder:32b

步骤 3：开始使用

>>> 请帮我写一个 Python 函数，用于计算斐波那契数列
def fibonacci(n):
    if n <= 0: return []
    elif n == 1: return [0]
    fib_list = [0, 1]
    for i in range(2, n): fib_list.append(fib_list[i-1] + fib_list[i-2])
    return fib_list

案例二：文档分析助手

创建 Python 脚本 doc_analyzer.py：

import requests

def analyze_document(file_path, prompt):
    with open(file_path, 'r', encoding='utf-8') as f:
        content = f.read()
    response = requests.post(
        'http://localhost:11434/api/generate',
        json={
            'model': 'qwen3.5:32b',
            'prompt': f'{prompt}\n\n文档内容:\n{content}',
            'stream': False
        }
    )
    return response.json()['response']

result = analyze_document('report.txt', '请总结这份文档的主要内容')
print(result)

八、进阶配置：可视化界面与 API 调用

🎨 安装可视化界面（Open WebUI）

步骤 1：使用 Docker 安装

docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

步骤 2：访问界面 浏览器打开：http://localhost:3000

步骤 3：配置连接 设置中添加 Ollama 服务地址：http://host.docker.internal:11434

🔌 API 调用示例

Python 调用示例

import requests

response = requests.post(
    'http://localhost:11434/api/generate',
    json={
        'model': 'llama3',
        'prompt': '你好，请介绍一下你自己',
        'stream': False
    }
)
print(response.json()['response'])

流式响应示例

import requests

response = requests.post(
    'http://localhost:11434/api/generate',
    json={
        'model': 'llama3',
        'prompt': '写一首关于春天的诗',
        'stream': True
    },
    stream=True
)
for line in response.iter_lines():
    if line:
        print(line.decode('utf-8'))

📁 自定义模型配置（Modelfile）

步骤 1：创建 Modelfile

FROM llama3
SYSTEM "你是一个专业的编程助手，擅长 Python、JavaScript 等编程语言。请用简洁、清晰的代码回答问题。"
PARAMETER temperature 0.7
PARAMETER num_ctx 4096

步骤 2：创建自定义模型

ollama create my-coder -f Modelfile

步骤 3：运行自定义模型

ollama run my-coder

九、常见问题与解决方案

❓ 问题 1：下载模型速度慢

解决方案：

export OLLAMA_HOST=https://ollama.ainews.cn
# 或使用代理
export HTTP_PROXY=http://proxy.example.com:8080
export HTTPS_PROXY=http://proxy.example.com:8080

❓ 问题 2：内存不足，模型无法运行

解决方案：

# 选择更小的模型
ollama run llama3.2:3b
# 减少上下文长度
ollama run llama3 --num_ctx 2048
# 配置存储路径
setx OLLAMA_MODELS "D:\ollama\models"

❓ 问题 3：GPU 加速不生效

解决方案：

nvidia-smi
ollama serve
ollama ps

❓ 问题 4：中文输出乱码

解决方案：

export LANG=zh_CN.UTF-8
ollama run llama3 "请用中文回答所有问题"

❓ 问题 5：Ollama 服务无法启动

解决方案：

netstat -ano | findstr 11434
ollama serve
journalctl -u ollama

十、总结与资源

📝 快速回顾

🔗 推荐资源

💡 最佳实践建议

1. 从轻量模型开始：先用 7B 以下模型熟悉流程
2. 合理分配存储：模型文件较大，建议单独分区存储
3. 定期清理：不用的模型及时删除，释放空间
4. 关注更新：Ollama 和模型都在快速迭代，保持更新
5. 社区交流：遇到问题可以在 GitHub 或社区寻求帮助