Ollama 本地 AI 大模型部署与使用指南

模型大小与硬件对应关系

系统版本要求

• Windows：Windows 10 或更高版本（推荐 Windows 11）
• macOS：macOS 12 (Monterey) 或更高版本
• Linux：Ubuntu 20.04+、Debian 11+、CentOS 7+

Ollama 安装教程（Windows/Mac/Linux）

Windows 安装步骤

方法一：官网下载安装（推荐）

步骤 1：下载安装包

访问 Ollama 官网下载页面：https://ollama.com/download

或者直接下载 Windows 安装包：OllamaSetup.exe

💡 国内用户提示：如果官网下载速度慢，可以使用镜像源或加速链接

步骤 2：运行安装程序

1. 双击下载的 OllamaSetup.exe 文件
2. 系统可能会弹出安全警告窗口，点击 "运行"
3. 点击 "Install" 开始安装
4. 等待安装完成（约 1-2 分钟）

步骤 3：验证安装

打开命令提示符（CMD）或 PowerShell，输入：

ollama --version 

如果显示版本号，说明安装成功！

方法二：命令行安装

以管理员身份打开 PowerShell，执行：

iwr -useb https://ollama.com/install.ps1 | iex 

macOS 安装步骤

方法一：DMG 安装包安装

步骤 1：下载安装包

访问官网下载 macOS 版本：Ollama.dmg（适配 macOS 14 Sonoma 及更高版本）

步骤 2：安装

1. 双击下载的 .dmg 文件
2. 将 Ollama 图标拖拽到 Applications 文件夹
3. 在应用程序中打开 Ollama

步骤 3：验证安装

打开终端（Terminal），输入：

ollama --version 

方法二：命令行安装

打开终端，执行：

curl -fsSL https://ollama.com/install.sh | sh 

Linux 安装步骤

Ubuntu/Debian 系统

步骤 1：执行安装命令

curl -fsSL https://ollama.com/install.sh | sh 

步骤 2：验证安装

ollama --version 

步骤 3：检查服务状态

systemctl status ollama 

其他 Linux 发行版

也可以使用 Docker 方式安装：

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama 

安装成功验证

安装完成后，执行以下命令验证：

# 1. 检查版本号
ollama --version 
# 2. 检查服务是否运行
curl http://localhost:11434 # 出现 "Ollama is running" 说明安装成功！

常用命令详解

Ollama 的命令非常简单，掌握以下几个核心命令就能轻松使用：

模型管理命令

# 下载并运行模型（最常用！）
ollama run <模型名>
# 示例：运行 Llama 3 模型
ollama run llama3

# 仅下载模型但不运行
ollama pull <模型名>
# 示例：下载 Qwen 模型
ollama pull qwen2.5

# 查看本地已安装的模型列表
ollama list

# 删除本地模型（释放空间）
ollama rm <模型名>
# 示例：删除 llama3 模型
ollama rm llama3

模型运行命令

# 运行模型并进入交互对话
ollama run <模型名>

# 运行模型并传入单条消息
ollama run <模型名> "你好，请介绍一下你自己"

# 运行模型并指定参数
ollama run <模型名> --num_ctx 4096 --temperature 0.7

# 后台运行模型服务
ollama serve

系统信息命令

# 查看 Ollama 版本
ollama --version

# 查看正在运行的模型
ollama ps

# 查看模型详细信息
ollama show <模型名>

# 复制模型（创建副本）
ollama cp <源模型> <目标模型>

常用参数说明

2026 年热门模型推荐

Ollama 支持 480+ 开源模型，以下是 2026 年最值得推荐的模型：

综合推荐榜

按场景选择模型

通用对话/日常使用

# 轻量级（低配电脑）
ollama run llama3.1:8b
# 平衡型（主流配置）
ollama run llama3.3:70b
# 中文优化
ollama run qwen3.5:32b

代码编程

# 代码专用模型
ollama run qwen2.5-coder:32b
# 通用代码能力
ollama run deepseek-coder:6.7b

复杂推理

# 强推理模型
ollama run deepseek-r1:32b
# 思考链模式
ollama run qwen3-max-thinking

多语言支持

# 多语言模型
ollama run gemma3:7b
# 中文优化
ollama run qwen2.5:14b

新手推荐入门模型

对于第一次使用 Ollama 的用户，推荐从以下模型开始：

# 入门首选：轻量、快速、效果好
ollama run llama3.2:3b
# 中文用户推荐
ollama run qwen2.5:7b
# 平衡性能和资源
ollama run mistral:7b

实战案例：打造你的私人 AI 助手

案例一：本地编程助手

场景：作为开发者，想要一个能理解项目代码、帮助写代码的 AI 助手，但担心代码泄露。

步骤 1：下载代码专用模型

ollama pull qwen2.5-coder:32b 

步骤 2：创建对话

ollama run qwen2.5-coder:32b 

步骤 3：开始使用

>>> 请帮我写一个 Python 函数，用于计算斐波那契数列
def fibonacci(n):
    if n <= 0:
        return []
    elif n == 1:
        return [0]
    fib_list = [0, 1]
    for i in range(2, n):
        fib_list.append(fib_list[i-1] + fib_list[i-2])
    return fib_list

# 使用示例
print(fibonacci(10)) # 输出：[0, 1, 1, 2, 3, 5, 8, 13, 21, 34]

优势：代码完全在本地处理，不用担心泄露到云端！

案例二：文档分析助手

场景：需要分析大量本地文档，但不想上传到云端。

步骤 1：下载适合长文本的模型

ollama pull qwen3.5:32b 

步骤 2：使用 Ollama API 读取文件

创建一个 Python 脚本 doc_analyzer.py：

import requests

def analyze_document(file_path, prompt):
    # 读取文件内容
    with open(file_path, 'r', encoding='utf-8') as f:
        content = f.read()
    
    # 调用 Ollama API
    response = requests.post(
        'http://localhost:11434/api/generate',
        json={
            'model': 'qwen3.5:32b',
            'prompt': f'{prompt}\n\n文档内容:\n{content}',
            'stream': False
        }
    )
    return response.json()['response']

# 使用示例
result = analyze_document('report.txt', '请总结这份文档的主要内容')
print(result)

步骤 3：运行脚本

python doc_analyzer.py 

案例三：离线翻译工具

场景：需要翻译敏感文档，不能联网。

# 下载多语言模型
ollama run gemma3:7b "请将以下内容翻译成英文：你好，今天天气很好"

进阶配置：可视化界面与 API 调用

安装可视化界面（Open WebUI）

Ollama 默认是命令行界面，如果想要类似 ChatGPT 的网页界面，可以安装 Open WebUI：

步骤 1：使用 Docker 安装

docker run -d -p 3000:8080 \ 
--add-host=host.docker.internal:host-gateway \ 
-v open-webui:/app/backend/data \ 
--name open-webui \ 
--restart always \ 
ghcr.io/open-webui/open-webui:main 

步骤 2：访问界面

浏览器打开：http://localhost:3000

步骤 3：配置 Ollama 连接

在设置中添加 Ollama 服务地址：http://host.docker.internal:11434

API 调用示例

Ollama 提供标准的 REST API，方便集成到其他应用：

Python 调用示例

import requests

# 简单对话
response = requests.post(
    'http://localhost:11434/api/generate',
    json={
        'model': 'llama3',
        'prompt': '你好，请介绍一下你自己',
        'stream': False
    }
)
print(response.json()['response'])

流式响应示例

import requests

response = requests.post(
    'http://localhost:11434/api/generate',
    json={
        'model': 'llama3',
        'prompt': '写一首关于春天的诗',
        'stream': True
    },
    stream=True
)
for line in response.iter_lines():
    if line:
        print(line.decode('utf-8'),)

自定义模型配置（Modelfile）

可以创建自定义的 Modelfile 来配置模型行为：

步骤 1：创建 Modelfile

FROM llama3
# 设置系统提示
SYSTEM """
你是一个专业的编程助手，擅长 Python、JavaScript 等编程语言。
请用简洁、清晰的代码回答问题。
"""
# 设置参数
PARAMETER temperature 0.7
PARAMETER num_ctx 4096

步骤 2：创建自定义模型

ollama create my-coder -f Modelfile 

步骤 3：运行自定义模型

ollama run my-coder 

常见问题与解决方案

问题 1：下载模型速度慢

解决方案：

# 方法 1：使用国内镜像源
export OLLAMA_HOST=https://ollama.ainews.cn
# 方法 2：配置代理
export HTTP_PROXY=http://proxy.example.com:8080
export HTTPS_PROXY=http://proxy.example.com:8080
# 方法 3：手动下载 GGUF 模型后导入
# 从魔搭社区下载 GGUF 格式模型
# 然后使用 ollama import 命令导入

问题 2：内存不足，模型无法运行

解决方案：

# 方法 1：选择更小的模型
ollama run llama3.2:3b # 代替 llama3:70b
# 方法 2：减少上下文长度
ollama run llama3 --num_ctx 2048
# 方法 3：配置模型存储路径到更大磁盘
# Windows
setx OLLAMA_MODELS "D:\ollama\models"
# macOS/Linux
echo 'export OLLAMA_MODELS=/data/ollama/models' >> ~/.bashrc
source ~/.bashrc

问题 3：GPU 加速不生效

解决方案：

# 1. 检查 NVIDIA 驱动
nvidia-smi
# 2. 确保安装 CUDA 工具包
# 3. 重启 Ollama 服务
ollama serve
# 4. 查看 GPU 使用情况
ollama ps

问题 4：中文输出乱码

解决方案：

# 方法 1：使用中文优化模型
ollama run qwen3.5
# 方法 2：设置正确的编码
# 在终端中设置 UTF-8 编码
export LANG=zh_CN.UTF-8
# 方法 3：在系统提示中指定语言
ollama run llama3 "请用中文回答所有问题"

问题 5：Ollama 服务无法启动

解决方案：

# 1. 检查端口是否被占用
netstat -ano | findstr 11434 # Windows
lsof -i :11434 # Mac/Linux
# 2. 重启服务
ollama serve
# 3. 检查日志
# Windows: 事件查看器
# Mac/Linux: journalctl -u ollama

总结与资源

快速回顾

推荐资源

最佳实践建议

1. 从轻量模型开始：先用 7B 以下模型熟悉流程
2. 合理分配存储：模型文件较大，建议单独分区存储
3. 定期清理：不用的模型及时删除，释放空间
4. 关注更新：Ollama 和模型都在快速迭代，保持更新
5. 社区交流：遇到问题可以在 GitHub 或社区寻求帮助