介绍如何在 Ollama 中优化 Llama-3.2-3B 模型的上下文窗口和 Token 限制。通过创建自定义 Modelfile 调整 num_ctx 和 num_predict 参数，解决模型失忆或文本截断问题。步骤包括环境检查、Modelfile 编写、模型构建及测试验证，帮助提升长对话和文档处理能力。
如果你正在使用 Ollama 运行 Llama-3.2-3B，可能会遇到这样的问题：对话聊着聊着，模型好像'失忆'了，不记得之前说了什么；或者当你输入一段稍长的文本时，直接被截断，只处理了前面一小部分。
这通常不是模型本身的问题，而是默认的上下文长度（context window）和 token 限制设置不够用。今天，我就来手把手教你如何调整这些关键参数，让你的 Llama-3.2-3B 真正'火力全开'，处理更长的对话和文档。
在深入操作之前，我们先花两分钟搞懂两个关键名词，这能帮你更好地理解为什么要调整，以及调整到什么程度合适。
你可以把 Context Window 想象成模型的工作记忆区或'短期记忆'。它决定了模型在生成下一个词时，能'看到'并参考之前多长的文本。
Token 是模型处理文本的基本单位。它不严格等于一个单词或一个汉字。
简单来说，调整 Context Window 是为了让模型'记得更多'，调整 Token 限制是为了让模型'一次说得更长'。
在开始调整之前，我们需要确保基础环境是正常的。
首先，打开你的终端（命令行），执行以下命令，检查 Ollama 是否在运行以及模型是否已拉取：
# 检查 Ollama 服务状态（Linux/macOS）
curl http://localhost:11434/api/tags
# 或者直接列出已拉取的模型
ollama list
如果看到 llama3.2:3b 在列表中，说明模型已就绪。如果还没拉取，请先执行：
ollama pull llama3.2:3b
Ollama 的强大之处在于它允许你通过一个简单的 Modelfile 来定义和创建自定义版本的模型。我们将通过这个文件来修改关键参数。
在你习惯的任意目录下（例如 ~/Desktop 或 D:\ollama_config），创建一个名为 Modelfile 的文本文件（注意没有后缀名）。你可以用任何文本编辑器（如 VS Code, Notepad++, 甚至系统自带的记事本）打开它。
将以下内容复制进去，这是我们的配置模板：
# 基于官方的 llama3.2:3b 镜像
FROM llama3.2:3b
# 设置系统提示词，引导模型行为（可选，但推荐）
PARAMETER system "你是一个乐于助人且知识渊博的 AI 助手。请用清晰、准确的中文回答用户的问题。"
# ！！！核心参数调整开始！！！
# 1. 调整温度，控制生成随机性 (0.1-2.0，越低越确定，越高越有创意)
PARAMETER temperature 0.7
# 2. 调整上下文窗口大小 (这是关键！默认可能是 8192，我们调大)
# Llama 3.2 3B 理论上支持更长的上下文，但需要根据你的硬件调整。
# 值必须是 64 的倍数。以下提供几个参考档位：
# PARAMETER num_ctx 8192 # 默认档，约 6000-8000 词
PARAMETER num_ctx 16384 # 推荐档，约 12000-16000 词，适合长对话和中等文档
# PARAMETER num_ctx 32768 # 大内存档，约 25000-30000 词，需要 16GB+ 可用 RAM
# 3. 调整单次生成的最大 token 数
PARAMETER num_predict 4096 # 允许模型一次生成最多 4096 个 tokens，避免话说不完
# 4. (可选) 开启 GPU 加速，如果系统有 NVIDIA GPU
# PARAMETER numa
# 在某些版本中，这有助于多 GPU 或大内存分配
# 更常见的 GPU 指定方式是在运行 ollama run 时加参数，如 `ollama run -d vulkan ...`
参数详解与选择建议：
num_ctx：这是我们调整的重点。16384 是一个在性能和内存占用之间取得较好平衡的值，能显著改善长文本处理能力。如果你的电脑内存充足（例如 32GB 以上），可以尝试 32768。注意：增加此值会线性增加模型运行时的内存（RAM）消耗。num_predict：设置为 4096，意味着模型每次回复最多可以生成约 3000 个汉字，对于绝大多数场景都足够了。如果你需要生成非常长的内容（如一篇完整的文章），可以继续调高。temperature：保持 0.7，这是一个通用值，使回答既有一定创造性又不至于太天马行空。保存好 Modelfile 后，在终端中进入该文件所在目录，执行以下命令来创建你的自定义模型。这里我们给新模型起名为 my-llama3.2-3b-longctx：
# 切换到 Modelfile 所在目录，例如
cd ~/Desktop
# 执行创建命令
ollama create my-llama3.2-3b-longctx -f ./Modelfile
命令会开始运行，过程类似于重新打包模型。完成后，用 ollama list 检查，你应该能看到新模型 my-llama3.2-3b-longctx。
现在，让我们来测试一下配置是否生效，以及效果提升有多大。
在终端中运行你的新模型：
ollama run my-llama3.2-3b-longctx
我们可以设计一个简单的测试，来验证模型是否真的能记住更早的对话。
第一轮输入（提供背景）：
用户：请记住以下关于主角'小明'的设定：小明是一位生活在 22 世纪的太空工程师，他有一只机械宠物狗叫'火花'，最喜欢的食物是合成披萨。他目前正在执行一项前往火星的长期任务。
（等待模型确认，例如回复'好的，我记住了。'）
第二轮输入（插入干扰）：随意聊几句其他话题，比如'请给我解释一下量子计算的基本概念。'让模型回答，目的是用新信息填充一部分上下文窗口。
第三轮输入（关键测试）：
用户：根据我们最开始聊的，小明的宠物狗叫什么名字？他现在在做什么任务？
成功指标：如果模型能准确回答出'火花'和'前往火星的长期任务'，说明扩大的上下文窗口有效，它成功记住了被'干扰信息'隔开的内容。如果回答错误或说不知道，可能意味着之前的对话总长度已经超过了旧的上下文限制，而现在被正确记住了。
尝试让模型生成一段较长的内容，比如：
用户：请以'人工智能的未来'为主题，撰写一篇约 800 字的短文，需包含技术发展、伦理挑战和应用前景三个方面。
观察模型生成是否流畅，是否会在中途不自然地截断（num_predict 不足的表现），或者能否很好地围绕你给出的三点要求展开（利用了长上下文的指令跟随能力）。
除了命令行，你可以在自己的代码中通过 Ollama 的 API 调用这个优化后的模型。例如，使用 Python 的 requests 库：
import requests
import json
url = "http://localhost:11434/api/generate"
payload = {
"model": "my-llama3.2-3b-longctx", # 指定我们的自定义模型
"prompt": "你好，请介绍一下你自己。",
"stream": False,
"options": {
"num_predict": 4096, # 这里可以覆盖 Modelfile 的设置
"temperature": 0.7
}
}
response = requests.post(url, json=payload)
result = response.json()
print(result['response'])
Modelfile 中的 num_ctx 值（如改回 8192）。num_ctx 是内存消耗的大头。如何查看当前模型的默认参数？
ollama show llama3.2:3b --modelfile
这会显示官方镜像的默认 Modelfile，你可以看到其初始的 num_ctx 等参数值。
通过今天的学习，你已经掌握了优化 Ollama 中 Llama-3.2-3B 模型性能的一个关键技能：配置上下文窗口和生成长度。我们来快速回顾一下要点：
num_ctx 控制模型的'记忆长度'，num_predict 控制模型的'单次说话长度'。Modelfile -> 使用 ollama create 命令构建新模型 -> 运行测试验证效果。num_ctx 的值。现在，你的 Llama-3.2-3B 已经不再是那个'健忘'的模型了。无论是进行深度的多轮技术讨论，还是处理长长的报告文档，它都能更好地胜任。快去尝试用它完成一些以前觉得棘手的任务吧！
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML 转 Markdown 互为补充。 在线工具，Markdown 转 HTML在线工具，online