Llama-3.2-3B 部署优化：Ollama 配置上下文窗口与 Token 限制
在使用 Ollama 运行 Llama-3.2-3B 时，可能会遇到对话丢失上下文或长文本被截断的问题。这通常是由于默认的上下文长度（context window）和 token 限制设置不足导致的。以下介绍如何调整这些关键参数。
1. 核心概念：为什么需要调整 Context Window 和 Token 限制？
1.1 什么是 Context Window（上下文窗口）？
Context Window 决定了模型在生成下一个词时，能参考之前多长的文本。
- 默认情况：Ollama 默认拉取的 Llama-3.2-3B 上下文窗口可能设置为保守值（例如 8192 tokens），约 6000-8000 个单词。
- 实际问题：当内容超过限制，最早的信息会被挤出，导致回答质量下降。
1.2 什么是 Token 和 Token 限制？
Token 是模型处理文本的基本单位。
- Token 限制：指单次生成（输出）的最大 token 数量。设置过低会导致话未说完即停止；过高可能生成无关内容。
简单来说，调整 Context Window 是为了让模型'记得更多'，调整 Token 限制是为了让模型'一次说得更长'。
2. 环境准备：确认你的 Ollama 与模型状态
打开终端执行以下命令，检查 Ollama 服务状态及模型是否已拉取：
# 检查 Ollama 服务状态
curl http://localhost:11434/api/tags
# 或者直接列出已拉取的模型
ollama list
如果看到 llama3.2:3b 在列表中，说明模型已就绪。若未拉取，请执行：
ollama pull llama3.2:3b
3. 核心操作：创建并配置自定义 Model File
Ollama 允许通过 Modelfile 定义和创建自定义版本的模型。
3.1 创建 Modelfile
在任意目录下创建名为 Modelfile 的文本文件（无后缀），用编辑器打开并写入以下内容：
# 基于官方的 llama3.2:3b 镜像
FROM llama3.2:3b
# 设置系统提示词
PARAMETER system "你是一个乐于助人且知识渊博的 AI 助手。请用清晰、准确的中文回答用户的问题。"
# !!! 核心参数调整开始 !!!
# 1. 调整温度，控制生成随机性 (0.1-2.0)
PARAMETER temperature 0.7
# 2. 调整上下文窗口大小 (关键！默认可能是 8192)
# 值必须是 64 的倍数
PARAMETER num_ctx 16384
# 3. 调整单次生成的最大 token 数
PARAMETER num_predict 4096
# 4. (可选) 开启 GPU 加速
# PARAMETER numa
参数详解：
num_ctx：重点调整项。16384是性能与内存的平衡值。内存充足可尝试32768。增加此值会线性增加 RAM 消耗。num_predict：设置为4096，允许模型每次回复最多生成约 3000 个汉字。temperature：保持0.7，通用值。
3.2 创建自定义模型
保存 Modelfile 后，进入该目录执行：
ollama create my-llama3.2-3b-longctx -f ./Modelfile
