本文介绍了在本地及服务器环境下使用 Ollama 部署 HuggingFace 开源模型的方法。内容涵盖模型格式选择（GGUF 与 Safetensors）、Modelfile 配置参数（如温度、上下文窗口、系统提示词）、命令行交互测试以及 API 接口调用。通过调整 Modelfile 优化中文响应，并建议在生产环境中使用代理以兼容 OpenAI SDK，实现私有化大模型部署。同时补充了显存优化、响应速度提升及中文乱码处理等常见问题解决方案。
之前直接使用 LM-studio，好用、无脑。本地用足够了。但是放在服务器上才是正道，本地运行无法长时间开启保持运行，而且 Ollama 推出了并行 GPU 计算之后可用性大幅提升，可用性很高。今天研究下如何用 Ollama 如何在本地来使用这些 HF 的开源模型，后面把它搬到服务器上。
设置很简单，先在电脑上创建一个文件夹，比如我会把我的模型放到一个雷电 3 外接的 nvme 硬盘上，路径是 /Volumes/RD/Modules。然后在这里直接创建，格式可以参考 Ollama 的文档。
touch lmstudio-ai/Meta-Llama-3-8B-Instruct-GGUF/Modelfile
从 HuggingFace 下载模型需要挑选下。这里我先以 Meta-Llama-3-8B-Instruct 为例子，我之前下载了 lmstudio-ai/Meta-Llama-3-8B-Instruct-GGUF。如果网络存在问题可以选择国内镜像站，当然也可以去国内的下载。下载可以选择镜像站，但是你还是需要梯子的，因为比如 Meta 的 Llama3 或者 Google 的 Gemma 等模型都是需要申请的，通过了才能用。不过给大家提个醒，申请 Token 的时候尽量别填写中国，否则你会遇到跟我一样的情况。
遇到这种情况你可以选择三种方案：
OK，知道在哪下载了之后你要知道用什么样的模型。
本地运行模型在不写代码的情况对于模型格式还是需要一些要求的。你会遇到两种格式 GGUF 和 Safetensor。
GGUF（General Graphical User Interface Format）是一种用于存储和共享开源机器学习模型的格式。 Safetensors 是一种专为机器学习模型设计的文件格式。
简单说，GGUF 把模型权重和结构统一存储了，方便传输和扩展。Safetensors 是二进制格式，安全高效，可以通过量化转换为 GGUF，可以参考的官方文档。它们的细节差别，以及具体如何将 safetensor 量化转换我会再写一篇文章细说。
那么我们最好挑 GGUF 格式模型，主机配置高的可以 Q6、Q8，配置不行的自行尝试小的吧。我自己平时用 Q6 的就足够了（M2 Ultra, 192G）。GGUF 格式的所有的模型都可以被 Ollama 直接加载，也可以在 LM-studio 中直接使用，比较推荐。
而 Safetensor 格式的 Ollama 支持了三种架构的也可以直接加载：
这里以 GGUF 为例介绍一下怎么用。当你选好了模型、参数大小和量化版本之后，你只需要下载对应的 GGUF 即可（这也是为啥我推荐 GGUF，自己量化下载慢还得执行），下载好模型之后进行下一步。
FROM Meta-Llama-3-8B-Instruct-Q6_K.gguf
ollama create randy-model -f Modelfile
输出显示 transferring model data... success。
ollama run randy-model
>>> 介绍一下你自己
Nice to meet you! I'm LLaMA, an AI assistant developed by Meta AI...
经过上面三步已经可以用命令行跟大模型沟通了，但是为了作为生产力给各个软件提供能力，你还需要继续折腾一下。
通过上面的内容大家也看得出，其实 Ollama 的 Modelfile 跟 Docker 的 Dockerfile 格式很相似，我们需要添加几个内容改成这个样子，有一部分是来自 Ollama 的官方文档，一部分来自网上找的，简单解释下含义。
FROM Meta-Llama-3-8B-Instruct-Q6_K.gguf
# sets the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1
# sets the context window size to 4096, this controls how many tokens the LLM can use as context to generate the next token
PARAMETER num_ctx 4096
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|> {{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|> {{ .Prompt }} <|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|> {{ .Response }}<|eot_id|>"""
SYSTEM """尽你的最大可能和能力回答用户的问题。不要重复回答问题。不要说车轱辘话。语言要通顺流畅。不要出现刚说一句话，过一会又重复一遍的愚蠢行为。
RULES:- Be precise, do not reply emoji.- Always response in Simplified Chinese, not English."""
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|reserved_special_token"
参数说明：
stop 参数来设置多个停止模式。ollama create randy-model:v1 -f Modelfile
ollama list
可以看到新版本已创建。
ollama run randy-model:v1
>>> 介绍一下你自己
Bonjour! 您好！我是一个人工智能语言模型，我被设计用于回答问题、生成文本和进行自然语言处理...
可以看到中文响应更自然了。
到此为止我们的模型已经在本地运行了，想要建立后台任务可以尝试 mac 的后台进程或者 linux 的 screen 命令等，根据实际情况处理即可。关于 Ollama 的 API 官方文档有说明。这里只做简单的一个测试。如果你不确定 ollama 服务运行的端口可以用 ollama serve 来试一下，没启动的话会尝试启动，在运行的话会告诉你运行在哪。
curl --location --request POST 'http://127.0.0.1:11434/api/generate' \
--header 'User-Agent: Apifox/1.0.0' \
--header 'Content-Type: application/json' \
--data-raw '{
"stream": false,
"system": "你是一个中文助手",
"model": "randy-model",
"prompt": "介绍一下你自己"
}'
Ollama 的 API 和 OpenAI 的 API sdk 还是有差别的，如果想无缝切换到 OpenAPI 的 sdk 中最简单的方式就是做代理，感谢开源，有些项目已经可以帮我们完成这个目标了，推荐使用作为中间代理。
num_ctx 上下文窗口大小。Ollama 还是比较适合作为中间层的，运行效率已经基本能满足服务使用。经过测试在 0.2 以上的版本性能在我的主机上 llama3 8B 的性能并不低与 GPT 3.5，比 4o-mini 稍微慢一点。当然推理能力和生成质量稍有不及，不过只要主机够多，搭建私域强大的 LLM 不是问题。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online