Ollama 本地大模型运行指南

Llama 3 是 Meta 于 2024 年 4 月 19 日开源的大语言模型，共 80 亿和 700 亿参数两个版本，Ollama 均已支持。更多模型可以在官方文档中查看，包括中文模型如阿里的通义千问。

这里选择安装 gemma 2b，打开终端执行以下命令：

ollama run gemma:2b

pulling manifest 
pulling c1864a5eb193... 100% ▕██████████████████████████████████████████████████████████▏ 1.7 GB                         
pulling 097a36493f71... 100% ▕██████████████████████████████████████████████████████████▏ 8.4 KB                         
pulling 109037bec39c... 100% ▕██████████████████████████████████████████████████████████▏  136 B                         
pulling 22a837ceb7fb... 100% ▕██████████████████████████████████████████████████████████▏   84 B                         
pulling 88743b8990... 100% ▕██████████████████████████████████████████████████████████▏  483 B                         
verifying sha256 digest 
writing manifest 
removing any unused layers 
success 

经过一段时间等待，显示模型下载完成。

终端对话

下载完成后，可以直接在终端进行对话，例如提问'介绍一下 React'。

>>> 介绍一下 React

输出内容如下：

显示帮助命令 - /?

>>> /?
Available Commands:
  /set            Set session variables
  /show           Show model information
  /load <model>   Load a session or model
  /save <model>   Save your current session
  /bye            Exit
  /?, /help       Help for a command
  /? shortcuts    Help for keyboard shortcuts

Use """ to begin a multi-line message.

显示模型信息命令 - /show

>>> /show
Available Commands:
  /show info         Show details for this model
  /show license      Show model license
  /show modelfile    Show Modelfile for a model
  /show parameters   Show parameters for a model
  /show system       Show system message
  /show template     Show prompt template

显示模型详情命令 - /show info

>>> /show info
Model details:
Family              gemma
Parameter Size      3B
Quantization Level  Q4_0

API 调用

除了在终端直接对话外，ollama 还可以以 API 的方式调用。执行 ollama show --help 可以看到本地访问地址为 http://localhost:11434。

下面介绍主要介绍两个 API：generate 和 chat。

generate

• 流式返回

curl http://localhost:11434/api/generate -d '{
  "model": "gemma:2b",
  "prompt":"介绍一下 React，20 字以内"
}'

响应数据为流式 JSON 对象，包含 done: false 直到结束。

• 非流式返回

通过设置 stream: false 参数可以设置一次性返回完整结果。

curl http://localhost:11434/api/generate -d '{
  "model": "gemma:2b",
  "prompt":"介绍一下 React，20 字以内",
  "stream": false
}'

chat

• 流式返回

curl http://localhost:11434/api/chat -d '{
  "model": "gemma:2b",
  "messages": [
    { "role": "user", "content": "介绍一下 React，20 字以内" }
  ]
}'

可以看到终端输出结果：

{"model":"gemma:2b","created_at":"2024-04-19T08:45:54.86791Z","message":{"role":"assistant","content":"React"},"done":false}
...
{"model":"gemma:2b","created_at":"2024-04-19T08:45:56.415904Z","message":{"role":"assistant","content":"."},"done":true,"total_duration":2057551864,...}

默认流式返回，同样可以通过 stream: false 参数一次性返回。

generate 和 chat 的区别在于，generate 是一次性生成的数据，而 chat 可以附加历史记录，支持多轮对话。

总结

Ollama 提供了便捷的本地大模型部署方案，支持多种主流模型。通过命令行或 API 均可轻松集成到开发流程中，适合需要隐私保护或离线运行的场景。开发者可以利用其丰富的模型库快速验证想法，无需依赖云端服务即可体验大模型能力。