本地大模型运行工具 Ollama 安装与使用指南

下载完成后，使用 run 命令启动对话：

ollama run llama2-chinese:13b

进入交互模式后，输入问题即可得到回复，输入 /bye 退出。

查看已下载的模型

ollama list

输出示例：

删除不用的模型

ollama rm llama2:latest

Ollama 支持哪些模型？

Ollama 已经支持多个主流开源模型，包括 Meta 的 LLaMA3、Google Gemini 的开源版本 Gemma、阿里云通义千问大模型 Qwen 等。

以下是 Ollama 支持的社区热门模型列表：

更多模型请查看官方文档。

利用 Ollama 运行 Llama3 实战

在运行 Llama3 之前，请确保已经启动 Ollama 服务，也就是执行 ollama serve 命令，不要关掉终端窗口，其他命令在新的终端窗口执行。

安装并运行 Meta 的 LLaMA3 大模型

ollama run llama3

系统会自动拉取 manifest 和权重文件，下载完成后即可开始对话。

终端对话示例

下载完成后，可以直接在终端进行对话，比如提问'React 是什么？'

输入：

>>> React 是什么？

输出结果如下：

React 是一个 JavaScript 库，用于构建用户界面（UI）的组件。它由 Facebook 在 2013 年发布，并且现在是 React.js 的维护者。
React 的主要目标是使开发人员更容易地创建可维护、可复用的 UI 组件。它提供了一系列的特性和工具来帮助您构建复杂的用户界面：
1. **组件化**：将 UI 组件分解成小的、独立的组件，每个组件负责一部分的 UI 逻辑。
2. **Virtual DOM**：React 会维护一个虚拟的 DOM（Document Object Model），这个虚拟 DOM 是实际 DOM 的一种抽象表示。这样可以提高性能，因为 React 只需要更新虚拟 DOM，而不是实际 DOM。
3. **JSX**：React 提供了 JSX 语法，这是一个 JavaScript 和 XML 的混杂语法，用于在 JavaScript 中编写 UI 组件的 HTML-like 结构。
4. **State 和 Props**：React 维护着每个组件的状态（state）和属性（props），这些信息会被传递给子组件或父组件。
5. **Lifecycle 方法**：React 提供了一系列的生命周期方法，用于在组件的创建、更新或销毁等阶段执行某些操作。
使用 React，你可以更好地管理你的 UI 组件，并且可以将它们组合成复杂的用户界面。同时，React 也提供了许多实用的插件和工具，帮助您提高开发效率和质量！

通过 API 调用 Ollama

除了命令行交互，Ollama 还提供了 HTTP API 接口，方便集成到其他应用中。

启动 API 服务

默认情况下，ollama serve 启动的服务即包含 API 接口，监听地址为 http://localhost:11434。

调用示例

使用 curl 发送请求：

curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "为什么天空是蓝色的？"
}'

或者使用 Python 脚本调用：

import requests

response = requests.post('http://localhost:11434/api/generate', json={
    'model': 'llama3',
    'prompt': '为什么天空是蓝色的？'
})
print(response.json()['response'])

总结

Ollama 是一款强大的本地大模型运行工具，可以帮助你轻松下载和运行各种 LLM 模型，而无需将数据上传到云端。通过 Ollama，你可以生成创意内容、翻译语言、构建问答系统、聊天机器人等等。Ollama 的安装和使用非常简单，只需几个命令即可完成。如果你想体验 LLM 的强大功能，不妨试试 Ollama 吧！