Shell / BashAI算法
本地大模型运行工具 Ollama 安装与使用指南
本地大模型运行工具 Ollama 的核心特性、安装方法及使用流程。Ollama 支持在本地机器部署 LLM，保障数据安全并降低成本。文章详细说明了通过命令行或 Docker 安装 Ollama 的步骤，演示了下载、运行、查看及删除模型的基本命令。此外，还列举了支持的热门模型如 Llama3、Gemma 等，并通过实例展示了终端对话及 API 调用的具体用法，帮助用户快速搭建本地 AI 环境。
本地大模型运行工具 Ollama 的核心特性、安装方法及使用流程。Ollama 支持在本地机器部署 LLM，保障数据安全并降低成本。文章详细说明了通过命令行或 Docker 安装 Ollama 的步骤，演示了下载、运行、查看及删除模型的基本命令。此外，还列举了支持的热门模型如 Llama3、Gemma 等，并通过实例展示了终端对话及 API 调用的具体用法，帮助用户快速搭建本地 AI 环境。
近年来，人工智能技术发展迅猛，其中大型语言模型（LLM）的进步尤为引人注目。LLM 拥有海量的参数和强大的学习能力，能够执行各种复杂任务，例如生成文本、翻译语言、编写不同类型的创意内容等等。以往，想要体验 LLM，通常需要将模型部署到云端，这对于个人用户来说门槛较高，且成本不菲。现在，Ollama 的出现打破了这一限制。
Ollama 是一款开源工具，旨在将 LLM 的强大功能带到你的本地机器。通过 Ollama，可以轻松下载和运行各种 LLM 模型，而无需将数据上传到云端。
Ollama 的应用场景非常广泛，以下是一些示例：
Ollama 的安装非常简单，只需执行以下命令即可，支持跨平台（MacOS、Linux、Windows）：
curl -fsSL https://ollama.com/install.sh | sh
如果你已经安装了 Docker，也可以使用 Docker 方式运行：
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
安装完成后，你可以通过以下命令验证 Ollama 是否安装成功：
ollama --version
部分 Linux 发行版或 macOS 环境可能支持 Homebrew 等包管理器直接安装：
# macOS
brew install ollama
# Arch Linux
yay -S ollama
安装完成后，Ollama 提供了一系列命令行指令供用户使用。
注意：这个服务必须先启动，否则无法使用 Ollama 运行模型。通常在后台自动运行，也可手动启动：
ollama serve
启动后，终端会显示监听地址，通常是 127.0.0.1:11434。
使用 pull 命令从注册表下载模型。例如下载 Llama 2 中文版本：
ollama pull llama2-chinese:13b
下载完成后，使用 run 命令启动对话：
ollama run llama2-chinese:13b
进入交互模式后，输入问题即可得到回复，输入 /bye 退出。
ollama list
输出示例：
| NAME | ID | SIZE | MODIFIED |
|---|---|---|---|
| llama2:latest | 78e26419b446 | 3.8 GB | 2 months ago |
| llama2-chinese:13b | 990f930d55c5 | 7.4 GB | 2 months ago |
ollama rm llama2:latest
Ollama 已经支持多个主流开源模型，包括 Meta 的 LLaMA3、Google Gemini 的开源版本 Gemma、阿里云通义千问大模型 Qwen 等。
以下是 Ollama 支持的社区热门模型列表：
| Model | Parameters | Size | Command |
|---|---|---|---|
| Llama 3 | 8B | 4.7GB | ollama run llama3 |
| Llama 3 | 70B | 40GB | ollama run llama3:70b |
| Phi-3 | 3.8B | 2.3GB | ollama run phi3 |
| Mistral | 7B | 4.1GB | ollama run mistral |
| Neural Chat | 7B | 4.1GB | ollama run neural-chat |
| Starling | 7B | 4.1GB | ollama run starling-lm |
| Code Llama | 7B | 3.8GB | ollama run codellama |
| Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
| LLaVA | 7B | 4.5GB | ollama run llava |
| Gemma | 2B | 1.4GB | ollama run gemma:2b |
| Gemma | 7B | 4.8GB | ollama run gemma:7b |
| Solar | 10.7B | 6.1GB | ollama run solar |
更多模型请查看官方文档。
在运行 Llama3 之前，请确保已经启动 Ollama 服务，也就是执行 ollama serve 命令，不要关掉终端窗口，其他命令在新的终端窗口执行。
ollama run llama3
系统会自动拉取 manifest 和权重文件，下载完成后即可开始对话。
下载完成后，可以直接在终端进行对话，比如提问'React 是什么？'
输入：
>>> React 是什么？
输出结果如下：
React 是一个 JavaScript 库，用于构建用户界面（UI）的组件。它由 Facebook 在 2013 年发布，并且现在是 React.js 的维护者。
React 的主要目标是使开发人员更容易地创建可维护、可复用的 UI 组件。它提供了一系列的特性和工具来帮助您构建复杂的用户界面：
1. **组件化**：将 UI 组件分解成小的、独立的组件，每个组件负责一部分的 UI 逻辑。
2. **Virtual DOM**：React 会维护一个虚拟的 DOM（Document Object Model），这个虚拟 DOM 是实际 DOM 的一种抽象表示。这样可以提高性能，因为 React 只需要更新虚拟 DOM，而不是实际 DOM。
3. **JSX**：React 提供了 JSX 语法，这是一个 JavaScript 和 XML 的混杂语法，用于在 JavaScript 中编写 UI 组件的 HTML-like 结构。
4. **State 和 Props**：React 维护着每个组件的状态（state）和属性（props），这些信息会被传递给子组件或父组件。
5. **Lifecycle 方法**：React 提供了一系列的生命周期方法，用于在组件的创建、更新或销毁等阶段执行某些操作。
使用 React，你可以更好地管理你的 UI 组件，并且可以将它们组合成复杂的用户界面。同时，React 也提供了许多实用的插件和工具，帮助您提高开发效率和质量！
除了命令行交互，Ollama 还提供了 HTTP API 接口，方便集成到其他应用中。
默认情况下，ollama serve 启动的服务即包含 API 接口，监听地址为 http://localhost:11434。
使用 curl 发送请求：
curl http://localhost:11434/api/generate -d '{
"model": "llama3",
"prompt": "为什么天空是蓝色的？"
}'
或者使用 Python 脚本调用：
import requests
response = requests.post('http://localhost:11434/api/generate', json={
'model': 'llama3',
'prompt': '为什么天空是蓝色的？'
})
print(response.json()['response'])
Ollama 是一款强大的本地大模型运行工具，可以帮助你轻松下载和运行各种 LLM 模型，而无需将数据上传到云端。通过 Ollama，你可以生成创意内容、翻译语言、构建问答系统、聊天机器人等等。Ollama 的安装和使用非常简单，只需几个命令即可完成。如果你想体验 LLM 的强大功能，不妨试试 Ollama 吧！
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online