本文详细介绍了如何使用 Ollama 框架在 Windows、macOS 以及 Android 终端上部署和运行 Llama3-8B 大模型。内容涵盖 Ollama 的核心概念、常用命令、各平台的具体安装步骤、服务启动方式以及 API 调用示例。文章还分析了不同平台的性能表现、硬件资源需求（如显存）、量化技术优化方案，并探讨了移动端部署的挑战与前景。通过本文，读者可以掌握本地离线运行大模型的基本技能，为后续开发 AI 应用打下基础。
Ollama 是一个基于 Go 语言开发的简单易用的本地大模型运行框架。它旨在简化大型语言模型（LLM）的部署和运行，类似于 Docker 容器化技术，但专注于 AI 模型。
Ollama 制定了一种类似 Docker 的模型应用标准，支持 list、pull、push、run 等常用命令。同时，它基于 Go 语言的 Web 框架 Gin 提供了一系列 API 接口，允许开发者像调用 OpenAI 接口那样与本地模型进行交互。
安装 Ollama 后，可以通过命令行与模型交互。主要命令包括：
ollama list：显示已下载的模型列表。ollama show：显示特定模型的详细信息。ollama pull：从仓库拉取模型。ollama push：将模型推送到远程仓库。ollama cp：拷贝一个模型。ollama rm：删除模型。ollama run：运行模型进行对话。ollama serve：启动本地服务以支持 API 调用。访问 Ollama 官网即可下载客户端，支持 Windows、macOS 和 Linux 跨平台安装。
ollama -v 检查版本信息，确认安装成功。Windows 上集成度较高，Llama3 通常可直接使用。
ollama run llama3
首次运行时，系统会自动下载模型文件（约 4.7GB）。下载速度取决于网络环境。下载完成后，即可开始对话。
性能表现：
Ollama 默认监听 http://localhost:11434。可以使用 curl 进行测试：
curl http://localhost:11434/api/generate -d '{
"model": "llama3",
"prompt": "你好，请介绍一下你自己。"
}'
ollama -v 验证版本。与 Windows 不同，macOS 可能需要显式启动服务进程：
# 开启服务，保持该窗口不关闭
ollama serve
然后在另一个终端窗口中执行模型操作：
ollama run llama3
macOS 上的 M 系列芯片对 Ollama 支持较好，推理速度较快。下载速度和运行效率通常优于 Windows 平台。
在移动端部署大模型具有挑战性，主要通过 Termux 实现。
由于 Ollama 依赖较多系统库，且 Termux 默认权限受限，建议使用 proot-distro 模拟完整的 Linux 环境。
安装 proot-distro:
pkg install proot-distro
安装 Debian 发行版:
proot-distro install debian
进入 Debian 环境:
proot-distro login debian
在 Debian 环境中执行安装脚本：
curl -fsSL https://ollama.com/install.sh | sh
验证安装：
ollama -v
ollama serve
proot-distro login debian
ollama run llama3
注意事项：
Ollama 支持 GGUF 格式的量化模型，可显著降低资源占用：
随着开源社区的发展，针对特定领域的微调模型（如中文对话、代码生成）日益丰富。高通与 Meta 的合作也表明端侧 AI 正在加速落地，未来骁龙终端将能更好地支持 Llama 3 运行。
Ollama 极大地降低了本地运行大模型的门槛，使得个人开发者能够在 Windows、Mac 甚至 Android 设备上体验 AI 能力。
通过 Ollama 和 HuggingFace 等工具，普通人也能便捷地探索 AI 大模型技术。建议开发者关注社区动态，尝试不同量化版本，找到适合自己设备的最佳平衡点。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online