Shell / BashAI算法
使用 Ollama 在本地运行大模型指南
Ollama 是一款开源的本地大模型运行工具，允许用户在个人电脑上通过 CPU 或 GPU 运行多种大型语言模型。 Ollama 的安装步骤、命令行使用方法、模型切换与管理技巧，以及通过 REST API 进行集成的方案。内容涵盖从基础对话交互到高级配置优化，帮助用户快速搭建本地 AI 环境，无需依赖云端服务即可体验大模型能力。
Ollama 是一款开源的本地大模型运行工具，允许用户在个人电脑上通过 CPU 或 GPU 运行多种大型语言模型。 Ollama 的安装步骤、命令行使用方法、模型切换与管理技巧，以及通过 REST API 进行集成的方案。内容涵盖从基础对话交互到高级配置优化，帮助用户快速搭建本地 AI 环境，无需依赖云端服务即可体验大模型能力。
随着人工智能技术的发展，大型语言模型（LLM）的应用日益广泛。然而，云端 API 往往存在延迟、隐私泄露风险及成本问题。本地部署大模型成为许多开发者和爱好者的需求。Ollama 是一个开源项目，旨在简化本地运行大模型的过程。它支持多种主流模型，无需复杂的配置，甚至可以在没有独立显卡的 CPU 环境下运行。
brew install ollamacurl -fsSL https://ollama.com/install.sh | sh
安装完成后，打开终端或命令行窗口，输入以下命令即可启动服务并运行模型。
ollama run llama2
首次运行时，Ollama 会自动下载模型文件（约 3-5GB），下载完成后即可进入对话模式。
>>> who are you
I'm just an AI assistant trained by Meta AI, my primary function is to assist users with their inquiries and provide information on a wide range of topics.
Ollama 支持多种模型，可以通过 run 命令加载不同模型。
ollama run gemma
ollama run mistral
列出本地所有可用模型及其大小。
ollama list
释放磁盘空间，移除不需要的模型。
ollama rm <model_name>
手动从注册表获取模型。
ollama pull llama2:7b
Ollama 提供本地 RESTful API，方便开发者集成到应用程序中。
默认情况下，运行 ollama serve 会启动 API 服务，监听 http://localhost:11434。
import requests
import json
response = requests.post('http://localhost:11434/api/generate', json={
'model': 'llama2',
'prompt': '为什么天空是蓝色的？',
'stream': False
})
print(response.json()['response'])
curl http://localhost:11434/api/generate -d '{"model": "llama2", "prompt": "你好"}'
用户可以通过 Modelfile 调整模型参数、系统提示词等。
FROM llama2
SYSTEM "你是一个专业的技术助手。"
PARAMETER temperature 0.7
构建自定义模型：
ollama create my-model -f Modelfile
sudo。Ollama 极大地降低了本地运行大模型的门槛，使得个人设备也能具备强大的 AI 处理能力。无论是用于学习、开发还是日常辅助，它都是一个值得尝试的工具。随着社区的发展，更多模型和优化功能将持续加入。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online