Shell / BashAI算法
Linux 系统安装与配置 Ollama 本地大模型部署指南
Ollama 是一款用于本地运行大语言模型的开源工具，支持多种操作系统。详细阐述了在 Linux 环境下通过脚本或离线包安装 Ollama 的步骤，涵盖环境变量配置、服务启动及模型管理命令。此外，还介绍了如何通过 Modelfile 自定义模型参数以及利用本地 API 进行交互，帮助开发者快速构建私有化 AI 应用环境。
Ollama 是一款用于本地运行大语言模型的开源工具，支持多种操作系统。详细阐述了在 Linux 环境下通过脚本或离线包安装 Ollama 的步骤，涵盖环境变量配置、服务启动及模型管理命令。此外，还介绍了如何通过 Modelfile 自定义模型参数以及利用本地 API 进行交互，帮助开发者快速构建私有化 AI 应用环境。
Ollama 是一款旨在简化大语言模型（LLM）本地部署的工具，支持 Windows、Linux 和 MacOS 系统。它提供了一个用户友好的环境，让开发者可以轻松地运行和调优如 Qwen、Llama 等超过 1700 种的大语言模型。
核心优势
Ollama 的设计降低了大语言模型的使用门槛，特别适合希望快速构建 AI 应用或针对特定任务进行模型优化的开发者。
对于 Linux 用户，Ollama 提供了一键安装脚本，使得安装过程变得极为简便。以下是详细的安装步骤：
推荐使用官方提供的安装脚本，该脚本会自动处理依赖项并配置服务。
curl -fsSL https://ollama.com/install.sh | sh
安装完成后，默认情况下服务可能不会自动启动。可以通过以下命令手动启动：
ollama serve
如果遇到权限问题（例如提示需要 sudo 权限），建议下载离线安装包以避免权限限制。可以从发布页获取对应系统的安装包，并按照以下步骤操作：
访问发布页，选择适用于您系统的版本下载。
tar -xzvf ./ollama-linux-amd64.tgz
./bin/ollama serve &
为了确保 ollama 命令可以在任何位置被调用，需要将其路径添加到系统的 PATH 环境变量中。这可以通过编辑您的 shell 配置文件（如 .bashrc 或 .zshrc）来完成。
echo 'export PATH=$PATH:/home/ollama/bin' >> ~/.bashrc
echo 'export OLLAMA_KEEP_ALIVE=12h' >> ~/.bashrc
echo 'export OLLAMA_HOST=0.0.0.0:11434' >> ~/.bashrc
echo 'export OLLAMA_MODELS=/data/ollama/models' >> ~/.bashrc
source ~/.bashrc
现在，您可以直接在终端中使用 ollama 命令来管理和运行模型。
安装完成后，掌握基本的模型管理命令是高效使用 Ollama 的关键。
列出当前本地存储的所有模型及其标签：
ollama list
从官方仓库拉取新的模型到本地：
ollama pull llama3.1:8b
清理不再需要的模型以释放磁盘空间：
ollama rm llama3.1:8b
如果需要停止后台运行的 Ollama 服务：
killall ollama
# 或者找到进程 ID 后 kill
Ollama 允许通过 Modelfile 自定义模型的行为，包括系统提示词、温度设置、上下文窗口大小等。
新建一个名为 Modelfile 的文件，内容如下：
FROM llama3.1:8b
SYSTEM "你是一个专业的技术助手，请用简洁的语言回答技术问题。"
PARAMETER temperature 0.7
PARAMETER num_ctx 4096
基于 Modelfile 创建一个新的模型实例：
ollama create my-assistant -f Modelfile
使用新创建的模型名称进行对话：
ollama run my-assistant
Ollama 默认在 http://localhost:11434 上提供 HTTP API 接口，方便与其他应用程序集成。
curl http://localhost:11434/api/generate -d '{
"model": "llama3.1:8b",
"prompt": "你好，请介绍一下你自己。"
}'
使用 Python 的 requests 库调用 API：
import requests
response = requests.post('http://localhost:11434/api/generate', json={
'model': 'llama3.1:8b',
'prompt': 'Hello, how are you?',
'stream': False
})
print(response.json()['response'])
通过以上步骤，您已经完成了 Ollama 的安装、配置及基础使用，可以开始探索大语言模型的世界了。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online