Ollama 本地部署指南：支持多平台运行开源大模型

设置开机自启动：

sudo systemctl daemon-reload
sudo systemctl enable ollama

启动 Ollama，使用以下命令启动 Ollama：systemd

sudo systemctl start ollama

安装特定版本

设置 OLLAMA_VERSION 字段，可以安装对应的版本：

curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.3.13 sh

查看日志

查看作为启动服务运行的 Ollama 的日志：

journalctl -e -u ollama

更新

通过 shell 脚本更新 Ollama：

curl -fsSL https://ollama.com/install.sh | sh

或者下载 Ollama 二进制文件：

sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
sudo chmod +x /usr/bin/ollama

卸载

• 删除 Ollama 服务：

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

• 从 bin 目录中删除 Ollama 二进制文件：/usr/local/bin, /usr/bin, /bin

sudo rm $(which ollama)

• 删除下载的模型和 Ollama 服务用户和组：

sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama

常用命令

以下是 Ollama 使用常见的指令：

ollama serve         # 启动 ollama
ollama create        # 从模型文件创建模型
ollama show          # 显示模型信息
ollama run           # 运行模型
ollama pull          # 从注册表中拉取模型
ollama push          # 将模型推送到注册表
ollama list          # 列出模型
ollama cp            # 复制模型
ollama rm            # 删除模型
ollama help          # 获取有关任何命令的帮助信息

配置模型存储路径

默认情况下，ollama 模型的存储目录如下：

• macOS: ~/.ollama/models
• Linux: /usr/share/ollama/.ollama/models
• Windows: C:\Users\<username>\.ollama\models

Windows 更改 Ollama 模型存放位置

在 Windows 系统中，若要更改 Ollama 模型的存放位置，可以按照以下步骤操作：

1. 打开环境变量编辑界面。可以通过以下方式：
   • 右键点击'此电脑'或'我的电脑'，选择'属性'。
   • 在系统窗口中选择'高级系统设置'。
   • 在系统属性窗口中点击'环境变量'按钮。
2. 在环境变量窗口中，点击'新建'创建一个新的系统变量或用户变量。
   • 变量名：OLLAMA_MODELS
   • 变量值：输入你希望设置的新模型存放路径，例如：D:\Ollama\Models
3. 点击'确定'保存设置。
4. 重启任何已经打开的 Ollama 相关应用程序，以便新的路径生效。

Linux/Mac 更改 Ollama 模型存放位置

在 Linux 或 Mac 系统中，更改 Ollama 模型存放位置的步骤如下：

打开终端。

创建一个新的目录作为模型存放位置，例如：

mkdir -p /path/to/your/new/ollama/models

设置环境变量。在 Linux 系统中，可以通过编辑 ~/.bashrc 或 ~/.bash_profile 文件（对于 bash shell）或 ~/.zshrc 文件（对于 zsh shell）。在 Mac 系统中，可以通过编辑 ~/.bash_profile 或 ~/.zshrc 文件。使用以下命令编辑文件：

nano ~/.bashrc  # 或者使用其他的文本编辑器，如 vim

在文件末尾添加以下行来设置 OLLAMA_MODELS 环境变量：

export OLLAMA_MODELS="/path/to/your/new/ollama/models"

保存并关闭文件。如果你使用的是 nano 编辑器，可以按 Ctrl + X，然后按 Y 确认保存，最后按 Enter 键。

使环境变量生效。在终端中运行以下命令：

source ~/.bashrc  # 或者 source ~/.bash_profile，取决于你编辑的文件

重启任何已经打开的 Ollama 相关应用程序，以便新的路径生效。

从 HuggingFace 导入模型

Ollama 从最新版 0.3.13 开始支持从 Huggingface Hub 上直接拉取各种模型，包括社区创建的 GGUF 量化模型。用户可以通过简单的命令行指令快速运行这些模型。

可以使用如下命令：

ollama run hf.co/{username}/{repository}

请注意，您可以使用 hf.co 或 huggingface.co 作为域名。

要选择不同的量化方案，只需在命令中添加一个标签：

ollama run hf.co/{username}/{repository}:{quantization}

例如：

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0

量化名称不区分大小写，因此以下命令同样有效：

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:iq3_m

您还可以直接使用完整的文件名作为标签：

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Llama-3.2-3B-Instruct-IQ3_M.gguf