Ollama 故障排除与常见问题解决方案

在服务器日志中，通常会看到类似以下的动态库列表：

Dynamic LLM libraries [rocm_v6 cpu cpu_avx cpu_avx2 cuda_v11 rocm_v5]

强制指定 LLM 库

可以通过设置 OLLAMA_LLM_LIBRARY 环境变量来绕过自动检测。例如，强制使用 CPU AVX2 库：

OLLAMA_LLM_LIBRARY="cpu_avx2" ollama serve

检查 CPU 指令集支持

在 Linux 上，可以通过以下命令查看 CPU 支持的标志位：

cat /proc/cpuinfo | grep flags | head -1

确认是否包含 avx2 等关键字，以决定使用哪个库。

安装与环境配置

指定版本安装

在 Linux 上，如果需要安装旧版本或预发布版本，可以在安装脚本中指定版本号：

curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION="0.1.29" sh

临时目录权限问题

如果系统的 /tmp 目录被挂载为 noexec（禁止执行），Ollama 可能无法运行临时可执行文件。此时需要设置 OLLAMA_TMPDIR 指向一个可写的用户目录：

export OLLAMA_TMPDIR=/usr/share/ollama/

确保该目录存在且当前用户有写入权限。

网络与端口配置

Ollama 默认监听 11434 端口。如果遇到连接超时或无法访问的问题，请检查以下内容：

1. 防火墙设置：确保本地防火墙允许 TCP 11434 端口的入站和出站流量。
2. 绑定地址：默认情况下 Ollama 绑定到 127.0.0.1。如需远程访问，需设置 OLLAMA_HOST=0.0.0.0。
3. 模型下载：拉取模型时若失败，可能是网络代理问题。确保能够访问 https://ollama.com/library。

GPU 与容器兼容性

NVIDIA GPU 容器运行失败

在 Docker 容器中运行 Ollama 时，GPU 初始化失败是常见问题。常见的错误代码包括：

• 3：未初始化
• 46：设备不可用
• 100：无设备
• 999：未知错误

排查步骤

1. 验证容器运行时：

   docker run --gpus all ubuntu nvidia-smi
   

   如果此命令不返回 GPU 信息，Ollama 将无法识别显卡。

2. 检查驱动加载： 确保 UVM 驱动已加载：

   sudo nvidia-modprobe -u
   

   尝试重新加载驱动：

   sudo rmmod nvidia_uvm
   sudo modprobe nvidia_uvm
   

3. 更新驱动：确保使用的是最新的 NVIDIA 驱动程序。

4. 查看详细日志： 设置环境变量以获取更深层的诊断信息：

   export CUDA_ERROR_LEVEL=50
   ollama serve
   

5. 系统日志检查： 查看内核日志中是否有相关错误：

   dmesg | grep -i nvrm
   dmesg | grep -i nvidia
   

模型管理与修复

模型文件损坏

如果模型加载报错，可能是模型文件不完整或损坏。可以尝试删除对应模型后重新拉取：

ollama rm <model-name>
ollama pull <model-name>

内存不足

如果显存或内存不足，模型可能无法加载。建议：

• 使用量化程度更高的模型（如 Q4_K_M 而非 FP16）。
• 关闭其他占用大量内存的应用程序。
• 增加系统 Swap 空间（仅限 CPU 模式）。

总结

Ollama 的故障排查主要围绕日志分析、环境配置、硬件兼容性及网络连接展开。大多数问题可以通过查看日志、调整环境变量或更新驱动解决。对于复杂的 GPU 容器问题，建议逐步验证驱动状态和容器运行时配置。保持 Ollama 更新至最新版本也有助于减少已知 Bug 的影响。