OpenClaw Memory 本地模式配置：Ubuntu+CUDA+cuDNN+llama.cpp

注意：

• modelPath 采用官方建议的模型名称，不是本地目录。
• extensionPath 需修改为本地的 sqlite-vec 扩展路径。

Ubuntu 24.04 安装 CUDA 和 cuDNN

按照 NVIDIA 官网教程安装 CUDA Toolkit 13.1：

mkdir /opt/nvidia
cd /opt/nvidia
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-ubuntu2404.pin
sudo mv cuda-ubuntu2404.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/13.1.1/local_installers/cuda-repo-ubuntu2404-13-1-local_13.1.1-590.48.01-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu2404-13-1-local_13.1.1-590.48.01-1_amd64.deb
sudo cp /var/cuda-repo-ubuntu2404-13-1-local/cuda-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cuda-toolkit-13-1

安装后设置环境变量：

echo 'export PATH=/usr/local/cuda-13.1/bin${PATH:+:${PATH}}' | sudo tee -a /etc/profile.d/cuda.sh
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-13.1/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}' | sudo tee -a /etc/profile.d/cuda.sh
source /etc/profile.d/cuda.sh

验证：nvcc --version。

安装 cuDNN：

wget https://developer.download.nvidia.com/compute/cudnn/9.19.0/local_installers/cudnn-local-repo-ubuntu2404-9.19.0_1.0-1_amd64.deb
sudo dpkg -i cudnn-local-repo-ubuntu2404-9.19.0_1.0-1_amd64.deb
sudo cp /var/cudnn-local-repo-ubuntu2404-9.19.0/cudnn-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cudnn

查看安装目录：

dpkg -L libcudnn9-cuda-13
dpkg -l | grep cudnn

验证 CUDA 环境可安装 Anaconda 和 PyTorch 后执行测试脚本。

编译 llama.cpp

为避免 fallback 到 CPU 版，先安装调试好 CUDA。克隆源码并编译：

git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
cmake -B build -DGGML_CUDA=ON -DLLAMA_OPENSSL=ON
cmake --build build --config Release

前提： 确保环境变量设置正确，DLLAMA_OPENSSL 是必要的参数。

验证方案 1

访问 Hugging Face 模型页，选择 CLI 方案运行推理：

./build/bin/llama-cli -hf Qwen/Qwen3-0.6B-GGUF:Q8_0

若报错，请加上 -DLLAMA_OPENSSL=ON 重新编译。

验证方案 2

下载并运行 Llama-2 7B 模型（需安装 git-lfs）：

sudo apt install git-lfs
git lfs install

安装 node-llama-cpp

npm install -g node-llama-cpp
node-llama-cpp --version

验证 Memory

openclaw gateway restart
openclaw memory status --deep

正在下载模型到 ~/.node-llama-cpp/models，说明已起作用。

sqlite-vec unavailable

若遇到错误：

[memory] sqlite-vec unavailable: /home/band/sqlite-vec.so: cannot open shared object file: No such file or directory

安装依赖并编译 sqlite-vec：

sudo apt-get update
sudo apt-get install unzip
sudo apt install -y libsqlite3-dev
git clone https://github.com/asg017/sqlite-vec
cd sqlite-vec
./scripts/vendor.sh
make loadable

或者使用 npm 安装取巧：

npm install -g sqlite-vec

找到生成的 .so 文件路径（通常在 ~/.npm-global/lib/node_modules/sqlite-vec/node_modules/sqlite-vec-linux-x64/vec0.so），并在 openclaw.json 中更新 extensionPath，重启 gateway 即可修复。

常见问题与注意事项

安装 node-llama-cpp 的一些提示

当 memorySearch.provider = "local" 时，node-llama-cpp 会解析 modelPath。如果 GGUF 缺失，它会自动下载到缓存。原生构建要求运行 pnpm approve-builds 并重建。

安装 node-llama-cpp 的前置条件

正确的安装顺序为：

1. 安装 CUDA
2. 安装 cuDNN
3. 编译 llama.cpp
4. 原生编译安装 node-llama-cpp

sudo apt-get update
sudo apt-get install build-essential cmake git libstdc++6 libgomp1
npx node-llama-cpp source download
npx node-llama-cpp source build

Using node-llama-cpp With Vulkan

处理 node-llama-cpp 时可能遇到 Vulkan 相关报错，目前看对功能无影响，可按需忽略或查阅官方 Vulkan 指南。