玩客云边缘 AI 模型本地部署：llama.cpp 与 Qwen

-j1 限制单线程，避免 OOM。

编译完成后生成可执行文件。测试后端：

cd ~/llama.cpp/build/bin
./test-backend-ops

设置 HTTP/HTTPS 代理（临时）

网络不好时设置代理：

export http_proxy=http://192.168.1.131:7897
export https_proxy=http://192.168.1.131:7897

• 编译后生成的 main 可执行文件，就是推理程序。
• llama.cpp 支持 ARM CPU，所以 S805 可以直接跑。

下载模型

在 Hugging Face 搜索关键词 TinyLLM / GGUF。

进入模型目录：

cd ~
mkdir models
cd /root/models

然后用 wget 直接下载：

wget --no-check-certificate --secure-protocol=TLSv1_2 https://huggingface.co/Qwen/Qwen2.5-Coder-0.5B-Instruct-GGUF/resolve/main/qwen2.5-coder-0.5b-instruct-q5_0.gguf

或者电脑下载后 scp 拷贝过去：

scp qwen2.5-coder-0.5b-instruct-q5_0.gguf [email protected]:/root/models

一键下载脚本 dl.sh

#!/bin/bash
# 使用方法：./dl.sh <下载链接> [保存文件名]
# 示例：./dl.sh https://huggingface.co/Qwen/Qwen2.5-Coder-0.5B-Instruct-GGUF/resolve/main/qwen2.5-coder-0.5b-instruct-q5_0.gguf
# 设置代理
export http_proxy=http://192.168.1.131:7897
export https_proxy=http://192.168.1.131:7897
URL="$1"
FILENAME="$2"
if [ -z "$URL" ]; then
    echo "请提供下载链接"
    exit 1
fi
# 如果没有指定文件名，自动从 URL 提取
if [ -z "$FILENAME" ]; then
    FILENAME=$(basename "$URL")
fi
echo "开始下载：$URL"
echo "保存为：$FILENAME"
wget --no-check-certificate --secure-protocol=TLSv1_2 -c "$URL" -O "$FILENAME" --tries=5 --timeout=30
if [ $? -eq 0 ]; then
    echo "下载完成：$FILENAME"
else
    echo "下载失败，请检查网络或代理设置"
fi

运行

• -m：模型文件路径
• -p：输入提示（传感器数据或指令）
• -n：生成 token 数量（这里 10 个就够）

root 目录下运行：

./llama.cpp/build/bin/llama-cli -m /root/models/qwen2.5-coder-0.5b-instruct-q5_0.gguf -p "hello" -n 500

一键启动脚本 start.sh

#!/bin/bash
MODEL_FILE=${1:-"qwen2.5-coder-0.5b-instruct-q5_0.gguf"}
MODEL_PATH="$HOME/models/$MODEL_FILE"
if [ ! -f "$MODEL_PATH" ]; then
    echo "错误：模型文件 $MODEL_PATH 不存在！"
    exit 1
fi
CTX_SIZE=1024
N_PREDICT=512
TEMP=0.3
THREADS=4
echo "开始加载模型：$MODEL_FILE"
echo "参数：上下文=$CTX_SIZE，生成 token 数=$N_PREDICT，温度=$TEMP，线程数=$THREADS"
"$HOME/llama.cpp/build/bin/llama-cli" \
-m "$MODEL_PATH" \
-c $CTX_SIZE \
-n $N_PREDICT \
--temp $TEMP \
--threads $THREADS \
--color auto

扩展

安装 open webui：

docker run -d \
--name open-webui \
-p 3000:8080 \
-e OPENAI_API_BASE_URL=http://192.168.1.191:8080/v1 \
-e OPENAI_API_KEY=sk-local \
--restart unless-stopped \
ghcr.io/open-webui/open-webui:main

运行服务端模式：

/root/llama.cpp/build/bin/llama-server \
-m /root/models/qwen2.5-coder-0.5b-instruct-q8_0.gguf \
-c 2048 \
--host 0.0.0.0 \
--port 8080

测试服务端：

curl http://127.0.0.1:8080/v1/models

响应示例：

{
  "models": [
    {
      "name": "qwen2.5-coder-0.5b-instruct-q8_0.gguf",
      "model": "qwen2.5-coder-0.5b-instruct-q8_0.gguf",
      "type": "model",
      "capabilities": ["completion"]
    }
  ],
  "object": "list",
  "data": [
    {
      "id": "qwen2.5-coder-0.5b-instruct-q8_0.gguf",
      "object": "model",
      "created": 1769056357,
      "owned_by": "llamacpp",
      "meta": {
        "vocab_type": 2,
        "n_vocab": 151936,
        "n_ctx_train": 32768,
        "n_embd": 896,
        "n_params": 630167424,
        "size": 669763072
      }
    }
  ]
}

API 地址：http://192.168.1.191:8080/v1，可在第三方客户端中导入使用。