Qwen3-Embedding-4B 本地部署：llama.cpp 与 vLLM 集成

4. 用 vLLM 和 Open WebUI 搭一套可视化方案

如果只是自己调接口，llama.cpp 已经够用；但一旦要给别人演示，或者要把知识库管理也做进去，还是得有个前端。这里更适合 vLLM + Open WebUI。

vLLM 负责推理，Open WebUI 负责界面和知识库流程。Qwen3-Embedding-4B 放在中间做向量化，整个链路就比较完整了。

先起 Open WebUI。

docker run -d \
  -p 3000:8080 \
  -p 8888:8888 \
  -e OPENAI_API_KEY=dummy \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main

Docker Desktop 下 host.docker.internal 可以直接访问宿主机；Linux 环境通常要换成实际 IP，这点别照抄。

接着起一个 embedding 服务。这里原文给的是 FastAPI 包装器，思路没问题：把模型封成 /v1/embeddings 接口，再让 Open WebUI 去调。

embedding_model.py：

from vllm import LLM, SamplingParams
import torch

class Qwen3EmbeddingModel:
    def __init__(self, model_path="Qwen/Qwen3-Embedding-4B"):
        self.llm = LLM(
            model=model_path,
            tensor_parallel_size=1,
            dtype="half",
            gpu_memory_utilization=0.9,
            enforce_eager=True,
            max_model_len=32768
        )

    def encode(self, texts):
        sampling_params = SamplingParams(temperature=0, max_tokens=1)
        outputs = self.llm.generate(texts, sampling_params, use_tqdm=False)
        embeddings = []
        for output in outputs:
            # 获取最后一层 [EDS] token 的隐藏状态
            last_hidden_state = output.outputs[0].logprobs[-1]
            embeddings.append(last_hidden_state.tolist())
        return embeddings

FastAPI 包装服务：

from fastapi import FastAPI
import uvicorn

app = FastAPI()
model = Qwen3EmbeddingModel()

@app.post("/v1/embeddings")
def get_embeddings(request: dict):
    texts = request["input"]
    vectors = model.encode(texts)
    return {
        "data": [
            {"embedding": vec, "index": i} for i, vec in enumerate(vectors)
        ],
        "model": "Qwen3-Embedding-4B",
        "object": "list"
    }

if __name__ == "__main__":
    uvicorn.run(app, host="0.0.0.0", port=8000)

这个实现里最关键的不是'代码写没写全'，而是接口形状要对上。Open WebUI 认的是标准 Embedding API，字段、路径别搞偏了，不然前端能配上，真正上传知识库时还是会报错。

然后到 Open WebUI 里配置自定义 embedding：

• Provider: Custom
• Base URL: http://<your-host-ip>:8000/v1
• Model: Qwen3-Embedding-4B

保存后，知识库上传时就能选这个模型。

5. 验证时看什么

配置完成后，去 Knowledge 页面新建知识库，选刚刚接好的 embedding 模型。上传 PDF 或多语言文档后，系统会自动分块、向量化，再写进向量库。

如果链路没问题，聊天窗口里问一个和文档相关的问题，应该能看到检索结果先回来，再交给 LLM 组织答案。这个流程里，向量模型的作用不是'回答问题'，而是把最像的片段找出来。它做得好不好，直接决定 RAG 的底子。

接口请求也可以顺手看一下：

{
  "input": [
    "全球变暖是由于温室气体排放增加引起的。",
    "Climate change poses risks to biodiversity."
  ]
}

返回向量后，可以继续算余弦相似度，或者做聚类和召回测试。这里没必要追求花哨，先确认接口稳定、向量维度正确、检索结果不离谱，基本就够了。

6. 最后怎么选

Qwen3-Embedding-4B 的优势很直接：4B 参数、32k 上下文、2560 维向量、多语言支持，再加上不错的基准分数，拿来做本地语义检索是够的。

如果你更在意轻量和快速落地，先用 llama.cpp。它的好处是简单，坏处也明显：功能少，后面要接 UI 或知识库得自己补。

如果你想一步到位把知识库、检索和界面都串起来，就走 vLLM + Open WebUI。它重一点，但后续维护舒服。两条路都能通，区别只是你更在意启动成本，还是更在意后面少返工。