基于大语言模型的本地知识库问答离线部署

基于大语言模型的知识库问答（RAG 架构）也需要借助向量数据库，但流程更加灵活。下面是具体实现步骤：

1. 收集大量非结构化的文档数据
2. 对文档进行切分，拆分成多个段落
3. 使用 Embedding 模型将每段文档进行向量化（提取特征向量）并存储到数据库
4. 根据用户问题检索到 k 段最相关的文档片段
5. 将检索到的文档注入 Prompt，利用大语言模型综合回答问题

首先是数据收集，我们不再需要严格的问答对形式，只需要处理干净的文档形式，这样就减少了大量的数据标注工作。

因为文档通常比较大，而 Embedding 模型有上下文长度的限制，因此需要将文档拆分成 Embedding 模型支持的大小。同时，某一个问题可能出现在文档的多个位置，因此检索时返回 k 个相关文档段，以便 LLM 综合判断。

最后利用 Prompt 工程 + LLM 完成最后的问答生成。下图展示了典型的 RAG 流程：

四、代码实现

4.1 LLM 选型与部署

首先需要选择一个合适的 LLM。现在开源 LLM 百花齐放，可以选择的方案有很多，包括 ChatGLM、Llama2、Qwen 等。这里选择 Llama2 作为演示模型。而 Llama2 的部署方式也是多种多样，为了简化环境依赖，这里使用 llama-cpp-python 进行推理部署，我们需要安装该模块：

pip install llama-cpp-python

另外还需要编译转换 Llama2 的模型文件为 GGUF 格式。具体方式可以参考官方文档或社区教程。

然后只需要编写下面的代码就可以运行 Llama2 进行对话：

from llama_cpp import Llama

model_path = "llama-2-13b-chat.Q4_0.gguf"
llm = Llama(
    model_path=model_path,
    n_ctx=2048,
    chat_format="llama-2"
)
response = llm('Human:你好啊\nAssistant:', stop=['Human:'])
print(response['choices'][0]['text'])

4.2 文档处理与向量化

文档处理对应 3.2 中的前三步，我们可以使用 LangChain 框架来完成这步操作，代码如下：

import os
from langchain.document_loaders import DirectoryLoader
from langchain.text_splitter import CharacterTextSplitter
from langchain.embeddings.huggingface import HuggingFaceEmbeddings
from langchain.vectorstores import Chroma

# 加载 embedding 模型配置
embedding_model_dict = {
    "ernie-tiny": "nghuyong/ernie-3.0-nano-zh",
    "ernie-base": "nghuyong/ernie-3.0-base-zh",
    "text2vec": "GanymedeNil/text2vec-large-chinese",
    "text2vec2": "uer/sbert-base-chinese-nli",
    "text2vec3": "shibing624/text2vec-base-chinese",
}

def load_documents(directory="documents"):
    """
    加载指定目录下的文件，并进行拆分
    :param directory: 文档存放路径
    :return: 拆分后的文档列表
    """
    loader = DirectoryLoader(directory)
    documents = loader.load()
    # 设置切片大小和重叠部分
    text_spliter = CharacterTextSplitter(chunk_size=256, chunk_overlap=0)
    split_docs = text_spliter.split_documents(documents)
    return split_docs

def load_embedding_model(model_name="text2vec3"):
    """
    加载 embedding 模型
    :param model_name: 模型名称
    :return: Embedding 对象
    """
    encode_kwargs = {"normalize_embeddings": False}
    model_kwargs = {"device": "cuda:0"}
    return HuggingFaceEmbeddings(
        model_name=embedding_model_dict[model_name],
        model_kwargs=model_kwargs,
        encode_kwargs=encode_kwargs
    )

def store_chroma(docs, embeddings, persist_directory="VectorStore"):
    """
    将文档向量化，存入向量数据库
    :param docs: 文档列表
    :param embeddings: 嵌入模型
    :param persist_directory: 持久化路径
    :return: 向量数据库实例
    """
    db = Chroma.from_documents(docs, embeddings, persist_directory=persist_directory)
    db.persist()
    return db

# 初始化流程
embeddings = load_embedding_model('text2vec3')
if not os.path.exists('VectorStore'):
    documents = load_documents()
    db = store_chroma(documents, embeddings)
else:
    db = Chroma(persist_directory='VectorStore', embedding_function=embeddings)

我们在当前目录下准备一个 documents 文件夹，在里面放入我们的 txt 文档即可。在 LangChain 里面内置了包括 json、csv、PDF 等文档处理的类，这里可以根据自己的需求修改 load_documents 函数。

这里需要注意两个关键参数：

text_spliter = CharacterTextSplitter(chunk_size=256, chunk_overlap=0)

上面这句是拆分文档的代码。其中 chunk_size 是每段的长度，而 chunk_overlap 则是两个段之间重叠的大小。chunk_size 可以根据电脑性能、Embedding 模型上下文限制、LLM 上下文限制来确定。如果设置过小，可能会丢失上下文信息；如果设置过大，可能会超出模型限制。chunk_overlap 可以选 0 或 0.1 * chunk_size，适当的重叠有助于保持语义的连续性。

另外上面加载的模型都是中文的 Embedding 模型，如果有其它语言需求，可以选择用多语言的 Bert 作为 Embedding。具体参考 sentence-transformers 可用的模型列表。

4.3 将文档注入 Prompt

在输入给 LLM 之前，需要先检索相关的文档。比如我存储了'塞尔达王国之泪'的攻略，使用下面代码搜索'究极手'相关内容：

docs = db.similarity_search('究极手是干啥用的', k=5)
for doc in docs:
    print(doc)

得到如下输出：

page_content='尝试用右手打开神殿大门但以失败告终，这是一个自称'劳鲁'的灵体出现在了林克的身后。劳鲁告诉林克需要去岛上的神庙中回复手臂的力量才能打开大门。...' metadata={'source': 'documents\王国之泪游侠攻略.txt'}
...

基于 LLM 的知识库问答需要一个特殊的 Prompt 模板来完成，具体如下：

根据下面的上下文（context）内容回答问题。
如果你不知道答案，就回答不知道，不要试图编造答案。
答案最多 3 句话，保持答案简洁。
总是在答案结束时说'谢谢你的提问！'
{context}
问题：{question}

注意：原稿中'简介'应为'简洁'，此处已修正。

然后需要将检索到的文档注入到如下的 Prompt 里面，代码如下：

template = """
根据下面的上下文（context）内容回答问题。
如果你不知道答案，就回答不知道，不要试图编造答案。
答案最多 3 句话，保持答案简洁。
总是在答案结束时说'谢谢你的提问！'
{context}
问题：{question}"""
query = "究极手是干啥用的"
docs = db.similarity_search(query, k=5)
context = "\n".join([f"{idx + 1}.{doc.page_content}" for (idx, doc) in enumerate(docs)])
prompt = template.format(context=context, question=query)
print(prompt)

最后只需要将这个 Prompt 输入给 LLM 即可：

response = llm(f'Human:{prompt}\nAssistant:', stop=['Human:'])
print(response['choices'][0]['text'])

最后输出结果如下：

嗯，究极手是一种非常实用的能力，可以用于装配和拆解各种物品，以及对盾牌和武器进行合成拆卸。你可以用它来组合材料、砍树、打碎石块等，也可以在各种情况下进行优化和适应。

可以看到回答结果部分是正确的，且没有产生幻觉。

五、环境配置与依赖

为了保证系统稳定运行，建议按照以下步骤配置环境：

1. Python 版本：建议使用 Python 3.9 或更高版本。
2. GPU 加速：如果使用 CUDA 加速，请确保安装了与 PyTorch 版本匹配的 CUDA Toolkit。对于 CPU 推理，无需额外配置。
3. 依赖安装：

   pip install langchain chromadb llama-cpp-python sentence-transformers
   

4. 模型下载：从 Hugging Face 或 ModelScope 下载所需的 Embedding 模型和 LLM 权重文件，并确保路径正确。

六、常见问题排查

6.1 显存不足

如果在运行过程中遇到 OOM（Out Of Memory）错误，可以尝试以下方法：

• 减小 n_ctx 参数，降低上下文窗口。
• 使用量化模型（如 Q4_0），减少内存占用。
• 关闭 GPU 加速，改用 CPU 推理（速度较慢但兼容性好）。

6.2 检索效果不佳

如果检索到的文档不相关，可以调整以下参数：

• 增加 k 值，检索更多候选文档。
• 更换 Embedding 模型，选择更适合垂直领域的模型。
• 优化 chunk_size，避免切分过碎导致语义丢失。

6.3 回答不准确

如果 LLM 回答偏离事实，检查 Prompt 模板：

• 强调'根据上下文回答'，禁止外部知识干扰。
• 增加负面约束，如'如果上下文中没有提到，请回答不知道'。

七、总结

在 LLM 的加持下，知识库问答的实现变得非常简单。而且现在有诸如 LangChain、LlamaIndex 之类的框架集成了许多与 LLM 相关的操作，极大提升了开发效率。另外现在 LLM 的开源社区非常活跃，出现了诸如 Llama2、Mistral-7B 等优秀的开源模型。不管是参数量、资源消耗、训练速度等都降低到在消费级显卡上可完成的范围。

通过本文的介绍，读者可以掌握构建本地离线知识库问答系统的基本流程，包括文档处理、向量化检索、Prompt 构造及模型调用。这种方案不仅保护了数据隐私，还避免了 API 调用的费用，非常适合企业内部知识管理和私有化部署场景。未来随着模型能力的进一步提升，此类系统的准确性和响应速度还将继续优化。