本地部署大语言模型实践（2）：集成外部知识库详细步骤

嵌入模型配置

在人工智能中，嵌入（Embedding）是将数据向量化的过程，可以理解为将人类语言转换为大语言模型所需要的计算机语言的过程。在第二轮测试开始前，我们需要下载一个嵌入模型。

ollama run nomic-embed-text

该模型将使我们的 Ollama 具备将文档向量化的能力。

使用 LangChain 构建流程

接下来需要配置 LangChain 的各个组件：文档加载器、文本分割器、向量数据库以及检索链。

1. 文档加载与分词

我们需要一个 Document Loader 来读取本地文件，并使用 Text Splitter 进行分块处理。

from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import CharacterTextSplitter

# 加载文档
loader = TextLoader("./data/三国演义.txt", encoding="utf-8")
documents = loader.load()

# 文本分割
# chunk_size 控制每个块的大小，chunk_overlap 控制重叠部分以便保留上下文
text_splitter = CharacterTextSplitter.from_tiktoken_encoder(
    chunk_size=7500, 
    chunk_overlap=100
)
doc_splits = text_splitter.split_documents(documents)

2. 向量存储

接下来需要一个向量数据库来存储使用 nomic-embed-text 模型量化的数据。既然是测试，我们就使用内存型的 DocArrayInMemorySearch。

from langchain_community.embeddings import OllamaEmbeddings
from langchain_community.vectorstores import DocArrayInMemorySearch

# 初始化嵌入模型
embeddings = OllamaEmbeddings(model='nomic-embed-text')

# 创建向量库
vectorstore = DocArrayInMemorySearch.from_documents(doc_splits, embeddings)
retriever = vectorstore.as_retriever()

3. 构建完整链

最后，将检索器与 LLM 结合，构建完整的问答链。

from langchain_community.chat_models import ChatOllama
from langchain_core.runnables import RunnablePassthrough
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate

model_local = ChatOllama(model="qwen:7b")

# 定义提示模板，强制模型仅根据上下文回答
template = """Answer the question based only on the following context:
{context}
Question: {question}
"""
prompt = ChatPromptTemplate.from_template(template)

chain = (
    {"context": retriever, "question": RunnablePassthrough()}
    | prompt
    | model_local
    | StrOutputParser()
)

# 执行提问
result = chain.invoke("身长七尺，细眼长髯的是谁？")
print(result)

第二轮测试：RAG 增强问答

首先下载《三国演义》相关章节作为外部数据库供模型检索。注意该文档中提到的关键信息：

忽见一彪军马，尽打红旗，当头来到，截住去路。为首闪出一将，身长七尺，细眼长髯，官拜骑都尉，沛国谯郡人也，姓曹，名操，字孟德。

模型返回的答案：

身长七尺，细眼长髯的人物是曹操，字孟德，沛国谯郡人。在《三国演义》中，他是主要人物之一。

可见，使用 RAG 后，模型能够根据提供的上下文给出正确答案。

总结与优化建议

本篇文章我们使用 LangChain 和 RAG 对大语言模型进行了微调，使之生成答案前可以在给到的文档内进行检索，以生成更准确的答案。

• RAG 的作用：主要目的是让用户可以给模型制定一些额外的资料。这一点非常有用，我们可以给模型提供各种各样的知识库，让模型扮演各种各样的角色。
• LangChain 的价值：是开发大语言模型应用的一个框架，内置了很多有用的方法，比如：文本读取、分词、嵌入等。利用它内置的这些功能，我们可以轻松构建出一个 RAG 的应用。

常见问题与优化

1. 分块大小调整：chunk_size 过大可能导致检索不精确，过小可能丢失上下文。建议根据文档类型尝试不同数值（如 500-2000 字符）。
2. 检索策略：默认使用相似度检索，对于复杂查询可考虑混合检索（关键词 + 向量）。
3. 温度设置：在 RAG 场景下，建议将 temperature 设置为较低值（如 0.1-0.3），以减少幻觉，提高事实准确性。

这次的文章就到这里了，后续我们将继续介绍更多本地 LLM 的实用场景，包括微调与多模态应用。