基于 LangChain 和 ChatGLM 的本地知识库问答系统搭建

生成 Embedding

目前有两种主要方式可以生成 Embedding 数据：

1. 直接使用 OpenAIEmbeddings 来生成 Embedding 数据

   from langchain.embeddings.openai import OpenAIEmbeddings
   import os
   from dotenv import load_dotenv
   
   load_dotenv()
   os.environ["OPENAI_API_KEY"] = os.getenv("OPENAI_API_KEY")
   # 如果希望通过代理来访问可以配置上
   # os.environ["OPENAI_API_BASE"] = os.getenv("OPENAI_API_BASE")
   
   embeddings = OpenAIEmbeddings()
   

2. 使用 HuggingFaceEmbeddings 来生成 Embedding 数据

   from langchain.embeddings.huggingface import HuggingFaceEmbeddings
   import sentence_transformers
   
   embedding_model_dict = {
       "ernie-tiny": "nghuyong/ernie-3.0-nano-zh",
       "ernie-base": "nghuyong/ernie-3.0-base-zh",
       "text2vec": "GanymedeNil/text2vec-large-chinese",
       "text2vec2": "uer/sbert-base-chinese-nli",
       "text2vec3": "shibing624/text2vec-base-chinese",
   }
   
   EMBEDDING_MODEL = "text2vec3"
   # 初始化 huggingFace 的 embeddings 对象
   embeddings = HuggingFaceEmbeddings(model_name=embedding_model_dict[EMBEDDING_MODEL])
   embeddings.client = sentence_transformers.SentenceTransformer(
           embeddings.model_name, device='mps')
   

两种方式的差别：

• OpenAIEmbeddings：
  • 使用简单，并且效果比较好；
  • 会消耗 openai 的 token，特别是大段文本时，消耗的 token 还不少，如果知识库是比较固定的，可以考虑将每次生成的 embedding 做持久化，这样就不需要再调用 openai 了，可以大大节约 token 的消耗；
  • 可能会有数据泄露的风险，如果是一些高度私密的数据，不建议直接调用。
• HuggingFaceEmbeddings：
  • 可以在 HuggingFace 模型来进行实验，数据都是在本机上进行计算；
  • 需要一定的硬件支持，最好是有 GPU 支持，不然生成数据可能会非常慢；
  • 生成的向量效果可能不是很好，并且 HuggingFace 上的中文向量模型不是很多。

保存 Embedding 数据

有多种向量数据库选择，这里选择比较简单的 Chroma，因为比较轻量，直接安装库就可使用。

from langchain.vectorstores import Chroma

# 初始化加载器
db = Chroma.from_documents(split_docs, embeddings, persist_directory="./chroma/openai/news_test")
# 持久化
db.persist()

持久化后，可以直接选择从持久化文件中加载，不需要再重新处理即可使用了，使用方式如下：

db = Chroma(persist_directory="./chroma/news_test", embedding_function=embeddings)

当然也可使用 FAISS，使用方式也类似：

• 持久化

  from langchain.vectorstores import FAISS
  
  db = FAISS.from_documents(split_docs, embeddings)
  db.save_local("./faiss/news_test")
  

• 加载已持久化向量

  db = FAISS.load_local("./faiss/news_test", embeddings=embeddings)
  

3. 试验效果

• 如果只想使用 embedding 来计算句子的相似度，可以直接类似下面这样使用：

  # 初始化 prompt 对象
  question = "2022 年腾讯营收多少"
  
  similarDocs = db.similarity_search(question, include_metadata=True, k=4)
  [print(x) for x in similarDocs]
  

  最多返回匹配的前 4 条相似度最高的句子

• 如果想接入 ChatGLM 来帮忙做总结和汇总的话，可以如下使用：

  from langchain.chains import RetrievalQA
  
  retriever = db.as_retriever()
  # 注意：ChatGLM 类需根据实际集成的适配器进行初始化
  qa = RetrievalQA.from_chain_type(llm=ChatGLM(temperature=0.1), chain_type="stuff", retriever=retriever)
  # 进行问答
  query = "2022 年腾讯营收多少"
  print(qa.run(query))
  

最终效果可能并不是很好，这可能跟文本切分、embedding 生成都有关系，需要再不断调节，但是整体思路和方案是可行的。

4. 优化建议与总结

本文使用 LangChain + ChatGLM 来实现一个简单的基于本地知识库的问答系统，可以在完全不使用 OpenAI 提供的 API 来完成本地知识库问答系统的搭建。

注意事项：

1. 文本切分策略：不同的文档类型适合不同的切分器，如代码文件可用 CodeTextSplitter，长文档可尝试按段落切分。
2. 向量检索精度：可以通过调整 k 值（返回相似文档数量）和 score_threshold（相似度阈值）来平衡召回率和准确率。
3. Prompt 工程：在 RetrievalQA 中自定义 Prompt 模板可以显著提升回答质量，例如增加背景信息约束。
4. 部署耦合性：使用 langchain 配合 chatglm 搭建本地的知识库，但是 langchain 和 chatglm 是部署在一起的，耦合性比较高。在生产环境中，建议将向量检索服务与大模型推理服务分离，通过 API 调用以提高扩展性。

通过上述步骤，开发者可以构建一个完全私有化、数据安全的本地智能问答应用。