使用 LangChain 搭建自己的本地知识库系统
随着大语言模型（LLM）的快速发展，如何将其与私有数据或最新知识结合成为热门话题。本文介绍如何利用 LangChain 框架构建基于检索增强生成（RAG）技术的本地知识库系统。
什么是 RAG
RAG（Retrieval-Augmented Generation，检索增强生成）是一种通过检索外部知识库来辅助 LLM 生成的技术。它允许模型在回答问题时参考最新的、私有的或非训练数据集中的信息，从而减少幻觉并提高准确性。
LLM 现存的痛点
现有的 LLM 主要基于公开网络数据进行训练，存在以下局限性：
- 知识时效性：训练数据截止于过去，无法获取最新信息。
- 数据隐私：企业私有数据无法直接用于公共模型训练，导致模型不了解内部知识。
- 幻觉问题：面对未知问题时，模型可能编造答案。
RAG 通过引入外部知识源，有效解决了上述问题，确保回答基于事实且可追溯。
LangChain 简介
LangChain 是一个用于开发由语言模型驱动的应用程序的开源框架。它提供了丰富的组件，使开发者能够轻松实现：
- 上下文感知：将语言模型与提示词、示例及动态内容关联。
- 推理能力：利用模型进行逻辑推理和任务规划。
环境依赖安装
首先，需要安装 LangChain 及其相关生态包。建议使用 Python 虚拟环境管理依赖。
pip install langchain
pip install langchain-community
pip install langchain-core
pip install langchain-experimental
pip install "langserve[all]"
pip install langchain-cli
pip install langsmith
核心配置
1. LLM 模型配置
本文以 Azure OpenAI 为例。若使用其他服务（如 OpenAI 官方、百度千帆等），需参照对应文档实例化模型。
import os
os.environ["AZURE_OPENAI_ENDPOINT"] = "your_endpoint_here"
os.environ["AZURE_OPENAI_API_KEY"] = "your_api_key_here"
2. Embedding 模型配置
Embedding 模型负责将文本转换为向量。这里演示百度千帆接入方式。
import os
from langchain_community.embeddings import QianfanEmbeddingsEndpoint
def embedQianfan():
os.environ["QIANFAN_AK"] = "your_ak_here"
os.environ["QIANFAN_SK"] = "your_sk_here"
return QianfanEmbeddingsEndpoint()
