RAG 系统实现指南：Langchain 与纯手搓方案对比

现在，你已经知道了 RAG 是怎么工作的，接下来就要选择用什么方式来搭建它。主要有两种路径：使用成熟的框架 Langchain，或是从零开始 纯手搓 实现。

2.1 开发效率对比

• Langchain：这就像使用一套高级乐高积木。它已经为你预制好了'文档加载器'、'文本切分器'、'向量数据库接口'等模块。你只需要像搭积木一样把它们组装起来，几分钟内就能跑通整个流程，非常适合快速验证想法。
• 纯手搓：这就像是自己烧砖、砍木头，再盖房子。你需要手动调用底层库（如 sentence-transformers、faiss）来实现每一个环节。虽然耗时较长，但你能完全掌控每一个细节。

2.2 代码复杂度与维护成本

总的来说，Langchain 抽象程度高，学习曲线稍陡，但后期扩展和维护非常方便。而纯手搓代码透明可控，适合教学理解底层机制，但在实际项目中维护成本较高。

2.3 适用场景总结表

通过这个对比，你应该能初步判断哪种方式更适合你当前的需求。接下来，我们将分别用这两种方式，带你一步步实现一个完整的 RAG 系统。

三、Langchain 实现：高效构建你的第一个 RAG 系统

如果你的目标是快速上手并看到效果，那么 Langchain 绝对是首选。让我们开始吧！

3.1 环境准备

首先，你需要安装必要的 Python 包。打开你的命令行工具，执行以下命令：

pip install langchain langchain-openai langchain-text-splitters chromadb faiss-cpu openai python-dotenv 

同时，你需要一个 OpenAI API 密钥来调用 GPT 模型。为了安全起见，建议你创建一个 .env 文件来管理它：

# .env 文件内容
OPENAI_API_KEY=your_actual_api_key_here 

这样，你的密钥就不会硬编码在 Python 脚本里了。

3.2 步骤详解与代码实现

步骤 1：加载文档

from langchain_community.document_loaders import TextLoader

# 创建 TextLoader 实例，加载名为"knowledge.txt"的文本文件
loader = TextLoader("knowledge.txt", encoding="utf-8")
documents = loader.load()

• 功能说明：这一步负责读取你的原始文档。TextLoader 支持 TXT 格式，如果是 PDF，你可以换成 PyPDFLoader。

步骤 2：文本切分

from langchain.text_splitter import RecursiveCharacterTextSplitter

# 初始化递归字符切分器
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=500,          # 每个文本块约 500 个字符
    chunk_overlap=50,        # 块之间重叠 50 个字符
    separators=["\n\n","\n","。",".","!","?"] # 分割符优先级
)
chunks = text_splitter.split_documents(documents)

• 功能说明：将长文档切成小块，便于后续处理。chunk_overlap 的作用就像你读书时前后翻页保持连贯，防止一句话被切断。
• 提示：对于中文文档，确保分割符列表包含了中文句号'。'。

步骤 3：向量化并存入数据库

from langchain_openai import OpenAIEmbeddings
from langchain_community.vectorstores import Chroma

# 使用 OpenAI 的嵌入模型将文本块转为向量
embeddings = OpenAIEmbeddings(model="text-embedding-3-large")
vectorstore = Chroma.from_documents(
    chunks,
    embedding=embeddings,
    persist_directory="./chroma_db" # 将数据库持久化保存到本地
)
vectorstore.persist() # 确保数据已写入磁盘 

• 功能说明：embeddings 模型是关键，它能让语义相近的句子（如'猫爱吃鱼'和'猫咪喜欢吃鱼'）拥有相似的向量表示。
• 替代方案：不想依赖 API？可以换用开源的 HuggingFaceEmbeddings 和 BAAI/bge-small-zh 模型。

步骤 4：创建检索器

retriever = vectorstore.as_retriever(search_kwargs={"k":3})

• 功能说明：定义了一个检索策略，每次查询都会返回最相关的 Top-3 结果。
• 高级选项：可以设置 search_type="mmr" 来使用最大边际相关性算法，避免返回重复冗余的结果。

步骤 5：初始化语言模型

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model_name="gpt-3.5-turbo", temperature=0)

• 功能说明：接入 GPT-3.5 模型进行回答生成。temperature=0 表示输出尽可能确定和稳定。
• 替代建议：国内用户可以尝试接入通义千问、百川等国产大模型的 API。

步骤 6：构建 RAG 生成链

from langchain_core.prompts import ChatPromptTemplate
from langchain.schema.runnable import RunnablePassthrough
from langchain.schema.output_parser import StrOutputParser

# 定义一个提示模板，明确告诉大模型如何利用上下文
prompt = ChatPromptTemplate.from_template(
    "请基于以下上下文回答问题，若无法找到答案请回答'我不知道'。\n"
    "上下文：{context}\n\n问题：{question}"
)

# 构建核心链条：接收问题 -> 检索相关文档 -> 填充提示模板 -> 调用大模型 -> 解析字符串输出
rag_chain = ({"context": retriever, "question": RunnablePassthrough()} | prompt | llm | StrOutputParser())

# 执行查询
result = rag_chain.invoke("阿司匹林的禁忌症是什么？")
print("AI 回答：", result)

• 功能说明：RunnablePassthrough() 的作用是保留用户的原始问题，并将其传递给下一个组件。
• 已完成：恭喜！你已经成功用 Langchain 搭建了一个功能完整的 RAG 系统。

四、纯手搓实现：深入理解 RAG 底层机制

现在，让我们放下高级框架，亲手实现一遍 RAG 的核心逻辑，这能帮助你彻底理解它的本质。

4.1 不依赖框架的意义

通过纯手搓实现，你将清晰地看到数据是如何在各个组件间流动的。这对于学习原理、在资源受限的设备上部署，或者进行极致的性能优化都至关重要。

4.2 步骤详解与代码实现

步骤 1：加载并切分文本

# 手动读取文本文件
with open("knowledge.txt", "r", encoding="utf-8") as f:
    text = f.read()

# 使用简单的滑动窗口进行切分
chunk_size = 500
overlap = 50
chunks = [text[i:i + chunk_size] for i in range(0, len(text), chunk_size - overlap)]
print(f"✅ 切分为 {len(chunks)} 个文本块")

• 功能说明：这是一种最基础的切分方法，通过固定长度和重叠来生成文本块。
• 缺陷提醒：这种方法缺乏语义感知，可能会在句子中间切断，导致信息丢失。相比之下，Langchain 的递归切分器要智能得多。

步骤 2：调用嵌入模型生成向量

from sentence_transformers import SentenceTransformer
import numpy as np

# 加载一个轻量级的开源嵌入模型
embedding_model = SentenceTransformer('all-MiniLM-L6-v2')

# 将所有文本块批量编码为向量
chunk_vectors = embedding_model.encode(chunks, show_progress_bar=True)
dimension = chunk_vectors.shape[1] # 获取向量维度

• 功能说明：SentenceTransformer 库让本地运行嵌入模型变得非常简单。
• 推荐模型：对于中文场景，强烈推荐使用 BAAI/bge-small-zh 模型，效果远超通用模型。

步骤 3：构建 Faiss 向量索引

import faiss

# 创建一个基于欧氏距离（L2）的索引
index = faiss.IndexFlatL2(dimension)

# 将所有文本块的向量添加到索引中
index.add(np.array(chunk_vectors))

# 将索引持久化保存，避免每次启动都重新计算
faiss.write_index(index, "faiss_index.bin")

• 功能说明：Faiss 是一个高效的向量相似度搜索库，特别适合处理大规模向量数据。
• 性能优化：对于更大的数据集，可以改用 IndexHNSWFlat 等近似最近邻索引，以换取更快的检索速度。

步骤 4：相似度检索

query = "阿司匹林的禁忌症是什么？"

# 将查询问题也编码为向量
query_vector = embedding_model.encode([query])

# 在向量库中搜索与查询向量最相似的 3 个结果
distances, indices = index.search(np.array(query_vector), k=3)

# 根据检索到的索引，取出对应的文本块
retrieved_chunks = [chunks[i] for i in indices[0]]
context = "\n".join(retrieved_chunks) # 将多个相关片段合并为一段上下文

• 功能说明：index.search() 返回的是距离值（越小越相似）和对应的向量索引。
• 改进建议：在某些场景下，使用余弦相似度比欧氏距离更能反映语义相关性。

步骤 5：拼接 Prompt 并调用 LLM 生成

from transformers import pipeline

# 创建一个文本生成管道，这里使用较小的 gpt2 模型作为示例
generator = pipeline("text-generation", model="gpt2")

# 构造增强提示词
prompt = f"根据以下资料回答问题：\n{context}\n\n问题：{query}\n回答："

# 调用模型生成回答
output = generator(prompt, max_new_tokens=150, do_sample=False)

# 提取出模型生成的回答部分，去掉前面的提示词
answer = output[0]['generated_text'][len(prompt):].strip()
print("AI 回答：", answer)

• 功能说明：这是整个流程的最后一步，也是最关键的一步。大模型基于你提供的上下文来生成最终答案。
• 注意事项：max_new_tokens 参数控制生成的最大长度，避免模型无限制地生成下去。

✅ 纯手搓 RAG 系统已成功运行！

五、环境配置与新手避坑指南

为了让你的 RAG 之旅更加顺畅，这里有一份详细的避坑指南。

5.1 推荐开发环境

• Python 版本：强烈推荐使用 3.9 – 3.11 版本。避免使用 3.12 及以上版本，因为其对 typing 模块的修改可能导致 langchain 等库出现 ImportError: cannot import name 'AsyncGenerator' 的错误。
• 内存要求：建议 ≥16GB。向量计算和模型加载会消耗大量内存。
• GPU 建议：如果有 NVIDIA 显卡（显存 ≥8GB），可以显著加速嵌入模型和大模型的推理速度。

5.2 虚拟环境与依赖管理

永远不要在全局环境中安装 Python 包！使用虚拟环境可以避免不同项目间的依赖冲突。

# 创建名为 rag_env 的虚拟环境
python -m venv rag_env

# 激活虚拟环境 (Linux/Mac)
source rag_env/bin/activate

# 激活虚拟环境 (Windows)
rag_env\Scripts\activate

# 安装依赖
pip install langchain sentence-transformers faiss-cpu openai chromadb PyPDF2 

5.3 新手常见问题与解决方案

5.4 最佳实践建议

• 使用 .env 文件：管理 API 密钥等敏感信息，保障安全。
• 合理设置文本块大小：建议在 200–500 字符之间，并启用 50 字符左右的重叠，以保持语义完整。
• 约束大模型行为：在提示词中明确指令，如'仅基于以上资料回答，不知道就说'我不知道''，有效防止幻觉。
• 生产环境容器化：使用 Docker 打包应用，保证在任何服务器上都能一致运行。

六、总结与学习建议

通过本文的学习，相信你已经掌握了 RAG 系统的核心概念和两种主流实现方式。

• 初学者建议：优先使用 Langchain 快速搭建原型，体验 RAG 带来的强大能力。
• 进阶学习：再通过 纯手搓 的方式，亲手实现一遍，从而深刻理解向量检索、嵌入模型等底层机制。
• 未来探索：当你熟练掌握基础 RAG 后，可以进一步探索 GraphRAG（利用图结构进行复杂推理）或 多模态 RAG（支持图片、音频等非文本信息的检索）等更高级的形态。