LangChain 实战：基于网页数据的 RAG 问答及来源溯源

参数详解：

• web_paths: 需要加载的 URL 列表。
• bs_kwargs: 传递给 BeautifulSoup 的参数。这里使用了 SoupStrainer，仅提取包含特定 CSS 类的标签内容，避免加载导航栏、页脚等无关信息，提高数据质量。

3.2 处理编码与异常

在实际生产中，网页可能存在编码问题或动态加载内容。建议在初始化时设置 encoding 参数，并开启 continue_on_failure 以跳过无法访问的链接。

loader = WebBaseLoader(
    web_paths=(url,),
    encoding="utf-8",
    continue_on_failure=True,
)

4. 数据分块

向量数据库对文本长度有限制，且过长的上下文会影响检索精度。我们使用 RecursiveCharacterTextSplitter 进行智能分块。

text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=1000,
    chunk_overlap=200
)
splits = text_splitter.split_documents(docs)

策略说明：

• chunk_size: 每个文本块的最大字符数，设为 1000 适合大多数语义单元。
• chunk_overlap: 相邻块之间的重叠字符数，设为 200 可以保留上下文连贯性，防止关键信息被切断。

5. 向量化与存储

选用 Chroma 作为轻量级向量数据库，配合 OpenAIEmbeddings 进行嵌入计算。

vectorstore = Chroma.from_documents(
    documents=splits, 
    embedding=OpenAIEmbeddings()
)

若需持久化保存，可在初始化 Chroma 时指定 persist_directory 路径。

6. 基础 RAG Chain 组装

首先构建一个基础的问答链，验证检索与生成流程是否通畅。

prompt = hub.pull("rlm/rag-prompt")
llm = ChatOpenAI(model_name="gpt-3.5-turbo", temperature=0)

def format_docs(docs):
    return "\n\n".join(doc.page_content for doc in docs)

rag_chain = (
    {"context": retriever | format_docs, "question": RunnablePassthrough()}
    | prompt
    | llm
    | StrOutputParser()
)

数据流解析：

1. retriever 执行检索，返回文档列表。
2. format_docs 将文档列表拼接为字符串。
3. RunnablePassthrough() 透传用户问题。
4. 两者组合后填入 Prompt 的 context 和 question 字段。
5. LLM 生成最终文本，由 StrOutputParser 输出。

7. 加入 Sources（答案来源）

为了展示答案的依据，我们需要修改 Chain 结构，使其同时返回 answer 和 context。

7.1 核心代码实现

# 定义处理上下文的子链
rag_chain_from_docs = (
    RunnablePassthrough.assign(context=(lambda x: format_docs(x["context"])))
    | prompt
    | llm
    | StrOutputParser()
)

# 并行执行检索与答案生成
rag_chain_with_source = RunnableParallel(
    {"context": retriever, "question": RunnablePassthrough()}
).assign(answer=rag_chain_from_docs)

7.2 逻辑原理解析

• RunnableParallel: 允许并行执行多个操作。这里同时运行 retriever（获取原始文档）和 RunnablePassthrough（传递问题）。
• .assign(): 将并行结果合并，并额外计算 answer 字段。
• rag_chain_from_docs: 接收包含 context 和 question 的字典，格式化 context 后送入 LLM。

7.3 运行示例

result = rag_chain_with_source.invoke("What is Task Decomposition?")
print(result)

输出结果将包含两个关键字段：

• context: 检索到的原始文档片段。
• answer: 基于文档生成的回答。

8. 常见问题与优化建议

8.1 检索相关性不足

如果检索到的内容与问题不相关，可调整 retriever 的参数，如 search_k (top_k) 或引入重排序模型（Rerank）。

8.2 网页加载失败

部分网站可能禁止爬虫。遇到此情况可尝试：

• 更换 User-Agent。
• 使用专门的爬虫工具预处理数据。
• 检查 verify_ssl 配置。

8.3 响应速度优化

对于大量网页数据，建议先进行批量向量化入库，查询时使用异步模式或缓存机制。

9. 总结

本文详细介绍了使用 LangChain 构建基于网页数据的 RAG 问答系统的全过程。通过 WebBaseLoader 获取实时网络数据，利用 Chroma 进行向量存储，并重点实现了答案来源溯源功能。该功能通过 RunnableParallel 巧妙地将检索结果与生成结果并行处理，既保证了回答的准确性，又增强了系统的可解释性。掌握这些技术点，有助于构建更专业、更可信的企业级 AI 应用。