零基础学AI大模型之RAG系统链路解析与Document Loaders多案例实战

优质文章学习记录

— 13 min read
零基础学AI大模型之RAG系统链路解析与Document Loaders多案例实战
大家好，我是工藤学编程 🦉一个正在努力学习的小博主，期待你的关注
实战代码系列最新文章😉C++实现图书管理系统（Qt C++ GUI界面版）
SpringBoot实战系列🐷【SpringBoot实战系列】SpringBoot3.X 整合 MinIO 存储原生方案
分库分表分库分表之实战-sharding-JDBC分库分表执行流程原理剖析
消息队列深入浅出 RabbitMQ-RabbitMQ消息确认机制（ACK）
AI大模型零基础学AI大模型之大模型的“幻觉”

前情摘要：
1、零基础学AI大模型之读懂AI大模型
2、零基础学AI大模型之从0到1调用大模型API
3、零基础学AI大模型之SpringAI
4、零基础学AI大模型之AI大模型常见概念
5、零基础学AI大模型之大模型私有化部署全指南
6、零基础学AI大模型之AI大模型可视化界面
7、零基础学AI大模型之LangChain
8、零基础学AI大模型之LangChain六大核心模块与大模型IO交互链路
9、零基础学AI大模型之Prompt提示词工程
10、零基础学AI大模型之LangChain-PromptTemplate
11、零基础学AI大模型之ChatModel聊天模型与ChatPromptTemplate实战
12、零基础学AI大模型之LangChain链
13、零基础学AI大模型之Stream流式输出实战
14、零基础学AI大模型之LangChain Output Parser
15、零基础学AI大模型之解析器PydanticOutputParser
16、零基础学AI大模型之大模型的“幻觉”
17、零基础学AI大模型之RAG技术

本文章目录

零基础学AI大模型之RAG系统链路解析与Document Loaders多案例实战

在之前的AI大模型系列中，我们从基础概念（如大模型“幻觉”、LangChain核心模块）逐步深入到实战（如Stream流式输出、PydanticOutputParser解析），并在第17篇初步提及RAG技术的重要性。

RAG（Retrieval-Augmented Generation，检索增强生成）是解决大模型“幻觉”的核心方案——通过“检索外部知识”为LLM提供精准上下文，让生成结果更可靠。但RAG系统并非单一技术，而是一条完整的“数据处理→存储→检索→生成”链路，其中数据加载（Document Loaders）是整个链路的“入口” ——没有高质量的原始数据加载，后续的向量化、检索都无从谈起。

本文将聚焦RAG系统的完整链路解析，并通过多案例实战，带你掌握LangChain中Document Loaders的核心用法，为后续RAG项目打下坚实基础。

请添加图片描述

一、RAG系统核心链路：从数据到生成的完整流程

RAG的本质是“让LLM带着外部知识回答问题”，其核心链路可拆解为数据准备”和“检索生成”两大阶段，每个阶段包含多个关键技术环节。理解这条链路，是后续实战的前提。

1.1 RAG数据流流水线示意图

原始数据需要经过一系列处理，才能最终为LLM提供有效支撑，完整流程如下：

在这里插入图片描述

1.2 RAG关键技术环节解析

链路中每个环节都有明确的职责，缺一不可：

  • 文档加载器（Document Loaders）：本文核心，负责将不同来源、不同格式的原始数据（如本地PDF、在线网页、MySQL数据库）转为LangChain统一的Document对象，解决“数据入口不统一”问题。
  • 文档转换器（Document Transformers）：对Document进行清洗（去除乱码、空白行）和分块（如按500字符/块分割），避免长文本向量化时的语义失真。
  • 文本嵌入模型（Embedding Models）：如OpenAI的text-embedding-3-small、开源的BERT，负责将文本转为高维向量（如1536维），让计算机能通过“向量距离”判断文本相似度。
  • 向量存储（Vector Stores）：如Pinecone、Chroma、Milvus，专门存储文本向量，支持快速相似性检索（毫秒级找到与查询最像的文本）。
  • 检索器（Retrievers）：定义检索逻辑（如“相似性检索Top 3”“关键词过滤+相似性检索”），从向量库中抓取与用户查询匹配的上下文。

二、RAG与LLM交互架构：为什么RAG能解决“幻觉”？

传统LLM直接生成回答时，依赖的是训练时的“记忆”，但存在“知识过时”“虚构信息”问题；而RAG通过“检索+生成”的交互模式，让LLM“带着参考资料答题”，从根本上减少幻觉。

2.1 RAG与LLM交互架构图

在这里插入图片描述

2.2 架构核心优势

  1. 知识实时更新：无需重新训练LLM，只需更新向量库中的数据（如新增2024年LangChain新特性），即可让LLM获取最新知识。
  2. 结果可追溯：生成的回答可对应到具体的原始数据（如“该结论来自XX PDF第5页”），便于验证准确性。
  3. 降低训练成本：无需训练千亿参数的大模型，用中小模型（如7B的Llama3）+ RAG，即可实现高精度回答。

三、Document Loaders核心概念：LangChain如何统一数据入口？

LangChain为了解决“不同数据源适配”问题，设计了统一的加载器接口，无论原始数据格式如何，最终都能转为Document对象。

3.1 LangChain Loaders的核心设计：BaseLoader接口

LangChain所有加载器都继承自抽象类BaseLoader，确保统一的调用方式。核心接口定义如下（简化版）：

from abc import ABC, abstractmethod from langchain_core.documents import Document classBaseLoader(ABC):# 懒加载（生成器模式，避免大文件加载时内存溢出）@abstractmethoddeflazy_load(self)-> Iterable[Document]:pass# 直接加载（返回Document列表，内部调用lazy_load）defload(self)->list[Document]:returnlist(self.lazy_load())
  • load()方法：最常用，直接返回所有Document组成的列表，适合小文件。
  • lazy_load()方法：生成器模式，逐个返回Document，适合大文件（如1000页的PDF），避免一次性加载到内存导致OOM。

3.2 Document对象：数据的“统一载体”

所有Loader最终输出的都是Document对象，其结构非常简单，包含两个核心字段：

classDocument(BaseMedia): page_content:str# 文本内容（如PDF某一页的文字、CSV某一行的数据） metadata:dict# 元数据（如来源路径、页码、行号，便于后续追溯）type: Literal["Document"]="Document"

示例Document对象：

Document( page_content="LangChain Loaders支持PDF、CSV、网页等多种数据源", metadata={"source":"data/rag_intro.pdf","page":3}# 来源PDF第3页)

3.3 Loaders分类：覆盖所有常见数据源

LangChain的langchain_community.document_loaders模块提供了上百种Loader，按数据源类型可分为三大类：

分类Loader类型功能描述适用场景
文件加载器TextLoader加载纯文本文件（.txt）本地日志文件、纯文本笔记
PyPDFLoader加载PDF文件，支持提取页码元数据技术文档、论文
Docx2txtLoader加载Word文档（.docx）工作报告、需求文档
CSVLoader加载CSV文件，按行生成Document数据报表、用户列表
网页加载器WebBaseLoader抓取静态网页文本（无需JS渲染）博客文章、百科页面
SeleniumURLLoader加载动态网页（需JS渲染，如Vue/React页面）电商商品页、登录后页面
数据库加载器SQLDatabaseLoader执行SQL查询，加载结果为DocumentMySQL、PostgreSQL等关系库
MongoDBLoader从MongoDB集合中加载文档NoSQL数据库数据

四、Document Loaders多案例实战：从理论到代码

光说不练假把式，下面通过3个最常用的Loader案例（TextLoader、CSVLoader、JSONLoader），带你掌握实战技巧，所有代码可直接复制运行。

前置准备：安装依赖

首先安装LangChain及Loader所需的额外依赖：

# 核心依赖：LangChain pip install langchain langchain-community # JSONLoader需要jq（处理JSON解析） pip install jq

案例1：TextLoader——加载纯文本文件

纯文本文件（.txt）是最基础的数据源，TextLoader支持自定义编码，解决中文乱码问题。

实战代码
from langchain_community.document_loaders import TextLoader # 1. 初始化Loader（处理中文文件时，建议开启autodetect_encoding） loader = TextLoader( file_path="data/test.txt",# 本地文本文件路径 encoding="utf-8",# 编码格式（默认utf-8） autodetect_encoding=True# 自动检测编码（解决中文乱码）)# 2. 加载数据（返回Document列表） documents = loader.load()# 3. 查看结果print(f"加载的Document数量：{len(documents)}")# 输出：1（纯文本文件默认1个Document）print(f"\n前100个字符内容：{documents[0].page_content[:100]}")print(f"\n元数据：{documents[0].metadata}")# 输出：{'source': 'data/test.txt'}
关键说明
  • 中文乱码解决：如果test.txt是GBK编码，直接用encoding="utf-8"会乱码，开启autodetect_encoding=True后，Loader会自动识别编码。

大文本处理：如果test.txt有10万行，用lazy_load()逐个获取Document：

for doc in loader.lazy_load():print(doc.page_content[:50])# 逐个打印每行前50字符

案例2：CSVLoader——加载Excel表格数据

CSV文件（.csv）常用于存储结构化数据（如销售报表），CSVLoader支持按行生成Document，且可指定字段名。

实战场景

假设data/sales.csv文件内容如下（销售数据）：

产品名称,销售数量,客户名称 手机,100,张三 电脑,50,李四 平板,30,王五
实战代码
from langchain_community.document_loaders import CSVLoader # 1. 初始化Loader（指定CSV分隔符和字段名） loader = CSVLoader( file_path="data/sales.csv", csv_args={"delimiter":",",# CSV分隔符（默认逗号，Excel导出的CSV常用）"fieldnames":["产品名称","销售数量","客户名称"]# 字段名（可选，默认用首行）}, source_column="产品名称"# 将“产品名称”作为metadata的source字段（便于追溯）)# 2. 加载数据 documents = loader.load()# 3. 查看结果print(f"加载的Document数量：{len(documents)}")# 输出：3（3行数据，不含表头）print(f"\n第1条数据内容：{documents[0].page_content}")# 输出：产品名称: 手机, 销售数量: 100, 客户名称: 张三print(f"\n第1条数据元数据：{documents[0].metadata}")# 输出：{'source': '手机', 'row': 0}（row为行号，从0开始）
关键说明
  • 自定义分隔符：如果CSV是用制表符（\t）分隔，需将delimiter设为"\t"。
  • 字段筛选：如果只需加载“产品名称”和“销售数量”，可在csv_args中添加"usecols": ["产品名称", "销售数量"]。

案例3：JSONLoader——加载JSON文件（复杂结构解析）

JSON文件常用于存储半结构化数据（如接口返回、日志），JSONLoader的核心是通过jq_schema指定数据提取规则，支持复杂结构解析。

实战场景

假设data/articles.json文件内容如下（文章列表）：

{"status":"success","data":{"articles":[{"id":1,"title":"RAG系统链路解析","content":"RAG包含加载、预处理、向量化、存储、检索五大环节","author":"工藤学编程","date":"2024-05-20"},{"id":2,"title":"Document Loaders实战","content":"TextLoader适合纯文本，CSVLoader适合表格数据","author":"工藤学编程","date":"2024-05-21"}]}}
实战代码
from langchain_community.document_loaders import JSONLoader # 1. 初始化Loader（核心：jq_schema指定提取规则） loader = JSONLoader( file_path="data/articles.json", jq_schema=".data.articles[]",# 提取data.articles数组中的每个元素 content_key="content",# 将“content”字段作为Document的page_content# 自定义元数据（将id、title、author添加到metadata） metadata_func=lambda record:{"article_id": record["id"],"title": record["title"],"author": record["author"],"date": record["date"]})# 2. 加载数据 documents = loader.load()# 3. 查看结果print(f"加载的Document数量：{len(documents)}")# 输出：2（articles数组有2个元素）print(f"\n第1篇文章内容：{documents[0].page_content}")# 输出：RAG包含加载、预处理、向量化、存储、检索五大环节print(f"\n第1篇文章元数据：{documents[0].metadata}")# 输出：{'article_id': 1, 'title': 'RAG系统链路解析', 'author': '工藤学编程', 'date': '2024-05-20'}
关键：jq_schema语法常用模式

jq_schema是JSONLoader的核心，用于定义“从JSON中提取哪些数据”，常用语法如下：

需求场景jq_schema示例说明
提取根级数组“.[]”适合JSON本身是数组（如[{“id”:1},{“id”:2}]）
提取嵌套数组“.data.articles[]”提取深层数组元素（如本文案例）
条件过滤".data.articles[]select(.id > 1)"
多字段合并".data.articles[]{c: .content, t: .title}"

五、Loaders实战常见问题与解决方案

实战中难免遇到各种问题，这里整理3个高频问题及解决方案：

常见问题原因分析解决方案
中文乱码（如“��”）文本编码与Loader指定的encoding不匹配1. 开启autodetect_encoding=True；2. 手动指定编码（如encoding="gbk"）
JSONLoader报错“jq: error”jq_schema语法错误，或JSON结构与预期不符1. 用jq在线验证工具测试语法；2. 打印原始JSON确认结构

六、总结

本文我们掌握了RAG系统的核心链路，以及作为“数据入口”的Document Loaders实战技巧。

如果觉得本文有帮助，欢迎点赞+关注，你的支持是我持续更新的动力！有任何问题，也可以在评论区留言交流～

Read more

疆鸿智能EtherCAT转DeviceNet，发那科机器人融入倍福的“焊接红娘”

疆鸿智能EtherCAT转DeviceNet，发那科机器人融入倍福的“焊接红娘”

疆鸿智能EtherCAT转DeviceNet，发那科机器人融入倍福的“焊接红娘” 引言 在汽车制造这样高度自动化、节拍紧凑的生产环境中，各类先进的机器人、PLC以及执行机构往往来自不同厂商，采用不同的总线协议。这种异构网络的“沟通”问题，成为了制约产线柔性和稳定性的关键瓶颈。近期，在某汽车制造厂的车门及配件焊接工段优化项目中，我们成功部署了疆鸿智能EtherCAT转DeviceNet协议转换网关（型号：JH-ECT-MDVN），实现了以倍福（Beckhoff）PLC为主站，通过EtherCAT网络，对发那科（FANUC）机器人（DeviceNet从站）进行精准、高效的实时控制。本文将站在一线调试工程师的视角，深入剖析该网关在设备通讯中所扮演的核心角色，并总结其带来的工程价值。  项目背景：当“高速总线”遇上“成熟节点” 该工段原有的控制系统采用倍福TwinCAT PLC作为主控大脑，其优势在于EtherCAT通讯的高速性与同步性，非常适合多轴联动和快速逻辑处理。然而，工段内的多台发那科焊接机器人，其标准配置的通讯接口为DeviceNet。作为一款成熟且稳定的现场总线，Devic

远程配置 VsCode：Github Copilot 安装成功却无法使用？细节避坑

远程配置 VsCode 使用 GitHub Copilot 的避坑指南 当 Copilot 安装后无法正常使用时，常见问题集中在账户授权、网络环境、配置冲突三方面。以下是关键排查步骤和避坑细节： 一、账户授权问题（最常见） 1. 检查登录状态 * 在 VsCode 左下角点击账号图标 → 确认已登录 GitHub 账户 * 若显示 Sign in to use GitHub Copilot，需重新授权 * 避坑点：确保登录账户与 Copilot 订阅账户一致（个人版/企业版） * 选择 GitHub.com → 登录方式选 HTTPS → 完成设备授权流程 * 避坑点：企业用户需开启 SSO 授权（登录后执行 gh
理想、小鹏争相发力汽车机器人，为啥都抢着做？

理想、小鹏争相发力汽车机器人，为啥都抢着做？

最近几年，伴随着AI科技的高速发展，各家企业都在纷纷布局具身智能，就在近期，理想、小鹏都在争相发力汽车机器人，为什么会这样？他们抢着做的原因是啥？ 一、理想、小鹏争相发力汽车机器人 据界面新闻的报道，试图从硬件参数竞赛与价格战泥潭中抽身的汽车制造商们，正在把筹码押向全新的AI赌注。它们希望打造出一种媲美科幻电影，具备主动感知与服务能力的“汽车机器人”。这场转向不仅关乎技术升级，也被视为向资本市场讲述新一轮增长故事的关键。 理想汽车CEO李想日前发文称，人工智能正经历从Chatbot（聊天机器人）向Agent（智能体）进化。过去AI工具更多提供建议，但真正进入生活和用于生产和生活，它必须能够行动。他认为，汽车本质上是一个在物理世界移动的机器人，应当像司机一样理解用户需求、主动提供服务。 要实现这一愿景，车辆必须同时具备意图理解与物理执行能力，这也意味着目前独立运作的两套系统需要打通，即负责交互与服务的智能座舱，以及负责感知与控制的智能驾驶。只有形成从决策到控制的完整链路，“汽车机器人”才具备落地现实基础。 小鹏汽车CEO何小鹏在内部讲话中也给出了相似判断。据36氪报道，何小

AI绘画新选择：灵感画廊极简环境配置指南

AI绘画新选择：灵感画廊极简环境配置指南 获取更多AI镜像 想探索更多AI镜像和应用场景？访问 ZEEKLOG星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。 1. 环境准备：快速开始前的准备工作 灵感画廊基于Stable Diffusion XL 1.0构建，为你提供一个沉浸式的艺术创作体验。在开始之前，确保你的设备满足以下基本要求： 硬件要求： * NVIDIA显卡（建议8GB以上显存） * 至少16GB系统内存 * 20GB可用磁盘空间（用于模型文件和生成作品） 软件环境： * 支持CUDA的显卡驱动 * Python 3.8或更高版本 * 基本的命令行操作知识 不用担心，即使你是第一次接触AI绘画，按照本指南也能顺利完成环境配置。整个过程就像搭积木一样简单，我们会一步步带你完成。 2. 快速安装：一键部署灵感画廊 灵感画廊的安装过程非常简洁，只需要几个简单的步骤。我们提供了两种安装方式，你可以根据自己的喜好选择。 2.1 使用Docker快速部署（