大模型 RAG 技术深度解析：低成本实现 AI 升级

二、RAG 技术：检索增强生成

RAG（Retrieval-Augmented Generation）通过检索相关文档再基于此生成回答，有效提升了预测质量。就像学生考试可以查阅课本，而不是仅凭记忆瞎蒙。

1. 架构组成

RAG 包含两个核心模块：检索器和生成器。

检索器负责从知识库中找出最相关的 k 个文档。构建高质量检索器需解决语义表示、空间对齐等问题。

from langchain.vectorstores import FAISS
from langchain.embeddings import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()
documents = ["Python 学习资源 1...", "Python 学习资源 2..."]
db = FAISS.from_texts(documents, embeddings)

query = "如何学习 Python"
docs = db.similarity_search(query, k=2)
for doc in docs:
    print(doc.page_content)

生成器将检索到的信息转化为自然文本。输入不仅包含上下文，还有检索片段，使回答更准确。

from langchain.llms import OpenAI
from langchain.prompts import PromptTemplate

llm = OpenAI(temperature=0)
prompt = PromptTemplate(
    input_variables=["context", "question"],
    template="基于以下上下文回答问题：\n{context}\n\n问题：{question}"
)

context = "Python 是一种高级编程语言，易于学习和使用。"
question = "Python 是什么？"
result = llm(prompt.format(context=context, question=question))
print(result)

完整流程示例：

from langchain.vectorstores import FAISS
from langchain.embeddings import OpenAIEmbeddings
from langchain.chains import RetrievalQA
from langchain.llms import OpenAI

embeddings = OpenAIEmbeddings()
db = FAISS.from_texts(["红烧肉的做法：1. 准备食材..."], embeddings)
llm = OpenAI(temperature=0)
qa_chain = RetrievalQA.from_chain_type(llm=llm, chain_type="stuff", retriever=db.as_retriever())

result = qa_chain.run("如何做红烧肉？")
print(result)

三、使用 RAG 的八大优势

相比传统微调，RAG 具备显著优势：

1. 可扩展性：无需重训大模型，外挂知识库即可提供额外信息。
2. 准确性：引用信息来源增强信任，用户可核实答案。
3. 可控性：轻松更新知识库，无需重新训练模型。
4. 可解释性：检索项目作为参考，提高透明度。
5. 多功能性：适用于 QA、摘要、对话等多种任务。
6. 及时性：识别最新信息，不受训练数据截止时间限制。
7. 定制性：为不同领域提供专业支持。
8. 安全性：敏感数据存本地，通过权限控制访问。

以企业知识库为例：

from langchain.vectorstores import FAISS
from langchain.embeddings import OpenAIEmbeddings
from langchain.chains import RetrievalQA
from langchain.llms import OpenAI

embeddings = OpenAIEmbeddings()
db = FAISS.load_local("enterprise_knowledge_base", embeddings)
llm = OpenAI(temperature=0)
qa_chain = RetrievalQA.from_chain_type(llm=llm, chain_type="stuff", retriever=db.as_retriever())

result = qa_chain.run("公司的请假政策是什么？")
print(result)

支持来源引用的代码：

from langchain.llms import OpenAI
from langchain.prompts import PromptTemplate

llm = OpenAI(temperature=0)
prompt = PromptTemplate(
    input_variables=["context", "question"],
    template="基于以下上下文回答问题，并引用信息来源：\n{context}\n\n问题：{question}"
)

context = "根据《Python 编程从入门到精通》一书，Python 是一种高级编程语言。"
question = "Python 是什么？"
result = llm(prompt.format(context=context, question=question))
print(result)

知识库更新示例：

from langchain.vectorstores import FAISS
from langchain.embeddings import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()
documents = ["公司的请假政策是：病假需要提供医院证明..."]
db = FAISS.from_texts(documents, embeddings)

new_document = "公司的请假政策已更新：病假需要提供三甲医院证明..."
db.add_texts([new_document])

query = "公司的请假政策是什么？"
docs = db.similarity_search(query, k=1)
print(docs[0].page_content)

带来源追踪的实现：

from langchain.vectorstores import FAISS
from langchain.embeddings import OpenAIEmbeddings
from langchain.chains import RetrievalQAWithSourcesChain
from langchain.llms import OpenAI

embeddings = OpenAIEmbeddings()
db = FAISS.from_texts([
    {"content": "Python 是一种高级编程语言", "metadata": {"source": "《Python 编程从入门到精通》"}}
], embeddings)

llm = OpenAI(temperature=0)
qa_chain = RetrievalQAWithSourcesChain.from_chain_type(
    llm=llm, chain_type="stuff", retriever=db.as_retriever()
)

result = qa_chain({"question": "Python 是什么？"})
print(f"回答：{result['answer']}")
print(f"来源：{result['sources']}")

四、RAG 与 SFT 的对比

代码对比示例：

from langchain.vectorstores import FAISS
from langchain.embeddings import OpenAIEmbeddings
from langchain.chains import RetrievalQA
from langchain.llms import OpenAI
from transformers import pipeline

# RAG 示例
embeddings = OpenAIEmbeddings()
db = FAISS.from_texts(["最新科技进展：GPT-5 发布..."], embeddings)
llm = OpenAI(temperature=0)
qa_chain = RetrievalQA.from_chain_type(llm=llm, chain_type="stuff", retriever=db.as_retriever())
rag_result = qa_chain.run("最新的科技进展是什么？")
print(f"RAG 回答：{rag_result}")

# SFT 示例
sft_model = pipeline('text-generation', model='fine_tuned_model')
sft_result = sft_model("最新的科技进展是什么？", max_length=100, num_return_sequences=1)
print(f"SFT 回答：{sft_result[0]['generated_text']}")

五、RAG 的典型实现方法

1. 数据索引

离线过程，将私域数据向量化后存入数据库。包括提取、分割、向量化及建索引。

from langchain.vectorstores import FAISS
from langchain.embeddings import OpenAIEmbeddings
from langchain.text_splitter import CharacterTextSplitter
import PyPDF2

def extract_text_from_pdf(pdf_path):
    text = ""
    with open(pdf_path, "rb") as f:
        reader = PyPDF2.PdfReader(f)
        for page in reader.pages:
            text += page.extract_text()
    return text

text_splitter = CharacterTextSplitter()
embeddings = OpenAIEmbeddings()

def create_index(pdf_path):
    text = extract_text_from_pdf(pdf_path)
    texts = text_splitter.split_text(text)
    db = FAISS.from_texts(texts, embeddings)
    db.save_local("pdf_index")

create_index("example.pdf")

2. 数据检索

获取有效信息的关键，支持元数据过滤、向量相似度检索等。

from langchain.vectorstores import FAISS
from langchain.embeddings import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()
db = FAISS.load_local("pdf_index", embeddings)

query = "Python 学习教程"
docs = db.similarity_search(query, k=3)
for doc in docs:
    print(doc.page_content)

3. 文本生成

组合 Query 和检索文本输入模型，本质是 Prompt Engineering。

from langchain.vectorstores import FAISS
from langchain.embeddings import OpenAIEmbeddings
from langchain.chains import RetrievalQA
from langchain.llms import OpenAI

embeddings = OpenAIEmbeddings()
db = FAISS.load_local("pdf_index", embeddings)
llm = OpenAI(temperature=0)
qa_chain = RetrievalQA.from_chain_type(llm=llm, chain_type="stuff", retriever=db.as_retriever())

result = qa_chain.run("如何学习 Python？")
print(result)

六、RAG 的典型案例

1. ChatPDF 复刻版

上传 PDF 并通过聊天提问。先将文件转为文本，分段向量化，再回答问题。

import requests
import PyPDF2
from langchain.vectorstores import FAISS
from langchain.embeddings import OpenAIEmbeddings
from langchain.chains import RetrievalQA
from langchain.llms import OpenAI

def extract_text_from_pdf(pdf_path):
    text = ""
    with open(pdf_path, "rb") as f:
        reader = PyPDF2.PdfReader(f)
        for page in reader.pages:
            text += page.extract_text()
    return text

def create_chat_pdf(pdf_path):
    text = extract_text_from_pdf(pdf_path)
    embeddings = OpenAIEmbeddings()
    db = FAISS.from_texts([text], embeddings)
    db.save_local("chat_pdf_index")

def chat_with_pdf(question):
    embeddings = OpenAIEmbeddings()
    db = FAISS.load_local("chat_pdf_index", embeddings)
    llm = OpenAI(temperature=0)
    qa_chain = RetrievalQA.from_chain_type(llm=llm, chain_type="stuff", retriever=db.as_retriever())
    result = qa_chain.run(question)
    return result

create_chat_pdf("example.pdf")
answer = chat_with_pdf("本文的主要内容是什么？")
print(answer)

2. Baichuan 搜索增强

融合意图理解、智能搜索和结果增强，减少幻觉。

from langchain.vectorstores import FAISS
from langchain.embeddings import OpenAIEmbeddings
from langchain.chains import RetrievalQA
from langchain.llms import OpenAI
from langchain.prompts import PromptTemplate

embeddings = OpenAIEmbeddings()
db = FAISS.from_texts(["红烧肉的做法：1. 准备食材..."], embeddings)
llm = OpenAI(temperature=0)

prompt = PromptTemplate(
    input_variables=["context", "question"],
    template="理解用户意图：{question}\n基于以下上下文回答问题：{context}\n\n问题：{question}"
)

qa_chain = RetrievalQA.from_chain_type(
    llm=llm, chain_type="stuff", retriever=db.as_retriever(),
    chain_type_kwargs={"prompt": prompt}
)

result = qa_chain.run("如何做红烧肉？")
print(result)

3. 多模态检索

处理文本、图像等多模态数据。

from langchain.vectorstores import FAISS
from langchain.embeddings import OpenAIEmbeddings
from langchain.chains import RetrievalQA
from langchain.llms import OpenAI
from PIL import Image
import requests
from io import BytesIO

embeddings = OpenAIEmbeddings()
db = FAISS.from_texts(["猫在草地上玩耍的图片：https://example.com/cat.jpg"], embeddings)
llm = OpenAI(temperature=0)
qa_chain = RetrievalQA.from_chain_type(llm=llm, chain_type="stuff", retriever=db.as_retriever())

result = qa_chain.run("生成一只猫在草地上玩耍的图片")
print(result)

image_url = result.split("：")[-1].strip()
response = requests.get(image_url)
image = Image.open(BytesIO(response.content))
image.show()

七、RAG 存在的问题

尽管 RAG 优势明显，但仍面临挑战：

1. 检索效果依赖 Embedding：若语义表示不准或算法不佳，会检索到无关信息。
2. 信息利用黑盒：模型如何利用检索信息仍不透明，可能生成冲突内容。
3. 效率问题：无差别检索所有任务会增加输入长度，降低生成速度。
4. 事实查证难：无法精准引用来源，真实性取决于数据源质量。

效率测试示例：

import time
from langchain.vectorstores import FAISS
from langchain.embeddings import OpenAIEmbeddings
from langchain.chains import RetrievalQA
from langchain.llms import OpenAI

embeddings = OpenAIEmbeddings()
db = FAISS.from_texts(["猫是一种哺乳动物...", "狗是一种哺乳动物...", "鸟是一种脊椎动物...", "鱼是一种脊椎动物..."], embeddings)
llm = OpenAI(temperature=0)

qa_chain_2 = RetrievalQA.from_chain_type(llm=llm, chain_type="stuff", retriever=db.as_retriever(search_kwargs={"k": 2}))
qa_chain_4 = RetrievalQA.from_chain_type(llm=llm, chain_type="stuff", retriever=db.as_retriever(search_kwargs={"k": 4}))

start_time = time.time()
result_2 = qa_chain_2.run("猫是一种什么动物？")
end_time = time.time()
print(f"检索 2 个文档耗时：{end_time - start_time}秒")

start_time = time.time()
result_4 = qa_chain_4.run("猫是一种什么动物？")
end_time = time.time()
print(f"检索 4 个文档耗时：{end_time - start_time}秒")

八、RAG 的拓展方案

1. 多模态 RAG

处理图像、音频、视频等数据，转化为向量检索。

from langchain.vectorstores import FAISS
from langchain.embeddings import OpenAIEmbeddings
from langchain.chains import RetrievalQA
from langchain.llms import OpenAI
from PIL import Image
import pytesseract

def extract_text_from_image(image_path):
    image = Image.open(image_path)
    text = pytesseract.image_to_string(image)
    return text

embeddings = OpenAIEmbeddings()
db = FAISS.from_texts(["猫是一种哺乳动物..."], embeddings)
llm = OpenAI(temperature=0)
qa_chain = RetrievalQA.from_chain_type(llm=llm, chain_type="stuff", retriever=db.as_retriever())

image_text = extract_text_from_image("cat.jpg")
result = qa_chain.run(f"这张图片中的动物是什么？图片文本：{image_text}")
print(result)

2. 实时 RAG

集成新闻 API 等实时数据源，确保回答及时性。

from langchain.vectorstores import FAISS
from langchain.embeddings import OpenAIEmbeddings
from langchain.chains import RetrievalQA
from langchain.llms import OpenAI
import requests

def get_latest_tech_news():
    response = requests.get("https://newsapi.org/v2/top-headlines?country=us&category=technology&apiKey=YOUR_API_KEY")
    news = response.json()
    return news['articles'][0]['content']

embeddings = OpenAIEmbeddings()
db = FAISS.from_texts([get_latest_tech_news()], embeddings)
llm = OpenAI(temperature=0)
qa_chain = RetrievalQA.from_chain_type(llm=llm, chain_type="stuff", retriever=db.as_retriever())

result = qa_chain.run("最新的科技新闻是什么？")
print(result)

3. 个性化 RAG

根据用户偏好调整检索策略。

from langchain.vectorstores import FAISS
from langchain.embeddings import OpenAIEmbeddings
from langchain.chains import RetrievalQA
from langchain.llms import OpenAI
from langchain.prompts import PromptTemplate

embeddings = OpenAIEmbeddings()
db = FAISS.from_texts(["《肖申克的救赎》是一部经典的剧情片...", "《阿甘正传》是一部励志的剧情片...", "《星际穿越》是一部科幻片..."], embeddings)
llm = OpenAI(temperature=0)
user_preference = "剧情片"

prompt = PromptTemplate(
    input_variables=["context", "question", "user_preference"],
    template="用户偏好：{user_preference}\n基于以下上下文回答问题：{context}\n\n问题：{question}"
)

qa_chain = RetrievalQA.from_chain_type(
    llm=llm, chain_type="stuff", retriever=db.as_retriever(),
    chain_type_kwargs={"prompt": prompt}
)

result = qa_chain.run({"question": "推荐一些适合我的电影", "user_preference": user_preference})
print(result)