微调模型成本太高？用 RAG 技术实现低成本 AI 升级

三、RAG 的典型实现流程

落地 RAG 系统通常包含三个关键步骤：数据索引、数据检索、文本生成。

1. 数据索引

将私域数据向量化并建立索引。对于 PDF 等非结构化数据，需先提取文本，再进行分块（Chunking）和向量化。

import PyPDF2
from langchain.text_splitter import CharacterTextSplitter

def extract_text_from_pdf(pdf_path):
    text = ""
    with open(pdf_path, "rb") as f:
        reader = PyPDF2.PdfReader(f)
        for page in reader.pages:
            text += page.extract_text()
    return text

text = extract_text_from_pdf("example.pdf")
text_splitter = CharacterTextSplitter()
texts = text_splitter.split_text(text)

# 创建索引
db = FAISS.from_texts(texts, embeddings)
db.save_local("pdf_index")

2. 数据检索

根据用户 Query 在向量库中查找相似文档。支持元数据过滤、相似度检索等多种方式。

db = FAISS.load_local("pdf_index", embeddings)
query = "Python 学习教程"
docs = db.similarity_search(query, k=3)
for doc in docs:
    print(doc.page_content)

3. 文本生成

将检索结果与问题拼接，调用 LLM 生成最终回答。这是典型的 Prompt Engineering 过程。

from langchain.chains import RetrievalQA

qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=db.as_retriever()
)

result = qa_chain.run("如何学习 Python？")
print(result)

四、RAG 与 SFT 对比

五、拓展方案与局限性

1. 多模态 RAG

不仅能处理文本，还能结合图像、音频。例如通过 CLIP 模型检索图片，辅助生成描述。

2. 实时 RAG

集成新闻 API 等实时数据源，确保回答紧跟热点。但需注意 API 调用的稳定性与成本。

3. 个性化 RAG

根据用户历史偏好调整检索策略，提供定制化服务。例如推荐电影时优先匹配用户喜欢的类型。

4. 存在的问题

• 检索效果依赖：Embedding 质量直接影响检索精度，若语义表示不准，会引入噪声。
• 利用机制黑盒：模型如何融合检索信息仍是黑盒，有时会出现检索了却未引用的情况。
• 效率问题：无差别检索所有任务会增加输入长度，降低生成速度。
• 事实查证：若数据源本身不可靠，RAG 也会传播错误信息。

六、总结

RAG 技术通过外挂知识库的方式，有效解决了大模型的知识滞后、幻觉及数据安全难题。相比昂贵的微调方案，RAG 实施成本低、更新灵活，是企业级 AI 落地的首选路径。开发者在落地时，应重点关注向量检索的质量优化与 Prompt 设计的合理性，以平衡性能与成本。