LangChain 结合 Milvus 与千帆大模型构建 RAG 应用实践

文本向量化存储

利用千帆大模型平台的向量模型将文本转换为向量存入 Milvus 中。

import os
from langchain_community.document_loaders import WebBaseLoader
from langchain_community.embeddings import QianfanEmbeddingsEndpoint
from langchain_community.vectorstores import Milvus
from milvus import default_server
from langchain.text_splitter import RecursiveCharacterTextSplitter

os.environ["QIANFAN_AK"] = "YOUR_API_KEY"
os.environ["QIANFAN_SK"] = "YOUR_SECRET_KEY"

# 定义数据来源 URL
WEB_URL = "https://zhuanlan.zhihu.com/p/89354916"

# 加载网页内容
loader = WebBaseLoader(WEB_URL)
docs = loader.load()

# 初始化嵌入模型
embeddings = QianfanEmbeddingsEndpoint()

# 文本分割策略
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=384,
    chunk_overlap=0,
    separators=["\n\n", "\n", " ", "", "。", "，"]
)

# 分割文档
documents = text_splitter.split_documents(docs)

# 存入向量库
vector_db = Milvus.from_documents(
    documents,
    embeddings,
    connection_args={"host": "127.0.0.1", "port": default_server.listen_port},
)

# 执行相似性搜索
query = "周武王建周是哪年"
res = vector_db.similarity_search(query)
print(res)

RAG 应用实现

RAG 基本架构

RAG（Retrieval-Augmented Generation）通过检索外部知识库来增强大模型的生成能力，提高回答的准确性和可追溯性。

问答链构建

利用 LangChain 框架中的 load_qa_with_sources_chain 构建简单 RAG 应用。该功能核心在于结合文档内容回答问题，并提供来源引用。

import os
from langchain_community.document_loaders import WebBaseLoader
from langchain_community.embeddings import QianfanEmbeddingsEndpoint
from langchain_community.vectorstores import Milvus
from milvus import default_server
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_community.llms import QianfanLLMEndpoint
from langchain.chains.qa_with_sources import load_qa_with_sources_chain

os.environ["QIANFAN_AK"] = "YOUR_API_KEY"
os.environ["QIANFAN_SK"] = "YOUR_SECRET_KEY"

# 1. 数据加载与预处理
WEB_URL = "https://zhuanlan.zhihu.com/p/89354916"
loader = WebBaseLoader(WEB_URL)
docs = loader.load()

embeddings = QianfanEmbeddingsEndpoint()
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=384, chunk_overlap=0,
    separators=["\n\n", "\n", " ", "", "。", "，"]
)
documents = text_splitter.split_documents(docs)

# 2. 构建向量库
vector_db = Milvus.from_documents(
    documents,
    embeddings,
    connection_args={"host": "127.0.0.1", "port": default_server.listen_port},
    collection_name="test_history",
)

# 3. 检索相关文档
query = "周武王建周是哪年"
vec_res = vector_db.similarity_search(query)

# 4. 初始化大模型
llm = QianfanLLMEndpoint(
    streaming=True,
    model="ERNIE-Bot-turbo",
    endpoint="eb-instant",
)

# 5. 构建问答链
chain = load_qa_with_sources_chain(
    llm=llm, 
    chain_type="refine", 
    return_intermediate_steps=True
)

# 6. 执行推理
res = chain.invoke({"input_documents": vec_res, "question": query}, return_only_outputs=True)
print(res)

常见问题与优化建议

1. 向量检索精度优化

• 调整 Chunk Size：根据文档类型调整分块大小，过大会丢失上下文，过小会导致语义断裂。
• 混合检索：结合关键词检索与向量检索，提升召回率。

2. 性能优化

• 索引类型：Milvus 支持多种索引类型（如 IVF_FLAT, HNSW），根据数据量选择合适索引。
• 批量操作：在插入大量数据时，使用批量写入接口减少网络开销。

3. 错误处理

• 在网络请求失败时增加重试机制。
• 对空结果进行兜底处理，避免直接返回空字符串。

4. 部署建议

• 生产环境中建议将 Milvus 部署为 Docker 容器或 K8s 集群，保证高可用。
• API Key 应存储在密钥管理服务中，而非硬编码在代码里。

总结

本文演示了如何使用 LangChain、Milvus 和百度千帆大模型平台构建一个基础的 RAG 应用。通过整合检索与生成技术，可以有效解决大模型幻觉问题，提升问答系统的专业度。后续可根据业务需求进一步扩展多模态支持或微调模型参数。