RAG 实操教程：使用 LangChain + Milvus 构建本地知识库

2. 文本分块（Chunking）

由于 LLM 的上下文窗口有限，需要将长文档拆分为较小的片段（Chunks）。

# 设置分块大小和重叠部分
# chunk_size: 每个块的最大字符数
# chunk_overlap: 相邻块之间的重叠字符数，有助于保持语义连贯性
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=100)
docs = text_splitter.split_documents(documents)

参数调优建议：

• chunk_size：过小会导致信息碎片化，过大则增加 Token 消耗且可能超出上下文窗口。通常根据模型支持的上下文长度调整。
• chunk_overlap：设置为 100-200 左右较为常见，防止关键信息在切分时被切断，避免语义歧义。

六、向量化与存储

将文本转换为向量（Embedding），并存入向量数据库。

1. Embedding Model

Embedding 模型负责将文本映射为高维向量。可以使用云服务商提供的 API（如 Azure OpenAI）或本地部署的开源模型（如 BGE、M3E）。

from langchain_openai import AzureOpenAIEmbeddings
import os

# 配置环境变量加载密钥
embeddings = AzureOpenAIEmbeddings(
    azure_deployment="text-embedding-ada-002",
    openai_api_version="2024-03-01-preview"
)

2. 存入 Milvus

LangChain 封装了 Milvus 的接口，方便直接保存。

from langchain_community.vectorstores import Milvus

vector = Milvus.from_documents(
    documents=docs,
    embedding=embeddings,
    collection_name="local_knowledge_base",
    drop_old=True,  # 如果集合存在则删除重建
    connection_args={"host": "127.0.0.1", "port": "19530"},
)

在此过程中，Milvus 会自动创建索引（Index），以便加速相似性搜索。常用的指标类型包括 COSINE（余弦相似度）、L2（欧氏距离）等。

七、构建 RAG 聊天链路

准备工作就绪后，我们可以构建完整的问答链。

1. 角色设定与 Prompt

通过 Prompt 模板定义 AI 助手的角色和行为准则。

from langchain_core.prompts import ChatPromptTemplate

template = """You are an assistant for question-answering tasks. 
Use the following pieces of retrieved context to answer the question.
If you don't know the answer, just say that you don't know.

Question: {question}
Context: {context}
Answer:"""

prompt = ChatPromptTemplate.from_template(template)

2. 链式调用（Chain）

利用 LangChain 的 Runnable 机制串联检索器和模型。

from langchain_openai import AzureChatOpenAI
from langchain_core.runnables import RunnableParallel, RunnablePassthrough
from langchain_core.output_parsers import StrOutputParser

# 初始化 Chat 模型
llm = AzureChatOpenAI(
    azure_deployment=os.environ.get('AZURE_DEPLOYMENT_NAME_GPT35')
)

# 创建检索器
retriever = vector.as_retriever(search_kwargs={"k": 3})

# 构建 Chain
chain = (
    RunnableParallel({"context": retriever, "question": RunnablePassthrough()})
    | prompt
    | llm
    | StrOutputParser()
)

这里的逻辑是：

1. 接收用户输入 question。
2. 并行执行：将 question 传给检索器获取 context，同时保留 question。
3. 将两者填入 Prompt 模板。
4. 发送给 LLM 生成回答。
5. 解析输出字符串。

八、测试与验证

1. 基础问答测试

question = "CodeGeeX 模型 API 参数有哪些？"
answer = chain.invoke(question)
print(answer)

预期输出应包含具体的 API 参数说明，如 prompt, max_tokens, temperature 等。

2. 复杂场景测试

question = "请给一个 chat 模型非流式请求示例"
answer = chain.invoke(question)
print(answer)

3. 结果评估

在实际生产中，建议引入评估指标（如 RAGAS 框架）来衡量回答的忠实度（Faithfulness）和答案相关性（Answer Relevance）。

九、最佳实践与注意事项

1. 数据安全：API Key 应存储在环境变量中，切勿硬编码在代码里。生产环境建议使用密钥管理服务（如 Vault）。
2. 索引优化：对于大规模数据，Milvus 的索引类型（如 HNSW, IVF_FLAT）会影响查询速度和精度，需根据数据量级调整。
3. 混合检索：单纯向量检索可能丢失关键词匹配能力，建议结合 BM25 等稀疏检索算法进行混合排序。
4. 缓存机制：对于高频重复问题，可在应用层增加 Redis 缓存，降低 LLM 调用成本和延迟。
5. 错误处理：在代码中增加 try-except 块，处理网络超时或数据库连接失败的情况，保证服务稳定性。

十、总结

本文详细讲解了如何利用 LangChain 和 Milvus 构建本地知识库系统。通过 RAG 架构，我们成功解决了 LLM 知识滞后和私有数据不可用的问题。

核心流程包括：

• 文档加载与清洗
• 文本分块策略
• 向量化嵌入
• 向量数据库存储
• 检索增强生成链路

掌握这一技术栈，开发者可以快速为企业搭建智能客服、内部知识库助手等应用场景，显著提升工作效率。后续可进一步探索多模态检索、动态路由等高级特性。