动手学大模型应用开发：从零构建个人知识库助手

个人知识库助手系统架构

个人知识库助手项目，基于 LangChain 框架搭建，核心技术包括 LLM API 调用、向量数据库、检索问答链等。项目整体架构如下：

从底向上依次分为 LLM 层、数据层、数据库层、应用层与服务层：

1. LLM 层：主要基于四种流行 LLM API（OpenAI-ChatGPT、百度文心、讯飞星火、智谱 GLM）进行了 LLM 调用封装，支持用户以统一的入口、方式来访问不同的模型，支持随时进行模型的切换；
2. 数据层：主要包括个人知识库的源数据（包括 pdf、txt、md 等）以及 Embedding API，源数据经过 Embedding 处理可以被向量数据库使用；源数据需要经过 Embedding 处理才能进入向量数据库，我们在数据层自定义了智谱提供的 Embedding API 的封装，支持上层以统一方式调用智谱 Embedding 或 OpenAI Embedding。
3. 数据库层：数据库层主要存放了向量数据库文件。同时，在该层实现了源数据处理、创建向量数据库的方法。为个人知识库源数据搭建的向量数据库，在本项目中选择了 Chroma；
4. 应用层：为核心功能的最顶层封装，应用层封装了整个项目的全部核心功能。基于 LangChain 提供的检索问答链基类进行了进一步封装，从而支持不同模型切换以及便捷实现基于数据库的检索问答；也支持通过 model 参数来灵活切换使用的 LLM。实现了两个检索问答链，分别是有历史记录的 Chat_QA_Chain 和没有历史记录的 QA_Chain。
5. 服务层：分别实现了 Gradio 搭建 Demo 与 FastAPI 组建 API 两种方式来支持本项目的服务访问。

环境准备与代码实现

为了完整复现上述架构，以下是关键步骤的代码实现参考。

1. 安装依赖

pip install langchain chromadb python-dotenv gradio

2. 数据加载与处理

使用 UnstructuredLoader 或 TextLoader 读取本地知识库文件。

from langchain.document_loaders import TextLoader, UnstructuredPDFLoader
import os

def load_documents(directory):
    docs = []
    for filename in os.listdir(directory):
        if filename.endswith('.txt'):
            loader = TextLoader(os.path.join(directory, filename))
            docs.extend(loader.load())
        elif filename.endswith('.pdf'):
            loader = UnstructuredPDFLoader(os.path.join(directory, filename))
            docs.extend(loader.load())
    return docs

3. 文本切片与向量化

将文档切分为适合模型处理的片段，并使用 Embedding 模型转换为向量。

from langchain.text_splitter import CharacterTextSplitter
from langchain.embeddings import HuggingFaceEmbeddings

# 初始化嵌入模型
embeddings = HuggingFaceEmbeddings(model_name="sentence-transformers/all-MiniLM-L6-v2")

# 文本切片
splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=100)
docs = load_documents('./data')
split_docs = splitter.split_documents(docs)

4. 向量数据库搭建

使用 ChromaDB 存储向量索引。

from langchain.vectorstores import Chroma

# 创建向量库
vectorstore = Chroma.from_documents(documents=split_docs, embedding=embeddings)
retriever = vectorstore.as_retriever(search_kwargs={"k": 3})

5. 构建检索问答链

结合 LLM 和 Retriever 形成完整的 RAG 链路。

from langchain.chains import RetrievalQA
from langchain.llms import OpenAI

llm = OpenAI(temperature=0, model_name="gpt-3.5-turbo-instruct")
qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=retriever,
    return_source_documents=True
)

result = qa_chain({"query": "什么是大模型？"})
print(result["result"])

6. Prompt 工程优化

在 System Prompt 中注入角色定义和约束条件。

from langchain.prompts import PromptTemplate

PROMPT_TEMPLATE = """
你是一位专业的知识库助手。请根据以下上下文回答问题。
如果上下文中没有相关信息，请直接告知无法回答。

上下文：{context}
问题：{question}

回答：
"""

prompt = PromptTemplate(template=PROMPT_TEMPLATE, input_variables=["context", "question"])

7. 前端 Demo 搭建

使用 Gradio 快速构建交互界面。

import gradio as gr

def answer_question(question):
    result = qa_chain({"query": question})
    return result["result"]

iface = gr.Interface(fn=answer_question, inputs="text", outputs="text", title="个人知识库助手")
iface.launch()

验证迭代与评估

验证迭代是大模型开发中极其重要的一步。一般指通过不断发现 Bad Case 并针对性改进 Prompt Engineering 来提升系统效果、应对边界情况。

1. Bad Case 分析：收集用户反馈中的错误回答，分析是检索失败还是生成错误。
2. Prompt 调优：针对特定类型的 Bad Case，调整 Prompt 模板，增加 Few-Shot 示例。
3. 检索策略调整：如果检索召回率低，可尝试调整 Chunk Size 或更换 Embedding 模型。
4. 自动化评估：引入 RAGAS 等指标框架，自动计算答案的相关性、忠实度等分数。

总结

通过示例章节的演示可以看出，本教程是从零开始，全面又简短的大模型教程。对相关大模型开发理论、概念和基本技能进行了项目主导的重构，删去不需要理解的底层原理和算法细节，涵盖所有大模型开发的核心技能。学完本教程，你已经掌握了如何构建个人知识库助手，也可以独立搭建一个大模型应用，成为一名大模型应用开发者。

后续可进一步探索长短期记忆分配、自动 Prompt 调优、优化检索系统等高级主题，积累更多应用构建技巧。