基于 LangChain 和 Streamlit 搭建 PDF 问答知识库

请勿将 .env 文件提交至 Git 仓库，建议在 .gitignore 中添加该文件名。

3.2 Streamlit 隐私设置

Streamlit 默认会收集使用数据。出于隐私考虑，建议关闭统计功能。

在用户主目录下创建 ~/.streamlit/config.toml (macOS/Linux) 或 %userprofile%\.streamlit\config.toml (Windows)，添加以下内容：

[browser]
gatherUsageStats = false

4. 核心代码实现

4.1 基础结构

创建 app.py 文件，引入必要的模块。

from dotenv import load_dotenv
import os
import streamlit as st
from langchain.text_splitter import CharacterTextSplitter
from langchain.embeddings.openai import OpenAIEmbeddings
from langchain.vectorstores import FAISS
from langchain.chains.question_answering import load_qa_chain
from langchain.llms import OpenAI
from langchain.callbacks import get_openai_callback
import pdfplumber

load_dotenv()

4.2 页面布局

使用 Streamlit 构建简洁的上传与输入界面。

st.set_page_config(page_title="专属 PDF 知识库")
st.header("📚 专属 PDF 知识库")

# 文件上传组件
uploaded_file = st.file_uploader("上传 PDF 文件", type="pdf")

4.3 文本提取与处理

读取 PDF 内容并进行分片。合理的分片大小对检索效果至关重要。

if uploaded_file is not None:
    # 提取文本
    text = ""
    with pdfplumber.open(uploaded_file) as pdf_reader:
        for page in pdf_reader.pages:
            page_text = page.extract_text()
            if page_text:
                text += page_text + "\n"

    # 文本分片
    # chunk_size: 每个分片的字符数
    # chunk_overlap: 重叠部分，保留上下文信息
    text_splitter = CharacterTextSplitter(
        separator="\n",
        chunk_size=1000,
        chunk_overlap=200,
        length_function=len
    )
    chunks = text_splitter.split_text(text)
    
    st.success(f"成功提取 {len(chunks)} 个文本分片")

4.4 向量化与索引

将文本分片转化为向量并存储到 FAISS 数据库中。

    # 初始化 Embedding 模型
    embeddings = OpenAIEmbeddings()
    
    # 创建向量库
    knowledge_base = FAISS.from_texts(chunks, embeddings)

4.5 问答逻辑

接收用户问题，检索相关文档，并调用 LLM 生成回答。

    user_question = st.text_input("请输入您的问题：")
    
    if user_question:
        # 相似度搜索
        docs = knowledge_base.similarity_search(user_question, k=3)
        
        # 初始化 LLM
        llm = OpenAI(temperature=0)
        
        # 加载 QA 链
        chain = load_qa_chain(llm, chain_type="stuff")
        
        # 执行查询
        with get_openai_callback() as cb:
            response = chain.run(input_documents=docs, question=user_question)
            print(f"消耗 Token: {cb.total_tokens}, 成本：${cb.total_cost}")
        
        st.write(response)

5. 常见问题与优化

5.1 国内网络访问问题

由于 OpenAI 服务在国内访问不稳定，可能需要代理。

方案一：Cloudflare Workers

部署一个中间层代理，转发请求。需在 .env 中配置 OPENAI_API_BASE。

OPENAI_API_BASE=https://your-worker-domain.com/v1

方案二：本地代理工具

使用科学上网工具开启全局模式或指定端口。

5.2 API 版本兼容性问题

如果遇到 Unsupported OpenAI-Version header provided 错误，可在初始化 Embedding 或 LLM 时指定版本。

embeddings = OpenAIEmbeddings(openai_api_version='2020-11-07')
llm = OpenAI(openai_api_version='2020-11-07')

5.3 性能优化建议

1. 分片策略调整：根据文档类型调整 chunk_size。代码类文档可适当减小，文章类文档可适当增大。
2. 缓存机制：对于相同的问题，可考虑增加简单的缓存逻辑以减少 Token 消耗。
3. 模型选择：若预算有限，可尝试接入其他支持 OpenAI 协议的第三方服务或本地部署模型（如 Ollama）。

6. 安全最佳实践

1. 密钥保护：永远不要硬编码 API Key 在代码中，务必使用环境变量。
2. 权限控制：在生产环境中，应增加登录验证机制，防止未授权访问。
3. 输入过滤：对用户输入进行校验，防止注入攻击。

7. 总结

本教程演示了如何利用 LangChain 生态快速构建一个基于 PDF 的私有知识库应用。通过结合流式计算与向量检索技术，实现了高效的问答体验。开发者可根据实际需求进一步扩展功能，例如支持多种文件格式、多轮对话记忆或集成更多类型的向量数据库。