基于 DeepSeek R1 和 Ollama 构建 RAG 系统实战

# Streamlit file uploader
uploaded_file = st.file_uploader("Upload a PDF file", type="pdf")
if uploaded_file:
    # Save PDF temporarily
    with open("temp.pdf", "wb") as f:
        f.write(uploaded_file.getvalue())
    # Load PDF text
    loader = PDFPlumberLoader("temp.pdf")
    docs = loader.load()

3. 策略性地分割文档

将提取的文本分割成合适的语义块是提高检索效率和回答准确性的关键步骤。通过 SemanticChunker 结合 HuggingFaceEmbeddings，能够根据文本的语义信息进行智能分割。这种分割方式不仅考虑了文本的长度，更重要的是能够将语义相关的内容划分到同一个块中，使得后续在检索和生成回答时，模型能够更好地理解上下文，提供更符合逻辑和语义的答案。例如，在处理技术文档时，能够将同一技术概念相关的段落划分到一起，便于模型准确地获取和利用相关信息。

# Split text into semantic chunks
text_splitter = SemanticChunker(HuggingFaceEmbeddings())
documents = text_splitter.split_documents(docs)

4. 创建可搜索的知识库

为了实现快速准确的检索，需要为分割后的文本块生成向量嵌入，并将其存储在 FAISS 索引中。向量嵌入能够将文本转换为计算机易于处理的数值向量形式，使得文本之间的相似度计算更加高效。HuggingFaceEmbeddings 提供了强大的嵌入生成功能，能够生成高质量的向量表示。FAISS 则是一款高效的向量数据库，它支持快速的相似性搜索，能够在大量向量中快速找到与查询向量最相似的文本块。通过设置检索参数'k=3'，系统会在搜索时返回最相关的 3 个文本块，这与 DeepSeek R1 专注检索的特性相匹配，确保了系统能够快速获取关键信息，为生成准确的回答提供有力支持。

# Generate embeddings
embeddings = HuggingFaceEmbeddings()
vector_store = FAISS.from_documents(documents, embeddings)

# Connect retriever
retriever = vector_store.as_retriever(search_kwargs={"k": 3})  # Fetch top 3 chunks

5. 配置 DeepSeek R1 模型

在使用 DeepSeek R1 模型时，首先要通过 Ollama 实例化一个 1.5B 参数的模型实例。然后，精心设计一个提示模板，用于引导模型生成回答。提示模板明确规定了模型的回答规则：仅依据提供的上下文信息进行回答；在不确定答案时，回复'我不知道'；并且将回答控制在 4 句话以内。这样的提示模板能够确保模型的回答既准确又简洁，避免了无关信息的干扰和冗长的回答，提高了用户体验。通过配置这个提示模板，让模型在生成回答时能够紧密围绕文档内容，充分发挥 RAG 系统的优势。

llm = Ollama(model="deepseek-r1:1.5b")  # Our 1.5B parameter model

# Craft the prompt template
prompt = """
1. Use ONLY the context below.
2. If unsure, say "I don't know".
3. Keep answers under 4 sentences.

Context: {context}

Question: {question}

Answer:
"""
QA_CHAIN_PROMPT = PromptTemplate.from_template(prompt)

6. 组装 RAG 链

将文档上传、文本分割、检索以及模型回答等各个环节整合起来，形成一个完整的 RAG 链。通过 LLMChain 和 StuffDocumentsChain 的组合，将检索到的文档块与提示模板相结合，让模型能够根据上下文生成回答。RetrievalQA 则将检索和回答功能集成在一起，构建出最终的 RAG 管道。这样的架构设计使得系统能够自动完成从用户提问到检索相关文档块，再到生成回答的一系列操作，实现了信息处理的自动化和智能化，为用户提供了流畅的问答体验。

# Chain 1: Generate answers
llm_chain = LLMChain(llm=llm, prompt=QA_CHAIN_PROMPT)

# Chain 2: Combine document chunks
document_prompt = PromptTemplate(
    template="Context:\ncontent:{page_content}\nsource:{source}",
    input_variables=["page_content", "source"]
)

# Final RAG pipeline
qa = RetrievalQA(
    combine_documents_chain=StuffDocumentsChain(
        llm_chain=llm_chain,
        document_prompt=document_prompt
    ),
    retriever=retriever
)

7. 启动 Web 界面

借助 Streamlit 搭建的 Web 界面，用户可以直接在输入框中输入问题，与系统进行交互。当用户提交问题后，系统会迅速检索匹配的文本块，并将其输入到 DeepSeek R1 模型中进行分析和生成回答。回答结果会实时显示在页面上，让用户能够快速获取所需信息。在用户等待回答的过程中，Streamlit 的加载提示功能会显示'Thinking...'，告知用户系统正在处理请求，提升了用户体验的友好性和交互性。通过这个 Web 界面，RAG 系统变得更加易用，即使是非技术人员也能轻松使用，大大拓宽了系统的应用范围。

# Streamlit UI
user_input = st.text_input("Ask your PDF a question:")

if user_input:
    with st.spinner("Thinking..."):
        response = qa(user_input)["result"]
        st.write(response)

借助 DeepSeek R1 和 Ollama 构建 RAG 系统，为开发者提供了一种高效、低成本且安全可靠的解决方案。通过详细的步骤指导和丰富的技术支持，开发者能够快速搭建起满足自身需求的智能问答系统，充分挖掘文档数据的价值。