基于 Chroma 与 Ollama 构建本地 RAG 应用

参数说明：

• temperature: 控制文本生成的创造性。为 0 时响应可预测，始终选择下一个最可能的单词，适合事实性答案；为 1 时生成文本更随机，适合创意写作。
• top_p: 核心采样值，决定生成时要考虑多少可能的单词。高值意味着模型会考虑更多可能性，使文本更多样化。
• 建议配置: 较低的 temperature 和较高的 top_p 可以产生具有创意的连贯文字，适合信息类文本生成。

数据处理与向量化

1. 获取网页内容并分块

使用 BeautifulSoup 解析网页内容，并按标签提取所需部分。合理的分词设置会提高 RAG 的效果。

import bs4
from langchain_community.document_loaders import WebBaseLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter

loader = WebBaseLoader(
    web_paths=("https://vuejs.org/guide/introduction.html",),
    bs_kwargs=dict(
        parse_only=bs4.SoupStrainer(class_=("content",))
    ),
)
docs = loader.load()

# chunk_size: 分块大小
# chunk_overlap: 分块重叠部分，有助于降低将语句与其相关的重要上下文分开的可能性
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(docs)

2. 嵌入向量数据库

将内容基于本地的词嵌入模型 nomic-embed-text 嵌入向量数据库中。

from langchain_community.vectorstores import Chroma
from langchain_community.embeddings import OllamaEmbeddings

vectorstore = Chroma.from_documents(
    documents=splits,
    embedding=OllamaEmbeddings(model="nomic-embed-text")
)

注意: 此处的嵌入模型也可以使用其他如 llama3、mistral，但在本地运行速度较慢。它们和 nomic-embed-text 一样不支持中文的词嵌入。如果想建立中文文档库，可以尝试 herald/dmeta-embedding-zh 模型。

ollama pull herald/dmeta-embedding-zh:latest

3. 设置 Prompt 规范输出

定义 Prompt 模板以规范 LLM 的输出格式，明确指示模型在不知道答案时如何回应。

from langchain_core.prompts import PromptTemplate

prompt = PromptTemplate(
    input_variables=['context', 'question'],
    template="""
    You are an assistant for question-answering tasks.
    Use the following pieces of retrieved context to answer the question.
    If you don't know the answer, just say you don't know without any explanation.
    Question: {question}
    Context: {context}
    Answer:
    """
)

4. 实现检索问答链

基于 LangChain 实现检索问答功能。

from langchain.chains import RetrievalQA

retriever = vectorstore.as_retriever()
qa_chain = RetrievalQA.from_chain_type(
    llm,
    retriever=retriever,
    chain_type_kwargs={"prompt": prompt}
)

# 测试问答
question = "what is vue?"
result = qa_chain.invoke({"query": question})
print(result["result"])

如果问的问题与文档无关，例如 what is react?，模型会根据 Prompt 设定回答 I don't know.。

构建用户界面

使用 Gradio 库构建交互式机器学习界面。你只需要定义一个有输入和输出的函数，然后 Gradio 将自动为你生成一个界面。

整合代码

import gradio as gr
from langchain_community.llms import Ollama
from langchain.callbacks.manager import CallbackManager
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler
from langchain_community.document_loaders import WebBaseLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_community.vectorstores import Chroma
from langchain_community.embeddings import OllamaEmbeddings
from langchain.chains import RetrievalQA
from langchain_core.prompts import PromptTemplate

def init_ollama_llm(model, temperature, top_p):
    return Ollama(
        model=model,
        temperature=temperature,
        top_p=top_p,
        callback_manager=CallbackManager([StreamingStdOutCallbackHandler()])
    )

def content_web(url):
    loader = WebBaseLoader(web_paths=(url,))
    docs = loader.load()
    text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
    splits = text_splitter.split_documents(docs)
    return splits

def chroma_retriever_store_content(splits):
    vectorstore = Chroma.from_documents(
        documents=splits,
        embedding=OllamaEmbeddings(model="nomic-embed-text")
    )
    return vectorstore.as_retriever()

def rag_prompt():
    return PromptTemplate(
        input_variables=['context', 'question'],
        template="""
        You are an assistant for question-answering tasks.
        Use the following pieces of retrieved context to answer the question.
        If you don't know the answer, just say you don't know without any explanation.
        Question: {question}
        Context: {context}
        Answer:
        """
    )

def ollama_rag_chroma_web_content(web_url, question, temperature, top_p):
    llm = init_ollama_llm('llama3', temperature, top_p)
    splits = content_web(web_url)
    retriever = chroma_retriever_store_content(splits)
    qa_chain = RetrievalQA.from_chain_type(
        llm, 
        retriever=retriever, 
        chain_type_kwargs={"prompt": rag_prompt()}
    )
    return qa_chain.invoke({"query": question})["result"]

demo = gr.Interface(
    fn=ollama_rag_chroma_web_content,
    inputs=[
        gr.Textbox(label="web_url", value="https://vuejs.org/guide/introduction.html", info="爬取内容的网页地址"),
        "text",
        gr.Slider(0, 1, step=0.1, label="Temperature"),
        gr.Slider(0, 1, step=0.1, label="Top P")
    ],
    outputs="text",
    title="Ollama+RAG Example",
    description="输入网页的 URL，然后提问，获取答案"
)

demo.launch()

运行后会输出 Running on local URL: http://127.0.0.1:7860，打开浏览器即可查看交互效果。

优化与最佳实践

1. 分块策略调整

chunk_size 和 chunk_overlap 对 RAG 效果影响显著。过小的分块可能导致上下文丢失，过大则可能引入噪声。建议根据文档结构（如段落、章节）动态调整，通常 500-1000 字符较为合适。

2. 向量存储持久化

默认情况下，Chroma 存储在内存中。为了保持数据持久化，可以在初始化时指定 persist_directory。

vectorstore = Chroma.from_documents(
    documents=splits,
    embedding=OllamaEmbeddings(model="nomic-embed-text"),
    persist_directory="./chroma_db"
)

3. 多模态与混合搜索

除了纯文本检索，未来可扩展支持 PDF、Markdown 等多种文件格式加载。同时，结合关键词搜索（BM25）与向量搜索（Hybrid Search）通常能进一步提升检索准确率。

总结

本教程演示了从零开始构建本地 RAG 应用的完整流程。通过本地部署 LLM 和 Embedding 模型，我们实现了数据的隐私保护与离线可用。结合 LangChain 的灵活编排能力和 Gradio 的快速 UI 构建，开发者可以高效验证想法并交付原型。后续可根据实际需求引入权限管理、缓存机制及更复杂的检索策略。