本地部署AI大模型系列 —— 实战案例：搭建本地知识库
本系列教程涵盖 Ollama 的安装配置、大模型选择与管理、交互式对话、API 调用、自定义模型、高级用法等全部内容，帮助你在本地快速搭建和玩转AI大模型。
我们一起来搭建一个简单的RAG知识库。
什么是RAG
RAG (Retrieval-Augmented Generation，检索增强生成) ，是一种结合检索和生成能力的AI技术，旨在通过引入外部知识信息（如文档、数据库等）提升模型回答问题的准确性、相关性和可靠性。它通过将检索系统与生成模型结合，让AI模型在生成答案时能动态调用最新的、特定领域的知识，而非仅依赖训练时的静态数据。
RAG的核心逻辑
RAG的核心逻辑是：“先检索内容，再生成回答”。
- 检索阶段：从外部知识源（如文档、数据库等）检索与你的问题相关的内容。例如：当你问“熊猫老师喜欢什么？”，系统会从被熊猫老师处理过的私人文档中检索相关内容。
- 生成阶段：在检索到的内容的基础上，利用生成模型生成自然流畅的回答。例如：将检索到的“熊猫老师的爱好是编程和国际象棋”转化为回答和解释。
普通的大模型就像一个博学但记性有限的专家，通过提示词(Prompt)可以让它更加专注于某一领域并生成非常专业的回答。他知道 C++ 语法、算法和数学知识等内容，但不知道你昨天写的私有代码、错误逻辑和薄弱知识点，也不一定知道2026年最新的GESP考试大纲。当然，它肯定不会知道熊猫老师是谁，更别说熊猫老师喜欢什么了（哈哈，虽然这是一个毫无用处的问题）。
而 RAG 相当于是给这位专家配了一个“私人图书馆”。
- RAG的R是指检索 (Retrieval)：当你提问时，系统先去你的私有文档里搜出最相关的几段话。
- RAG的A是指增强 (Augmented)：把搜到的“证据”和你的“问题”打包在一起。
- RAG的G是指生成 (Generation)：大模型基于这些“证据”组织语言，给出一个不瞎编的回答。
给大模型加上RAG，搭建一个本地知识库，就可以让AI不会一本正经的胡说八道（他不知道熊猫老师却硬是胡编一个回答出来让我笑一笑）。
搭建本地知识库需要什么
我们可以围绕“数据”展开来看看搭建一个本地知识库的步骤以及需要的东西：
- 数据采集与切片处理：把你准备好的私人文档内容拆解切分成一个一个的小块方便后续检索，这里需要用的是
LlamaIndex或LangChain来加载文档和切片。 - 文本内容向量化数据：这里需要用的是向量嵌入模型将文字转化成数字向量，比如
qwen3-embedding - 向量数据库存储：这里需要用的向量数据库，比如
ChromaDB或者Milvus - 检索数据：当你提问时，根据问题去捞出最相关的片段，这里需要用的是
LlamaIndex或LangChain来进行检索 - 生成回答：把搜到的数据打包起来让AI模型生成最终的回答，这里用普通的大模型，比如
qwen3或者是我们之前自定义的模型gesp-coach
案例
接下来就一起来看一个简单的基于 Ollama + LangChain 搭建的RAG 本地知识库的例子。
先安装一下相关的 Python 库：
pip install ollama langchain langchain-ollama langchain-community chromadb 然后来看一下具体的 Python 代码示例：
from langchain_ollama import ChatOllama, OllamaEmbeddingsfrom langchain_community.vectorstores import Chromafrom langchain_core.prompts import ChatPromptTemplatefrom langchain.text_splitter import RecursiveCharacterTextSplitterfrom langchain_core.output_parsers import StrOutputParserfrom langchain_core.runnables import RunnablePassthrough# 模拟一段私有文档的内容documents = [ "熊猫老师的爱好是编程和国际象棋。", "熊猫老师擅长使用 C++ 和 Python 进行编程开发和算法竞赛。", "熊猫老师擅长使用 AI 辅助教学，并把 AI 技术应用于教育领域。", "熊猫老师经常与大家分享一些编程知识和 AI 技术。", "熊猫老师在小红书上的唯一账号'绍兴编程联盟'受到很多绍兴学霸家长的喜欢。", "熊猫老师创建的'绍兴信息学交流群'已经有很多关注编程喜欢编程的家长和同学加入。",]# 1. 数据采集与切片处理text_splitter = RecursiveCharacterTextSplitter(chunk_size=200, chunk_overlap=20)splits = text_splitter.create_documents(documents)# 2. 文本内容向量化数据embeddings = OllamaEmbeddings(model="qwen3-embedding:latest")# 3. 向量数据库存储vectorstore = Chroma.from_documents(splits, embeddings)# 4. 检索数据retriever = vectorstore.as_retriever(search_kwargs={"k": 2})# 5. 构建RAG链 生成回答llm = ChatOllama(model="qwen3:8b", temperature=0.1)# 提示词设计prompt = ChatPromptTemplate.from_template( """根据以下知识库内容回答问题。如果知识库内容中没有相关信息，请说"我不确定"。知识库内容：{context}问题：{question}""")# 链式调用chain = ( {"context": retriever, "question": RunnablePassthrough()} | prompt | llm | StrOutputParser())# 简单的问答测试question1 = "熊猫老师喜欢什么？"answer1 = chain.invoke(question1)print(f"问：{question1}")print(f"答：{answer1}")question2 = "熊猫老师最喜欢的是什么？"answer2 = chain.invoke(question2)print(f"问：{question2}")print(f"答：{answer2}") 示例的结果如下：
好了，就写到这里了。 我们可以用类似这样的方式，把GESP的相关的文档和资料作为 gesp-coach模型的RAG知识库，再把你的错题与代码全都喂给模型，让它为你排忧解难指点迷津，让它分析你的薄弱知识不足之处，让它生成针对你的专项训练模拟题，让它成为你的专属私教，而且是顶尖的私教！ 
想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？别再浪费时间啦！2026 年 AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！
👇👇扫码免费领取全部内容👇👇
一、学习必备：100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT，帮你看透 AI 趋势
想了解大模型的行业动态、商业落地案例？大模型电子书？这份资料帮你站在 “行业高度” 学 AI：
1. 100+本大模型方向电子书
2. 26 份行业研究报告：覆盖多领域实践与趋势
报告包含阿里、DeepSeek 等权威机构发布的核心内容，涵盖：
- 职业趋势：《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》；
- 商业落地：《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》；
- 领域细分：《AGI 在金融领域的应用报告》《AI GC 实践案例集》；
- 行业监测：《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。
3. 600+套技术大会 PPT：听行业大咖讲实战
PPT 整理自 2024-2025 年热门技术大会，包含百度、腾讯、字节等企业的一线实践：
- 安全方向：《端侧大模型的安全建设》《大模型驱动安全升级（腾讯代码安全实践）》；
- 产品与创新：《大模型产品如何创新与创收》《AI 时代的新范式：构建 AI 产品》；
- 多模态与 Agent：《Step-Video 开源模型（视频生成进展）》《Agentic RAG 的现在与未来》；
- 工程落地：《从原型到生产：AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。
二、求职必看：大厂 AI 岗面试 “弹药库”，300 + 真题 + 107 道面经直接抱走
想冲字节、腾讯、阿里、蔚来等大厂 AI 岗？这份面试资料帮你提前 “押题”，拒绝临场慌！
1. 107 道大厂面经：覆盖 Prompt、RAG、大模型应用工程师等热门岗位
面经整理自 2021-2025 年真实面试场景，包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题，每道题都附带思路解析：
2. 102 道 AI 大模型真题：直击大模型核心考点
针对大模型专属考题，从概念到实践全面覆盖，帮你理清底层逻辑：
3. 97 道 LLMs 真题：聚焦大型语言模型高频问题
专门拆解 LLMs 的核心痛点与解决方案，比如让很多人头疼的 “复读机问题”：
三、路线必明： AI 大模型学习路线图，1 张图理清核心内容
刚接触 AI 大模型，不知道该从哪学起？这份「AI大模型 学习路线图」直接帮你划重点，不用再盲目摸索！
路线图涵盖 5 大核心板块，从基础到进阶层层递进：一步步带你从入门到进阶，从理论到实战。
L1阶段:启航篇丨极速破界AI新时代
L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。
L2阶段：攻坚篇丨RAG开发实战工坊
L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。
L3阶段：跃迁篇丨Agent智能体架构设计
L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。
L4阶段：精进篇丨模型微调与私有化部署
L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。
L5阶段：专题集丨特训篇 【录播课】
四、资料领取：全套内容免费抱走，学 AI 不用再找第二份
不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：
👇👇扫码免费领取全部内容👇👇
2026 年想抓住 AI 大模型的风口？别犹豫，这份免费资料就是你的 “起跑线”！
