Windows 电脑本地搭建 Llama-3-8B 个人知识问答助手

注意：Ollama 在 2024 年底正式推出 Windows 原生客户端，告别 WSL！本文基于此版本。

三、核心组件介绍

四、分步搭建流程（含完整代码）

步骤 1：安装 Ollama 并下载 Llama-3-8B

1. 访问 Ollama 官网，下载 Ollama for Windows 并安装。
2. 打开 命令提示符（CMD）或 PowerShell，运行：

# 下载 Llama-3-8B 的 4-bit 量化版本（推荐）
o llama pull llama3:8b-instruct-q4_K_M
# 验证是否成功（会启动交互式对话）
o llama run llama3:8b-instruct-q4_K_M

q4_K_M 是 GGUF 格式的 4-bit 量化模型，在保持质量的同时大幅降低资源消耗。

步骤 2：准备你的知识库文档

将所有你想让 AI 学习的文档放入一个文件夹，例如：

my_knowledge/
├── 项目笔记.md
├── 论文摘要.pdf
├── 会议记录.docx
└── 技术手册.txt

支持格式：.txt, .md, .pdf, .docx, .pptx（需额外解析库）

步骤 3：创建 Python 虚拟环境并安装依赖

# 创建项目目录
mkdir local-rag-assistant && cd local-rag-assistant
# 创建虚拟环境
python -m venv venv
venv\Scripts\activate # Windows 激活命令
# 升级 pip
python -m pip install --upgrade pip
# 安装核心依赖
pip install langchain langchain-community langchain-core
pip install chromadb
pip install pypdf python-docx # PDF 和 Word 解析
pip install sentence-transformers
pip install ollama # 用于调用 Ollama 的 API

步骤 4：编写文档加载与向量化脚本（ingest.py）