Ollama + Milvus 本地智能体搭建指南：打造本地部署RAG知识库助手（java快速搭建）

Ne0inhk

— 10 min read

前提需要docker环境 本文基于docker安装 Milvus 向量数据库

后台通过java项目启动  java版本17

技术组件核心作用核心优势

Ollama本地运行开源大模型（对话生成、文本向量化）

   1. 轻量便捷，一键部署，无需复杂的模型环境配置；

   2. 离线可用，支持 Qwen、Llama、Mistral 等多款开源模型；

   3. 支持自定义模型，可嵌入固定角色与业务规则；

   4. 无调用额度限制，零成本使用。

Milvus存储与检索高维向量数据（知识库核心载体）

   1. 专为向量检索设计，性能远超通用数据库，支持百万级向量快速检索；

   2. 支持数据持久化，重启服务后知识库数据不丢失；

   3. 提供可视化工具 Attu，方便管理向量集合与数据；

   4. 可横向扩展，从单机版平滑升级到分布式集群，满足业务增长需求。

Spring AI基于 Spring Boot，简化大模型 / 向量库整合

   1. 封装 Ollama 调用，无需手写 HTTP 请求，一行代码完成文本向量化与对话生成；

   2. 与 Spring Boot 无缝集成，支持配置化管理模型参数，自动注入客户端；

   3. 提供统一的 RAG 流程支撑，降低大模型项目开发成本；

   4. 支持扩展多种大模型 / 向量库，便于后续技术选型替换。

Apache Tika解析 PDF/Word 等多种格式文档（辅助构建知识库）

1. 支持几乎所有主流文档格式，无需单独开发各格式解析逻辑；

2. 轻量高效，能快速提取文档中的纯文本内容，用于后续向量化。

步骤 1：Ollama 安装与必备模型下载本文安装的

Ollama 是本地智能体的「大脑」，负责将文本转换为向量（供 Milvus 存储）和基于检索结果生成自然语言回答，先完成它的安装与模型下载。

1. 跨平台安装 Ollama

Ollama 支持全平台安装，步骤简单，无需额外配置：

  • Windows 系统：
    1. 访问 Ollama 官方下载地址，点击下载 Windows 版本安装包（.exe 格式）；
    2. 双击安装包，按照提示下一步安装（默认勾选「Add Ollama to PATH」，无需手动修改）；
    3. 安装完成后，Ollama 会自动在后台启动服务，无需手动执行命令。
  • macOS 系统：
    1. 访问 Ollama 官方下载地址，下载 macOS 版本安装包（.dmg 格式）；
    2. 双击安装包，将「Ollama」拖拽到「应用程序」文件夹；
    3. 打开终端，执行 ollama --version 触发服务启动（首次启动可能需要 10 秒左右）。
  • Linux 系统：
    1. 安装完成后，执行 systemctl start ollama 启动 Ollama 服务（设置开机自启：systemctl enable ollama）。

打开终端，执行一键安装命令：bash运行

curl -fsSL https://ollama.com/install.sh | sh

2. 验证 Ollama 安装成功

打开终端 / 命令行，执行以下命令，若能显示 Ollama 版本号，则说明安装成功：

bash

运行

ollama --version ollama version is 0.14.2 （本文用的版本）

3. 下载必备开源模型

本文项目需求，需要下载两款模型：「对话生成模型」（负责回答用户问题）和「文本向量化模型」（负责将文档 / 问题转换为向量），以下对话生成模型和文本向量化模型 可以根据自己需求切换：

  1. 验证模型下载成功：执行 ollama list，若能看到上述两款模型的记录（包含模型名、大小、修改时间），则说明下载成功。

快速测试 Ollama 服务：执行 ollama run qwen2:7b-instruct，进入模型对话界面，输入「你好」，若能收到正常回复，说明 Ollama 服务运行正常（输入 /bye 可退出对话界面）。

下载文本向量化模型（all-MiniLM-L6-v2，轻量高效，适合本地运行）：bash运行

ollama pull mahonzhan/all-MiniLM-L6-v2

下载对话生成模型（Qwen2 7B 指令版，中文表现优异，性价比高）：bash运行

ollama pull qwen2:7b-instruct
注意：模型下载需要联网，下载完成后后续运行可完全离线；若下载速度较慢，可更换国内镜像源或耐心等待（7B 模型大小约 4GB 左右）。

步骤 2：Docker Compose 一键部署 Milvus + Attu

Milvus 运行依赖 Etcd（元数据存储）和 MinIO（对象存储），手动部署复杂且容易出错，我们使用 docker-compose.yml 一键部署全套服务，同时整合 Attu 可视化工具，方便后续管理向量数据。

1. 编写完整的 Docker Compose 配置文件

  1. 新建一个空文件夹（如 milvus-standalone-deploy），用于存放 Milvus 配置与数据，避免文件混乱；
  2. 在该文件夹内创建docker-compose.yml 文件，粘贴以下完整配置（已优化网络通信与数据持久化）：

yaml

version: '3.5' services: # 依赖服务1：Etcd - 存储 Milvus 元数据（如集合结构、索引信息） etcd: container_name: milvus-etcd image: quay.io/coreos/etcd:v3.5.5 environment: - ETCD_AUTO_COMPACTION_MODE=revision - ETCD_AUTO_COMPACTION_RETENTION=1000 - ETCD_QUOTA_BACKEND_BYTES=4294967296 - ETCD_SNAPSHOT_COUNT=50000 volumes: - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/etcd:/etcd command: etcd -advertise-client-urls=http://127.0.0.1:2379 -listen-client-urls http://0.0.0.0:2379 --data-dir /etcd healthcheck: test: ["CMD", "etcdctl", "endpoint", "health"] interval: 30s timeout: 20s retries: 3 networks: - milvus # 依赖服务2：MinIO - 存储 Milvus 海量向量数据与原始文档 minio: container_name: milvus-minio image: minio/minio:RELEASE.2023-03-20T20-16-18Z environment: MINIO_ACCESS_KEY: minioadmin MINIO_SECRET_KEY: minioadmin ports: - "9001:9001" # MinIO 控制台访问端口 - "9000:9000" # MinIO 服务通信端口 volumes: - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/minio:/minio_data command: minio server /minio_data --console-address ":9001" healthcheck: test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"] interval: 30s timeout: 20s retries: 3 networks: - milvus # 核心服务：Milvus Standalone 单机版 standalone: container_name: milvus-standalone image: milvusdb/milvus:v2.3.0 command: ["milvus", "run", "standalone"] environment: ETCD_ENDPOINTS: etcd:2379 MINIO_ADDRESS: minio:9000 volumes: - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus healthcheck: test: ["CMD", "curl", "-f", "http://localhost:9091/healthz"] interval: 30s start_period: 90s # Milvus 首次启动较慢，预留足够启动时间 timeout: 20s retries: 3 ports: - "19530:19530" # Milvus 核心向量检索/通信端口（必须保留） - "9091:9091" # Milvus 健康检查端口 depends_on: - "etcd" - "minio" networks: - milvus # 可视化工具：Attu - 管理 Milvus 向量数据（无需命令行，图形化操作） attu: container_name: milvus-attu image: zilliz/attu:v2.3.9 environment: MILVUS_URL: standalone:19530 # 内部服务名通信，比 localhost 更稳定 ports: - "8000:3000" # Attu 前端访问端口（浏览器访问） depends_on: - standalone healthcheck: test: ["CMD", "curl", "-f", "http://localhost:3000"] interval: 30s start_period: 60s timeout: 10s retries: 3 networks: - milvus # 统一网络：确保所有服务互通，隔离其他 Docker 容器 networks: milvus: name: milvus

2. 启动 Milvus + Attu 服务

  1. 打开终端 / 命令行，进入 milvus-standalone-deploy 文件夹（即 docker-compose.yml 所在目录）；
  2. 等待服务启动完成（首次启动需要下载镜像，约 5-10 分钟，取决于网络速度）。

执行以下命令，后台启动所有服务（-d 表示后台运行，不占用终端窗口）：bash运行

docker-compose up -d
注意：镜像下载失败的话增加 Docker 镜像的下载地址

如果解析失败的话  增加 DNS 解析尝试   "dns": ["8.8.8.8", "114.114.114.114"] 

3. 验证 Milvus + Attu 启动成功

方法 1：查看 Docker 容器状态

执行 docker ps，查看是否有 4 个容器处于 Up 状态（milvus-etcd、milvus-minio、milvus-standalone、milvus-attu），若全部 Up，说明容器启动成功。

方法 2：访问 Attu 可视化界面
  1. 打开浏览器，输入 http://localhost:8000；
  2. 无需额外配置（默认连接 localhost:19530），直接进入 Attu 主界面；
  3. 若左侧显示「Milvus」连接成功，且能看到「Collections」（向量集合）、「Indexes」（索引）等菜单，说明 Milvus 服务启动正常，可正常使用。

4. 关键说明

  • 数据持久化：所有数据（Etcd 元数据、MinIO 向量数据、Milvus 核心数据）均存储在 milvus-standalone-deploy/volumes 文件夹下，停止服务后数据不会丢失，下次启动可直接复用；
  • 版本兼容：本文使用 Milvus v2.3.0 + Attu v2.3.9，这是经过验证的兼容组合，请勿随意更换版本（版本不匹配会导致 Attu 无法连接 Milvus）；
  • 停止服务：如需停止所有服务，进入 milvus-standalone-deploy 文件夹执行 docker-compose down（保留数据）；若需清理所有数据，执行 docker-compose down -v；
  • 端口冲突：若 19530、8000、9000 等端口被占用，可修改 docker-compose.yml 中的端口映射（如 8001:3000），避免冲突。

步骤 4：核心功能开发（实现完整 RAG 流程）

我们实现完整的 RAG（检索增强生成）流程：「文档解析 → 文本向量化 → 向量存入 Milvus → 用户问题向量化 → Milvus 检索相关向量 → Ollama 生成回答」，

java实现方式 

git clone https://gitee.com/li-hedong/ai-robot.git

下载代码 安装配置 

仓库依赖下载失败时 https://maven.aliyun.com/mvn/search
访问这个地址搜索下载对应版本

步骤 5：系统启动与验证（完整流程跑通）

至此，所有组件与代码已搭建完成，我们按顺序启动服务，验证整个系统的运行效果，确保每一步都能正常工作。

1. 启动前置服务（按顺序）

  1. 确保 Ollama 服务已启动（安装后默认后台运行，若未启动，执行 ollama serve）；
  2. 确保 Milvus + Attu 服务已启动（进入 milvus-standalone-deploy 文件夹，执行 docker-compose up -d）；
  3. 准备测试文档：在 src/main/resources 下创建 docs 文件夹，放入一份 PDF 或 Word 测试文档（如 product_manual.pdf），用于后续入库测试。

2. 启动 Spring Boot 项目

  1. 在 IDEA 中，右键点击项目主启动类 AiDocumentRetrievalApplication.java，选择「Run」；
  2. 查看控制台日志，若显示「🎉 AI 文档检索系统启动成功！」且无报错，说明 Spring Boot 项目启动成功；
  3. 同时查看 Milvus 客户端连接日志，若显示「Milvus 客户端连接成功：localhost:19530」，说明 Milvus 连接正常。

3. 验证核心功能（使用 Postman 或浏览器）

验证 1：文档入库

访问

http://localhost:8081/api/knowledge/import?documentPath=classpath:docs/product_manual.pdf

（替换为你的测试文档路径），若返回「文档入库成功！」，说明文档已成功解析并存入 Milvus；同时可访问 Attu（http://localhost:8000），查看 document_knowledge_base 集合，能看到入库的数据条数，验证入库成功。

验证 2：智能问答

访问 http://localhost:8081/api/knowledge/qa?question=产品的核心功能有哪些（替换为与测试文档相关的问题），若能返回基于文档内容的回答，说明整个 RAG 流程运行正常，智能体已具备离线知识库检索能力。

4. 离线验证（可选）

断开网络连接，重复上述「智能问答」步骤，若仍能正常返回回答（基于已入库的本地文档），说明系统实现了全离线运行，数据隐私得到保障。

Read more

C++ 模板进阶：特化、萃取与可变参数模板

C++ 模板进阶：特化、萃取与可变参数模板

C++ 模板进阶：特化、萃取与可变参数模板 💡 学习目标：掌握模板进阶技术的核心用法，理解模板特化的深层应用、类型萃取的实现原理，以及可变参数模板的灵活使用，提升泛型编程的实战能力。 💡 学习重点：模板特化的进阶场景、类型萃取工具的设计与应用、可变参数模板的展开技巧、折叠表达式的使用方法。 一、模板特化进阶：处理复杂类型场景 💡 模板特化不只是针对单一类型的定制，还能处理指针、引用、数组等复杂类型，实现更精细的类型适配逻辑。 1.1 指针类型的模板特化 通用模板默认处理普通类型，我们可以为指针类型单独编写特化版本，实现指针专属的逻辑。 #include<iostream>#include<string>usingnamespace std;// 通用模板：处理普通类型template<typenameT>classTypeProcessor{public:staticvoidprocess(T data){ cout

By Ne0inhk
C++ 类与对象：封装特性的实现与实战应用

C++ 类与对象：封装特性的实现与实战应用

C++ 类与对象：封装特性的实现与实战应用 💡 学习目标：掌握类与对象的核心概念，理解封装的本质与价值，能够独立设计并实现具有封装特性的 C++ 类。 💡 学习重点：类的定义与对象实例化、访问权限控制、构造函数与析构函数的使用、封装的实战场景应用。 一、类与对象的核心概念 ✅ 结论：类是 C++ 面向对象编程的核心载体，是对一类事物属性和行为的抽象描述；对象是类的具体实例，是内存中实际存在的实体。 1.1 类的组成 一个完整的 C++ 类通常包含两部分： * 成员变量：描述类的属性，如人的姓名、年龄，圆的半径等。 * 成员函数：描述类的行为，如人的吃饭、跑步，圆的面积计算等。 1.2 类的定义格式 #include<iostream>#include<string>

By Ne0inhk

Visual C++ Redistributable完整修复指南：5分钟解决所有运行库问题

Visual C++ Redistributable完整修复指南：5分钟解决所有运行库问题 【免费下载链接】vcredistAIO Repack for latest Microsoft Visual C++ Redistributable Runtimes 项目地址: https://gitcode.com/gh_mirrors/vc/vcredist 当您满怀期待地安装新游戏或专业软件时，是否曾经遇到过"缺少MSVCP140.dll"、"VCRUNTIME140_1.dll丢失"或"应用程序无法正常启动"等令人沮丧的错误提示？这些问题往往源于Microsoft Visual C++ Redistributable运行库的缺失或损坏。作为Windows系统运行C++程序的必备组件，Visual C++ Redistributable的安装故障已经成为影响用户体验的常见痛点。 本指南将为您提供一套从快速诊断到彻底修复的完整解决方案，帮助您在5分钟内解决所有Visual C+

By Ne0inhk

JDK21的下载与安装(2025.8.2)

目录 * 一、JDK21的下载 * 二、JDK21的安装与环境变量的配置 一、JDK21的下载 通过下面链接进入Oracle官方的Java网站。 Java 软件 | Oracle 中国https://www.oracle.com/cn/java/点击下载Java。 点击JDK21，然后选择Windows。 可以看到，在Prodcut/file description下有：x64 Compressed Archive、x64 Installer、x64 MSI Installer，下面介绍下它们的区别： x64 Compressed Archive：免安装版本，通常是一个压缩包，需要手动配置环境变量来完成jdk的安装。  x64 Installer：可执行的安装程序，在安装过程中一般会自动配置环境变量。  x64 MSI Installer：基于Windows Installer技术的安装包，可通过命令行进行安装、卸载和配置，

By Ne0inhk