Milvus 开源向量数据库技术解析与实战

原理流程

关键步骤： 1️⃣ 写入：数据经 Embedding 模型转为向量 + 标量（如商品类目、价格） 2️⃣ 索引构建：后台异步构建 HNSW/IVF 索引（支持增量更新） 3️⃣ 查询：

• 标量过滤（WHERE category='手机'）
• 向量 ANN 搜索（余弦相似度）
• 结果融合排序 4️⃣ 返回：毫秒级返回最相关结果

Milvus 是为云原生环境设计，采用模块化设计理念，将系统分为多个组件，分别处理客户端请求、数据处理以及向量数据的存储和检索。得益于这种模块化设计，Milvus 可以轻松地更新或升级特定模块，而无需改变模块间的接口，使得在 Milvus 中集成 GPU 加速变得简单可行。

Milvus 2.4 的架构包括协调器、访问层、消息队列、工作节点和存储层等组件。工作节点进一步细分为数据节点、查询节点和索引节点。其中，索引节点负责构建索引，查询节点负责执行查询。为了充分利用 GPU 的加速能力，CAGRA 被集成到了 Milvus 的索引节点和查询节点中。这种集成使得计算密集型任务，如索引构建和查询处理，能够被转移到 GPU 上执行，从而利用其并行处理能力。

快速开始

方式一：Docker 一键启动（推荐新手）

# 1. 启动 Milvus 单机版（含 Attu 可视化界面）
wget https://github.com/milvus-io/milvus/releases/download/v2.4.0/milvus-standalone-docker-compose.yml -O docker-compose.yml
docker-compose up -d

# 2. 访问 Web 管理界面
# 浏览器打开：http://localhost:3000
# Attu 管理后台

方式二：Python SDK 快速验证

pip install pymilvus

使用示例：构建一个'电影语义搜索'小应用

from pymilvus import connections, Collection, FieldSchema, CollectionSchema, DataType, utility
import numpy as np

# 1. 连接 Milvus
connections.connect(host='localhost', port='19530')

# 2. 定义 Schema（向量 + 标量）
fields = [
    FieldSchema(name="id", dtype=DataType.INT64, is_primary=True, auto_id=True),
    FieldSchema(name="title", dtype=DataType.VARCHAR, max_length=200),
    FieldSchema(name="genre", dtype=DataType.VARCHAR, max_length=50),
    FieldSchema(name="embedding", dtype=DataType.FLOAT_VECTOR, dim=768) # BERT 向量维度
]
schema = CollectionSchema(fields, "movie_collection")
collection = Collection("movies", schema)

# 3. 插入模拟数据（实际用 Embedding 模型生成）
movies = [
    {"title": "星际穿越", "genre": "科幻", "embedding": np.random.random(768).tolist()},
    {"title": "肖申克的救赎", "genre": "剧情", "embedding": np.random.random(768).tolist()}
]
collection.insert([[m["title"] for m in movies], [m["genre"] for m in movies], [m["embedding"] for m in movies]])

# 4. 创建索引（HNSW 高精度）
index_params = {
    "metric_type": "COSINE",
    "index_type": "HNSW",
    "params": {"M": 8, "efConstruction": 200}
}
collection.create_index("embedding", index_params)
collection.load() # 加载到内存

# 5. 语义搜索：找'关于希望与自由的电影'
query_vec = np.random.random(768).tolist() # 实际应为'希望 自由'文本的 Embedding
results = collection.search(
    data=[query_vec],
    anns_field="embedding",
    param={"metric_type": "COSINE", "params": {"ef": 50}},
    limit=3,
    expr="genre in ['剧情', '励志']" # 混合查询：先过滤类型
)

# 6. 输出结果
for hit in results[0]:
    print(f"推荐电影：{hit.entity.get('title')} | 相似度：{1- hit.distance:.4f}")

✅ 效果：输入'希望与自由'，返回《肖申克的救赎》等高相关影片！