Python AI 应用开发：Embedding 向量表征与相似度计算

你可以把向量嵌入理解为一个对象的**'数字指纹'或'DNA 序列'**。

向量嵌入的强大之处在于，它不仅仅是随机的一堆数字，而是通过复杂的机器学习模型（如 Word2Vec, Transformer 等）学习得到的。这些数字的排列方式具有以下关键特性：

1. 语义相似性
   • 含义相近的对象，它们的向量在空间中的距离会很近。
   • 例子：'猫'和'狗'都是宠物，它们的向量距离会很近；而'猫'和'电脑'的向量距离会很远。
2. 关系类比
   • 向量空间中可以捕捉到类比关系。最著名的例子是：
     • '国王'的向量 - '男人'的向量 + '女人'的向量 ≈ '女王'的向量
   • 这意味着词语之间的语义关系（如'性别关系'）被编码在了向量的数学运算中。

1.5 向量嵌入是如何工作的？（以词嵌入为例）

想象一下，我们要把词语映射到一个 3 维空间（实际中维度更高，如 300 维、768 维），以便可视化：

1. 初始状态：一开始，计算机随机给每个词分配一个位置（一个向量）。
2. 学习过程：模型阅读海量文本（如维基百科）。它学习一个原则：'出现在相似上下文中的词语，具有相似的含义'。
   • 例如，'苹果'和'香蕉'经常出现在'吃'、'水果'、'甜'等词语附近。
   • 而'苹果'和'微软'可能出现在'公司'、'技术'等词语附近。
3. 最终结果：经过学习，模型会调整每个词的向量位置。
   • '苹果'（水果）和'香蕉'、'橘子'的向量会聚集在一起。
   • '苹果'（公司）和'微软'、'谷歌'的向量会聚集在另一处。
   • '水果'这个大类会和'蔬菜'等大类在更高层级上靠近。

最终，我们得到了一个'语义地图'，每个词都是这张地图上的一个点（即一个高维向量）。

1.6 Embedding 的核心价值

2. 向量间相似度计算

余弦相似度是通过计算两个向量夹角的余弦值来衡量相似性，等于两个向量的点积除以两个向量长度的乘积。

2.1 实验环境准备

• 获取 API KEY

通过代码实验需要用到 Embedding 模型，这里接入的是兼容 OpenAI 协议的 API 服务。配置好环境变量后，即可使用。

这里我注册的环境变量名称为：EMBEDDING_API_KEY

• 安装依赖

现在需要安装两个 python 库：

• numpy 用于做数值计算，它扩展了很多数据类型
• openai 它提供了与 openai 兼容的 API 库，可以用来访问各种 AI 平台提供的模型服务。

pip install --upgrade numpy openai

2.2 Embedding Model

嵌入模型（Embedding Model）是一种将离散数据（如文本、图像）映射到连续向量空间的技术。通过高维向量表示（如 768 维或 3072 维），模型可捕捉数据的语义信息，使得语义相似的文本在向量空间中距离更近。例如，'忘记密码'和'账号锁定'会被编码为相近的向量，从而支持语义检索而非仅关键词匹配。

核心作用：

• 语义编码：将文本、图像等转换为向量，保留上下文信息（如 BERT 的 CLS Token 或均值池化）。
• 相似度计算：通过余弦相似度、欧氏距离等度量向量关联性，支撑检索增强生成（RAG）、推荐系统等应用。
• 信息降维：压缩复杂数据为低维稠密向量，提升存储与计算效率。

2.2.1 主流嵌入模型分类

Embedding 模型将文本转换为数值向量，捕捉语义信息，使计算机能够理解和比较内容的'意义'。选择 Embedding 模型的考虑因素：

1. 通用全能型

• BGE-M3：北京智源研究院开发，支持多语言、混合检索（稠密 + 稀疏向量），处理 8K 上下文，适合企业级知识库。
• NV-Embed-v2：基于 Mistral-7B，检索精度高（MTEB 得分 62.65），但需较高计算资源。

2. 垂直领域特化型

• 中文场景：BGE-large-zh-v1.5（合同/政策文件）、M3E-base（社交媒体分析）。
• 多模态场景：BGE-VL（图文跨模态检索），联合编码 OCR 文本与图像特征。

3. 轻量化部署型

• nomic-embed-text：768 维向量，推理速度比 OpenAI 快 3 倍，适合边缘设备。
• gte-qwen2-1.5b-instruct：1.5B 参数，16GB 显存即可运行，适合初创团队原型验证。

中文为主 → BGE 系列 > M3E；多语言需求 → BGE-M3 > multilingual-e5；预算有限 → 开源模型（如 Nomic Embed）

2.3 通用包

代码中创建一个通用包 common，这个包下提供两个通用函数：

1. 创建 openai 客户端
2. 获取 embedding 模型

common/model_utils.py

import os
from openai import OpenAI

def _get_client():
    api_key = os.getenv("EMBEDDING_API_KEY")
    base_url = "https://dashscope.aliyuncs.com/compatible-mode/v1"
    return OpenAI(api_key=api_key, base_url=base_url)

def get_embedding(text, model="text-embedding-v4"):
    """获取 embedding 向量，默认使用 text-embedding-v4"""
    client = _get_client()
    # 判断 text 是不是一个列表
    if isinstance(text, list):
        return client.embeddings.create(input=text, model=model)
    text = text.replace("\n", " ")
    return client.embeddings.create(input=[text], model=model)

2.4 文本转向量

在 main 函数中我们输入一小段文字，使用模型进行向量化：

from common import model_utils

if __name__ == "__main__":
    text = "今天天气不错"
    response = model_utils.get_embedding(text)
    print(response.model_dump_json())
    # [[-0.05972001701593399, -0.039419323205947876, 0.026300963014364243]]
    result = response.data[0].embedding
    print(result[:3])  # 打印前三个
    # 默认维度为 1024
    print(len(result))

打印出来的数组元素为 1024 个，即默认是 1024 个维度。

2.5 距离计算

现在在 common/model_utils.py 中继续添加两个函数，分别用于计算余弦距离和欧式距离。

在这之前，我们先要熟悉一个 numpy 中的两个函数 dot 和 norm。

2.5.1 点积 (dot)

dot 函数主要用于计算两个数组的点积（Dot Product）。对于一维向量：它计算的是对应元素的乘积之和。

import numpy as np
from numpy import dot

a = np.array([1, 2, 3])
b = np.array([4, 5, 6])
result = dot(a, b)  # (1*4) + (2*5) + (3*6) = 4 + 10 + 18 = 32
print(result)

对于二维矩阵：它执行的是标准的矩阵乘法。（'行乘列'的运算规则。）

假设有两个 2x2 矩阵相乘：

2.5.2 范数/长度 (norm)

norm 函数用于计算向量或矩阵的范数。在处理向量时，默认计算的是 L2 范数（欧几里得长度），即向量在空间中的物理长度。

from numpy.linalg import norm

a = np.array([3, 4])
dist = norm(a)  # sqrt(3^2 + 4^2) = sqrt(9 + 16) = 5.0
print(dist)

2.5.3 余弦相似度计算

import numpy as np
from numpy import dot
from numpy.linalg import norm

def cosine_similarity(v1, v2):
    return dot(v1, v2) / (norm(v1) * norm(v2))

# 示例：比较两个文档向量或嵌入向量
vec1 = np.array([1, 1, 0])
vec2 = np.array([1, 0, 1])
similarity = cosine_similarity(vec1, vec2)
print(f"相似度：{similarity:.4f}")

2.5.4 欧式距离

def l2(a, b):
    '''欧氏距离 -- 越小越相似'''
    x = np.asarray(a) - np.asarray(b)
    return norm(x)

2.6 相似度对比

下面我们将三句话进行向量化，然后对比它们之间的相似度：

text1 = "Spring AI 帮助开发者快速集成人工智能功能"
text2 = "Spring AI 是一个用于构建 AI 应用的框架"
text3 = "Java 是一种跨平台的编程语言"
text_list = [text1, text2, text3]

# 获取向量
response_data = model_utils.get_embedding(text_list).data
# 将 response_data 中的 embedding 提取成一个二维数组
embedding_list = [data.embedding for data in response_data]

# 余弦相似度对比
print(f"text1 与 text2 余弦距离:{model_utils.cosine_similarity(embedding_list[0], embedding_list[1])}")
print(f"text1 与 text3 余弦距离:{model_utils.cosine_similarity(embedding_list[0], embedding_list[2])}")
print(f"text2 与 text3 余弦距离:{model_utils.cosine_similarity(embedding_list[1], embedding_list[2])}")
print("=" * 50)

# 欧式距离对比
print(f"text1 与 text2 欧式距离:{model_utils.l2(embedding_list[0], embedding_list[1])}")
print(f"text1 与 text3 欧式距离:{model_utils.l2(embedding_list[0], embedding_list[2])}")
print(f"text2 与 text3 欧式距离:{model_utils.l2(embedding_list[1], embedding_list[2])}")

输出:

text1 与 text2 余弦距离:0.8747069083399994
text1 与 text3 余弦距离:0.31450617230698164
text2 与 text3 余弦距离:0.373276450524592
==========================================
text1 与 text2 欧式距离:0.5005858686858007
text1 与 text3 欧式距离:1.1708918177413983
text2 与 text3 欧式距离:1.1195745555537098

• 余弦值越大，说明夹角越小，则越相似 (cos(0) = 1)，很明显 text1 与 text2 是最相似的。
• 距离越小，说明两个向量相聚越小，则越相似，显然 text1 与 text2 之间的距离比较小。

3. 向量数据库

向量数据库，是专门为向量检索设计的中间件！高效存储、快速检索和管理高纬度向量数据的系统称为向量数据库。

向量数据库的核心作用是实现相似性搜索，即通过计算向量之间的距离（如欧几里得距离、余弦相似度等）来找到与目标向量最相似的其他向量。它特别适合处理非结构化数据，支持语义搜索、内容推荐等场景。

核心功能：

• 向量存储
• 相似性度量
• 相似性搜索

注意 text Embedding model 只能对文本向量化，对于 image 和 audio 则需要其它多模态模型。

3.1 向量数据库与传统数据库

1. 数据类型
   • 传统数据库：存储结构化数据（如表格、行、列）。
   • 向量数据库：存储高维向量数据，适合非结构化数据。
2. 查询方式
   • 传统数据库：依赖精确匹配（如=、<、>）。
   • 向量数据库：基于相似度或距离度量（如欧几里得距离、余弦相似度）。
3. 应用场景
   • 传统数据库：适合事务记录和结构化信息管理。
   • 向量数据库：适合语义搜索、内容推荐等需要相似性计算的场景。

注意：向量数据库的意义是快速的检索；向量数据库本身不生成向量，向量是由 Embedding 模型产生的；向量数据库与传统的关系型数据库是互补的，不是替代关系，在实际应用中根据实际需求经常同时使用。

主流向量数据库：

3.2 Chroma 向量数据库

官方文档：https://docs.trychroma.com/docs/overview/introduction

Chroma 是一款开源的向量数据库，专为高效存储和检索高维向量数据设计。其核心能力在于语义相似性搜索，支持文本、图像等嵌入向量的快速匹配，广泛应用于大模型上下文增强（RAG）、推荐系统、多模态检索等场景。与传统数据库不同，Chroma 基于向量距离（如余弦相似度、欧氏距离）衡量数据关联性，而非关键词匹配。

• 轻量易用：以 Python/JS 包形式嵌入代码，无需独立部署，适合快速原型开发。
• 灵活集成：支持自定义嵌入模型（如 OpenAI、HuggingFace），兼容 LangChain 等框架。
• 高性能检索：采用 HNSW 算法优化索引，支持百万级向量毫秒级响应。
• 多模式存储：内存模式用于开发调试，持久化模式支持生产环境数据落地。

3.2.1 安装 Chroma

pip install chromadb

3.2.2 内存运行模式

import chromadb
client = chromadb.EphemeralClient()

3.2.3 持久化运行模式

import chromadb
client = chromadb.PersistentClient(path="/path/to/save/to")

3.2.4 Chroma 操作流程

集合是 Chroma 中管理数据的基本单元，类似关系数据库的表。

• 创建集合

import chromadb
from chromadb.utils import embedding_functions

if __name__ == "__main__":
    # 数据保存至本地目录
    client = chromadb.PersistentClient(path="./chroma")
    # 默认情况下，Chroma 使用 DefaultEmbeddingFunction，它是基于 Sentence Transformers 的 MiniLM-L6-v2 模型
    default_ef = embedding_functions.DefaultEmbeddingFunction()
    collection = client.create_collection(
        name="my_collection",
        configuration={
            # HNSW 索引算法，基于图的近似最近邻搜索算法（Approximate Nearest Neighbor，ANN）
            "hnsw": {
                "space": "cosine",  # 指定余弦相似度计算
                "ef_search": 100,
                "ef_construction": 100,
                "max_neighbors": 16,
                "num_threads": 4
            },
            # 指定向量模型
            "embedding_function": default_ef
        }
    )

方法执行后，发现本地创建了一个文件 chroma/chroma.sqlite3,数据将会被持久化到这个文件中。

client.create_collection 方法其实只需要给定一个 name 参数即可，其它参数都有默认值。上面代码中给定的就是默认值。

# 如果集合不存在，则创建
collection = client.get_collection(name="my_collection")
if collection is None:
    # 会自动下载 内置模型 all-MiniLM-L6-v2
    collection = client.create_collection(name="my_collection")

• 查询集合

collection = client.get_collection(name="my_collection")
print(collection.peek())  # returns a list of the first 10 items in the collection.
print(collection.count())  # returns the number of items in the collection.
# modify()  # rename the collection

• 删除集合

client.delete_collection(name="my_collection")

• 添加数据

# 方式 1：自动生成向量（使用集合指定的嵌入模型）
collection.add(
    # 文档的集合
    documents=["RAG 是一种检索增强生成技术", "向量数据库存储文档的嵌入表示", "在机器学习领域，智能体（Agent）通常指能够感知环境、做出决策并采取行动以实现特定目标的实体"],
    # 文档元数据信息
    metadatas=[{"source": "RAG"}, {"source": "向量数据库"}, {"source": "Agent"}],
    # id
    ids=["id1", "id2", "id3"]
)

# 方式 2：手动传入预计算向量（实际开发中推荐使用）
# collection.add(
#     embeddings=get_embeddings("RAG 是什么？"),
#     documents=["文本 1", "文本 2"],
#     ids=["id3", "id4"]
# )

用向量模型将数据向量化以后存入也是可以的

• 数据管理

# 更新集合中的数据：
collection.update(ids=["id1"], documents=["RAG 是一种检索增强生成技术，在智能客服系统中大量使用"])
# 删除集合中的数据：
collection.delete(ids=["id3"])

• 数据查询

results = collection.query(
    query_texts=["RAG 是什么？"],
    n_results=3,  # 结果指定为 3 个。
    # where={"source": "RAG"},  # 按元数据过滤
    # where_document={"$contains": "检索增强生成"}  # 按文档内容过滤
)
print(results)