RAG 入门：LangChain Embedding 介绍与使用

使用本地模型时，请确保已下载相应的权重文件，并满足环境依赖（如 PyTorch）。

Google Generative AI Embeddings

Google 也提供了专门的嵌入模型，适用于其生态系统的集成。

from langchain_google_genai import GoogleGenerativeAIEmbeddings
import os

os.environ["GOOGLE_API_KEY"] = "your-google-api-key"

embeddings = GoogleGenerativeAIEmbeddings(model="models/embedding-001")
text_embedding = embeddings.embed_query("hello, world!")

print(f"Vector length: {len(text_embedding)}") # 通常为 768 维

更多可用的 Embedding 集成可以在 LangChain 官方文档中查看。

计算文本相似性

Embedding 的核心价值在于可以通过向量距离来衡量文本的语义相似度。最常用的指标是余弦相似度（Cosine Similarity）。

基础相似度计算

我们可以通过计算两个向量之间的余弦相似度来判断它们的语义接近程度。值越接近 1，表示语义越相似。

import numpy as np
from sklearn.metrics.pairwise import cosine_similarity
from langchain_openai import OpenAIEmbeddings

word_list = ["Cat", "Dog", "Car", "Truck", "Computer", "Laptop", "Apple", "Orange", "Music", "Dance"]

embedding_model = OpenAIEmbeddings()

# 批量生成词向量
embeds = [embedding_model.embed_query(word) for word in word_list]

input_word = "Lion"
input_embed = embedding_model.embed_query(input_word)

# 自定义余弦相似度函数
def cosine_similarity_custom(a, b):
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))

# 计算与第一个词（Cat）的相似度
similarity = cosine_similarity_custom(embeds[0], input_embed)
print(f"Similarity with 'Cat': {similarity:.4f}")

# 使用 sklearn 计算所有词的相似度
sims = []
for emb in embeds:
    sim = cosine_similarity(np.array([emb]), np.array([input_embed]))[0][0]
    sims.append(sim)

print(f"Similarities: {sims}")

在这个示例中，"Lion" 与 "Cat" 的相似度通常会很高，因为它们都属于动物类别，而与其他类别的词相似度较低。

结合向量数据库进行检索

在实际的 RAG 应用中，我们通常需要将大量文本向量化后存储起来，以便快速检索。FAISS（Facebook AI Similarity Search）是一个高效的向量搜索库，常与 LangChain 配合使用。

加载数据

假设我们将待查询的文本存储在 CSV 文件中。

from langchain_community.document_loaders import CSVLoader

loader = CSVLoader(file_path='data.csv', csv_args={
    'delimiter': ',',
    'quotechar': '"',
    'fieldnames': ['Words']
})

data = loader.load()

# 打印前几个文档
for doc in data[:3]:
    print(doc.page_content)

创建 FAISS 向量存储

利用 LangChain 的 FAISS 类，我们可以直接将文档列表转换为向量数据库。

from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()

# 从文档创建向量存储
db = FAISS.from_documents(data, embeddings)

# 保存索引到磁盘（可选）
db.save_local("faiss_index")

相似性搜索

用户输入查询后，系统会在向量数据库中查找最相似的文档片段。

user_input = "Lion"

# 执行相似性搜索，默认返回 top_k=4 的结果
results = db.similarity_search(user_input)

for i, res in enumerate(results):
    print(f"Result {i+1}: {res.page_content} (Score: {res.metadata.get('score', 'N/A')})")

通过这种方式，系统能够基于语义而非关键词匹配找到相关的信息。例如，即使 CSV 中没有包含 "Lion" 这个词，只要它所在的上下文与 "Cat" 或 "Animal" 语义相近，也能被检索出来。

最佳实践与注意事项

1. 模型选择：根据应用场景选择 Embedding 模型。通用场景可用 OpenAI 或 BGE 等大模型；对隐私要求高的场景建议使用本地部署的 HuggingFace 模型。
2. 分块策略：在进行 Embedding 之前，建议对长文本进行合理的分块（Chunking），避免单个向量包含过多信息导致检索精度下降。
3. 归一化：部分向量数据库要求向量经过归一化处理，FAISS 通常会自动处理，但需注意具体配置。
4. 成本考量：API 调用的 Embedding 服务通常按 token 计费，大规模应用时需评估成本预算。

通过合理使用 LangChain 的 Embedding 功能，开发者可以快速构建具备语义理解能力的检索系统，为后续的 LLM 问答提供精准的知识支撑。