RAG 知识库搭建实战：基于 Word2Vec 与 ChatGLM 的本地部署

数据处理

中文 Wiki 数据集

数据提取

按照具体数据集规范解压提取出数据。

数据处理

需依次进行四个操作：过滤中文、简化中文、中文分词、除去停用词。

OpenCC

Open Chinese Convert 是开源的中文简繁转换项目。

pip3 install opencc-python-reimplemented

清华大学自然语言处理实验室数据集

下载 THUCNews.zip 并解压。同样需要进行过滤中文、简化中文、分词及去除停用词处理。

数据合并

将所有数据集合并为一个文件，作为最终训练模型用的数据集。

模型训练

数据集不大，在 M2 Pro 性能下可直接本地训练。训练 10 轮大约需要一个半小时。

model = Word2Vec(sentences, vector_size=300, window=5, epochs=10, compute_loss=True)

模型使用

词向量生成

print(model.vector_size)
print(model.total_train_time)
print(model.wv.most_similar('猫'))
print(model.wv.most_similar('吉林大学'))

句向量生成

Word2Vec 本身只能对词语进行 embedding 操作，对句子进行 embedding 的方法有：

1. 平均值：简单平均所有词的向量，不包含语序信息。
2. TF-IDF 加权平均：强调重要词，仍不包含语序信息。
3. Doc2Vec：扩展了 Word2Vec，保留全文信息和语序。
4. 神经网络：使用 RNN、LSTM 或 Transformer 捕捉词序。

本教程采用最简单的平均值方法。

def encode(self, sentences: List[str], show_progress_bar: bool = False) -> ndarray:
    all_embeddings = []
    for sentence in tqdm(sentences, desc='Word2Vec Embeddings', disable=not show_progress_bar):
        emb = []
        count = 0
        for word in sentence:
            if word in self.stopwords:
                continue
            if word in self.w2v.key_to_index:
                emb.append(self.w2v.get_vector(word, norm=True))
                count += 1
            else:
                if len(word) == 1:
                    continue
                ws = self.jieba.lcut(word, cut_all=True, HMM=True)
                for w in ws:
                    if w in self.w2v.key_to_index:
                        emb.append(self.w2v.get_vector(w, norm=True))
                        count += 1
        tensor_x = np.array(emb).sum(axis=0)
        if count > 0:
            avg_tensor_x = np.divide(tensor_x, count)
        else:
            avg_tensor_x = np.zeros(self.w2v.vector_size, dtype=float)
        all_embeddings.append(avg_tensor_x)
    return np.array(all_embeddings, dtype=float)

文档分块

1. 固定大小分块
2. 按内容划分

使用简单的分句算法：

def split_sentences(text):
    sent_delimiters = ['。', '？', '！', '?', '!', '.']
    for delimiter in sent_delimiters:
        text = text.replace(delimiter, '\n')
    sentences = [sent for sent in text.split('\n') if sent.strip()]
    return sentences

此外还可考虑使用 pyltp、pkuseg、spaCy 或 NLTK 等库。

向量相似度计算

通常基于余弦相似度（Cosine Similarity）。

def cosine_similarity(vec1, vec2):
    norm_vec1 = numpy.linalg.norm(vec1)
    norm_vec2 = numpy.linalg.norm(vec2)
    if norm_vec1 == 0 or norm_vec2 == 0:
        return 0
    dot_product = numpy.dot(vec1, vec2)
    return dot_product / (norm_vec1 * norm_vec2)

知识库检索流程

知识库端

1. 将各类文档统一转为纯文本格式。
2. 文档分块。
3. 对各文档块进行向量化。
4. 存储文本向量（持久化或非持久化）。

查询端

1. 将用户查询语句向量化。
2. 放入知识库进行相似性检索。
3. 获取检索到的向量，加入大模型上下文。
4. 获取大模型问答结果。

常用 Prompt 模板：

使用以下背景段落来回答问题，如果段落内容不相关就返回未查到相关信息：
背景：{{knowledge}}
问题：{{userInput}}

向量数据库

主流向量数据库

• Pinecone：全托管服务，减轻运维负担。
• Weaviate：开源，支持 GraphQL/REST，结合云原生能力。
• Redis：通过 RedisSearch 模块支持向量检索。
• Milvus：构建在之上的数据基础设施，适合大规模数据。

Qdrant 部署

选用 Qdrant 部署向量数据库。

1. 拉取 Docker 镜像

docker pull qdrant/qdrant

2. 启动容器

docker run -p 6333:6333 -p 6334:6334 \
    -v $(pwd)/qdrant_storage:/qdrant/storage:z \
    qdrant/qdrant

3. Python 调用

pip3 install qdrant-client

from qdrant_client import QdrantClient
client = QdrantClient("localhost", port=6333)

ChatGLM 大模型部署

本机配置

• Macbook M2 Pro 32G

环境安装

1. 创建虚拟环境

conda create -n chatglm python=3.10
conda activate chatglm

2. 下载源码

cd /tmp
git clone https://github.com/THUDM/ChatGLM2-6B

3. 安装依赖

pip3 install -r requirements.txt
# 安装 pytorch nightly 版本
pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cpu

4. 下载模型文件

GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm2-6b

部署模型

将模型路径替换为本地路径即可加载。对于 Mac，需使用 MPS 后端。

运行 demo：

python web_demo.py
streamlit run web_demo2.py

总结与优化建议

完成上述步骤后，即可实现一个基础的 RAG 系统。在实际生产环境中，建议关注以下几点以提升效果：

1. 分块策略优化：根据文档结构调整分块大小，避免关键信息被切断，可尝试重叠分块。
2. 混合检索：结合关键词检索（BM25）与向量检索，提高召回准确率。
3. 重排序（Rerank）：在检索后增加重排序模型，进一步筛选最相关的片段。
4. 模型量化：部署大模型时可使用 INT8 或 FP16 量化，降低显存占用并提升推理速度。
5. 缓存机制：对常见查询结果进行缓存，减少重复计算。

通过持续迭代数据质量和检索策略，可以显著提升知识库问答的准确性和用户体验。