PostgreSQL 中文全文检索原理与实战：结合 jieba 分词实现高效搜索

可以看到，'powerful'被词干提取为'power'，'database'变为'databas'，并且'is', 'a', 'and'等停用词被过滤掉了。

2. to_tsquery([ config, ] querytext)

这个函数将用户的搜索字符串转换为一个 tsquery 对象，用于在 tsvector 中进行匹配。

• & (AND)：表示必须同时包含。
• | (OR)：表示包含任意一个即可。
• ! (NOT)：表示不能包含。
• <-> (FOLLOWED BY)：表示一个词必须紧跟着另一个词。

querytext：用户输入的搜索词。它支持布尔操作符：

示例：

-- 搜索同时包含 'powerful' 和 'database' 的文档
SELECT to_tsquery('english','powerful & database');

结果：

'power' & 'databas'

to_tsquery 同样会对查询词进行词干提取。

3. @@ 操作符

这是全文检索的匹配操作符，用于判断一个 tsvector 是否匹配一个 tsquery。

示例：

SELECT to_tsvector('english','PostgreSQL is powerful.') @@ to_tsquery('english','powerful');

结果：

t

返回 t (true) 表示匹配成功。

4. ts_rank_cd(vector, query)

这个函数用于计算匹配的相关性得分。cd 代表'cover density'，这是一种考虑了词位在文档中紧密程度的排名算法，通常比基础的 ts_rank 效果更好。

• vector：文档的 tsvector 字段。
• query：用户的 tsquery 查询。

示例：

SELECT ts_rank_cd( to_tsvector('english','PostgreSQL is a powerful database.'), to_tsquery('english','powerful & database'));

结果：

0.0607927

返回一个浮点数得分。得分越高，代表文档与查询的相关性越强。

实战：结合 jieba 分词实现中文全文检索

理论讲完，现在我们进入实战环节。我们将创建一个文章表，用 Python 和 jieba 分词，然后存入 PostgreSQL，最后进行搜索。

第 1 步：环境准备

1. 安装 PostgreSQL。

安装 Python 依赖库：

pip install psycopg2-binary jieba

第 2 步：数据库表设计

我们创建一个 articles 表，包含原始内容和用于检索的 tsvector 字段，并为其创建 GIN 索引。

-- 连接到你的数据库后执行
CREATE TABLE articles (
    id SERIAL PRIMARY KEY,
    title VARCHAR(255) NOT NULL,
    content TEXT NOT NULL,
    search_vector tsvector -- 用于存储分词后的词向量
);
-- 创建 GIN 索引，这是高性能检索的关键
CREATE INDEX idx_articles_search_vector ON articles USING GIN(search_vector);

第 3 步：应用端数据插入与分词

下面的 Python 脚本负责连接数据库，使用 jieba 对中文文本进行分词，并将数据插入表中。

import psycopg2
import jieba

# 数据库连接配置
DB_CONFIG = {
    'dbname': 'your_db',
    'user': 'your_user',
    'password': 'your_password',
    'host': 'localhost'
}

def chinese_segment(text):
    """使用 jieba 分词，返回空格分隔的字符串"""
    seg_list = jieba.cut(text, cut_all=False)
    return " ".join(seg_list)

if __name__ == '__main__':
    articles_to_insert = [
        {'title': '人工智能：改变世界的驱动力', 'content': '人工智能（AI）是一门让计算机能够执行通常需要人类智能才能完成的任务的科学与工程学科。从语音助手到自动驾驶，AI 正在深刻地改变着我们的生活和工作方式。'},
        {'title': '机器学习入门：从理论到实践', 'content': '机器学习是人工智能的核心。它涉及算法的设计，这些算法能够让计算机从数据中学习模式并做出预测。'},
        {'title': 'Python 编程的艺术', 'content': 'Python 是一种解释型、面向对象、动态数据类型的高级程序设计语言。它以其简洁的语法和强大的生态系统而闻名。'}
    ]
    conn = None
    try:
        conn = psycopg2.connect(**DB_CONFIG)
        with conn.cursor() as cur:
            for art in articles_to_insert:
                # 分词并为标题和内容设置不同权重 (A > B)
                seg_title = chinese_segment(art['title'])
                seg_content = chinese_segment(art['content'])
                tsvector_str = f"{seg_title}A {seg_content}B"
                cur.execute("""
                    INSERT INTO articles (title, content, search_vector) VALUES (%s, %s, to_tsvector('simple', %s));
                """, (art['title'], art['content'], tsvector_str))
            print("数据插入成功！")
    except Exception as e:
        print(f"发生错误：{e}")
        if conn:
            conn.rollback()
    finally:
        if conn:
            conn.close()

代码解释：

• chinese_segment 函数使用 jieba 对中文进行分词。
• f"{seg_title}A {seg_content}B" 是一个技巧：我们给标题的词加上 A 权重，内容的词加上 B 权重。这样，标题中出现的关键词在排序时会得到更高的分数。
• to_tsvector('simple', ...) 使用 simple 配置，因为分词已在外部完成，数据库只需做最基本的处理。

第 4 步：执行全文检索查询

现在，我们可以在数据库中进行搜索了。

场景 1：搜索包含'人工智能'的文章

SELECT id, title, ts_rank_cd(search_vector, query) AS relevance_score 
FROM articles, to_tsquery('simple','人工智能') AS query 
WHERE search_vector @@ query 
ORDER BY relevance_score DESC;

结果：标题包含'人工智能'的文章会排在前面，且得分更高。

场景 2：搜索包含'机器学习'但不包含'Python'的文章

SELECT id, title, ts_rank_cd(search_vector, query) AS relevance_score 
FROM articles, to_tsquery('simple','机器学习 & !Python') AS query 
WHERE search_vector @@ query 
ORDER BY relevance_score DESC;

结果：只会返回第二篇关于机器学习的文章。

总结

通过本文的学习，我们掌握了 PostgreSQL 全文检索的核心原理和实现方法。

• 核心价值：PostgreSQL 全文检索通过 tsvector 和 tsquery 的转换，实现了远超 LIKE 的查询性能和功能。
• 中文解决方案：对于中文，最佳实践之一是采用'应用端分词 + 数据库端检索'的模式。利用 jieba 等专业分词库在应用层处理中文文本，然后将结果存入 PostgreSQL 的 tsvector 字段，并创建 GIN 索引。
• 优势：这种方案不仅性能出色，还能让你灵活控制分词逻辑，并充分利用 PostgreSQL 的相关性排序、布尔查询等高级功能，为你的应用构建一个强大、高效的中文搜索引擎。